无线可充电传感器网络中能量饥饿避免的移动充电

无线可充电传感器网络（wireless rechargeable sensor networks,简称WRSN）中,如何调度移动充电器（mobile charger,简称MC）,在充电过程中及时为传感器节点补充能量,尽量避免节点能量饥饿的同时降低MC充电代价及节点平均充电延迟,成为无线充电问题的研究挑战.大多数现有WRSN充电策略或是不能适应实际环境中传感器节点能量消耗的动态性和多样性,或是没有充分考虑节点及时充电问题和MC对充电响应的公平性,导致节点由于能量饥饿失效和充电策略性能下降.当网络中请求充电的节点数量较多时,节点能量饥饿现象尤为明显.为此,研究了WRSN中移动充电的能量饥饿问题,提出了能量饥饿避免的在线充电策略（energy starvation avoidance onlinecharging scheme,简称ESAOC）.首先,根据各节点能量消耗的历史统计和实时值计算当前能量消耗率.接着,在调度MC时,根据当前能量消耗率计算各请求充电节点的最大充电容忍延迟和当某节点被选为下一充电节点时各节点的最短充电等待时间,通过比较这两个值,始终选择使其他待充电节点饥饿数量最少的节点作为充电候选节点以尽量避免节点陷入能量饥饿.仿真分析表明：与现有几种在线充电策略相比,ESAOC不仅能有效解决节点的能量饥饿问题,同时具有较低的充电延迟和充电代价.     

基于注意力机制和策略梯度的多MC充电调度

大规模无线可充电传感器网络(WRSN)中单个MC显然不能应对繁重的充电任务。针对多MC充电调度中MCs能量利用率低下且充电负载不均衡的缺陷,提出一种基于注意力机制和策略梯度的多MC按需充电调度方法(APCS)。首先进行传感器节点到MC的分配,并将分配过程抽象为多旅行商问题(MTSP),结合注意力机制建立优化模型并采用强化学习中的策略梯度算法对其进行训练,从而为分配问题生成近似最优解。以此将多MC协同充电调度转化为多个单MC的充电调度问题,然后通过OR-tools对充电序列规划进行求解。仿真实验结果表明APCS在提高MCs能量利用率的同时均衡各个MC的充电负载,显著提高了充电效率和网络生存时间,对比其他几种充电策略具有明显优势。     

一种多移动充电车在线协同充电策略

在大规模无线可充电传感器网络(WRSN)中，引入多部移动充电车(MCV)为传感器补充能量可以有效提高充电可靠性。如何协同多MCV进行充电规划是提高WRSN性能的关键，为此提出一种基于注意力机制的多MCV在线分布式协同充电算法(OCAMD)。首先根据能耗率对传感器进行分级，结合传感器节点的距离和能量属性，采用注意力机制在线选择充电节点，并自适应调整充电时间。其次在满足WRSN正常运行的基础上，确定网络中所需的MCV数量。最后提出分布式协同算法，确保MCV与充电节点一一对应，同时均衡多MCV的充电负载。仿真结果表明，与当前主流的几种协同充电算法相比，OCAMD能有效提高传感器的存活率和MCV的能量利用率。     

WRSN中多MC协同的一对多能量补充策略

无线可充电传感网络(Wireless Rechargeable Sensor Networks, WRSN)由于受到传感器有限的电池容量限制,所面临的一项重要挑战是如何调度移动充电器MC(Mobile Charger)及时为传感器进行充电,避免传感器由于能量过低而失效。然而现有的充电策略中单MC充电策略难以满足大规模WRSNs的电量需求,多MC充电策略常忽略充电的均衡性。针对WRSN中多MC协同充电问题,提出一种多MC协同的一对多能量补充策略(MTORN)。首先通过相交圆算法将网络中的传感器节点划分为若干个节点簇,MC根据节点簇的平均剩余能量以及距离划分簇的优先级,每个MC前往不同的节点簇进行一对多充电从而提高充电效率。仿真结果表明,与现有的算法相比,MTORN能够有效降低网络中传感器节点失效数量和MC的移动成本,延长网络生存时间。     

基于充电效率的WRSN能量补充策略

无线可充电传感器网络(WRSN)的节点能量补充问题是当前传感器网络研究的一个热点。已有研究大多假设传感器能量消耗速率较为恒定,因此难以适应能量动态消耗的实际场景;还有些研究虽然考虑了节点充电请求的动态性,却无法选出适当的充电对象,使性能受到限制。为解决该问题,分析了WRSN的充电问题,提出基于充电效率的能量补充策略(CEBER)。该策略首先提出充电效率的量化计算方法,将充电效率作为选择充电对象的重要决策因素;同时其也考虑了节点所能容忍的最长充电等待时间,使决策结果尽可能避免引起节点失效。仿真结果表明,CEBER能够有效降低节点失效率,提高网络整体的充电效率,从而为WRSN提供更加有效的充电服务。     

多节点部分充电模型下的充电调度优化

在无线可充电传感器网络中,针对移动充电车采用多节点部分充电模型在充电调度过程中往复行驶,导致充电时间增加的问题进行了研究。提出一种新颖的多节点部分充电模型,从全局优化移动充电车在每个充电位置的充电时间,保证每个能量临界的传感器被充满电。同时提出AlgMinTime算法进行路径规划,确定移动充电车的充电环路以及对应位置的充电时间,使得环路上总充电调度时间最小化。最终通过仿真实验评估所提出算法的性能。实验结果表明,所提算法的充电调度平均环路时间相较于SOTA算法缩短9.8%。     

基于WRSN的多节点按需充电策略研究

针对无线可充电传感器网络(WRSN)中的节点死亡率过高问题，为了降低节点死亡率，以按需充电架构为基础，提出了一种动态不均匀分簇的单移动充电设备(MC)多节点在线充电策略SMMCS(single MC multi-node charging strategy)。策略首先将无线可充电传感器网络进行动态不均匀分簇，以此划分移动充电设备的服务分区；然后在此模型基础上以最小网络节点死亡率为目标，进行路径规划时综合考虑节点剩余能量、距离以及能耗等因素。仿真实验结果表明，与SAMER、VTMT以及FCFS策略相比，该策略减少了节点等待时间，缩短了MC总充电代价，减小了节点死亡率。基于仿真条件，网络节点死亡率为4.31%。     

能量受限的单移动设备无线充电调度算法

基于磁耦合谐振的多节点充电技术为解决无线传感网络的健壮性问题提供了潜在的解决方法。为了减少充电设备的移动能耗,保证充电规划的可调度性,结合磁耦合谐振的充电效率,采用蜂窝网状结构将网络分割成若干充电区域,提出了基于移动充电设备的无线传感器网络充电调度算法。由于实际的移动设备能量通常有限,在每个充电周期内综合考虑移动设备能量、节点剩余能量等,提出了自适应动态算法以自动选择k个充电区域。规划充电路径时,采用实时性较好的弹性网络算法来满足网络节点的充电需求。仿真结果表明,充电设备能量的大小会直接影响网络的总能量与最小剩余能量,算法在设备能量有限时能够最大化网络的最小能量,延长网络的生命周期。     

无线可充电传感器网络混合移动充电调度研究

能量约束是无线传感器网络应用的重要限制.无线能量传输技术因为在效率和可靠性方面的突破,已成为无线传感器网络极具潜力的能量补给方案.目前已有的移动无线充电调度方案可分为周期性调度和在线调度方案,虽然各种方案有不同的适用场景,但是难以同时兼顾周期性调度的高充电效率和动态调度的实时性.本文提出一种按需的无线传感器能量补给调度方案,首先每个周期对所有请求充电的全局优化节点充电路径,接着对实时性请求结合动态插入法安排紧急需求节点充电.通过仿真实验比较,本文提出的混合方案相对于周期性调度方案和按需方案在充电效率、移动路径代价和节点饥饿率上具有显著优势.     

一对多充电方式下WRSN移动充电器驻点选择策略

能量问题是约束无线传感器网络发展的一大瓶颈,借助磁耦合谐振充电技术,可实现单个充电装置同时对多个传感器节点进行能量补充,从而提高网络充电效率,降低充电成本。现有的单对多充电方案往往忽略了磁耦合谐振充电技术的能量分配,对于移动充电器的停靠位置(即驻点)没有考虑发射线圈和接收线圈的互感对能量传输效率的影响。线圈之间的距离是影 响互感的关键物理因素。本文提出一种在线能量补充策略(OMRN)。该策略基于互感模型和连续平面上的重心法选址问题,根据线圈之间的距离找出移动充电器的最优驻点,让多个节点能量接收达到均衡,从而减少总充电时长,使充电效率最大化。     

考虑无线充电的无人机路径在线规划

近年来, 无人机在物流、通信、军事任务、灾害救援等领域中展现出了巨大的应用潜力, 然而无人机的续航 能力是制约其使用的重大因素, 在无线充电技术不断突破和发展的背景下, 本文基于深度强化学习方法, 提出了一 种考虑无线充电的无人机路径在线优化方法, 通过无线充电技术提高无人机的任务能力. 首先, 对无人机功耗模型 和无线充电模型进行了构建, 根据无人机的荷电状态约束, 设计了一种基于动态上下文向量的深度神经网络模型, 通过编码器和解码器的模型架构, 实现无人机路径的直接构造, 通过深度强化学习方法对模型进行离线训练, 从而 应用于考虑无线充电的无人机任务路径在线优化. 文本通过与传统优化方法和深度强化学习方法进行实验对比, 所提方法在CPU算力和GPU算力下分别实现了4倍以及100倍以上求解速度的提升.     

基于双向强化学习与动态码率调节的无线mesh网络协议

针对现有无线mesh网络协议的用户体验质量(QoE)较差的问题,提出一种基于双向强化学习与动态码率调节的无线mesh网络协议。首先,设计了兼容不同服务类型的无线mesh网络QoE度量框架;然后,设计了基于双向强化学习的无线mesh网络路由协议;最终,结合QoE感知的差异化报文调度策略与数据流源节点码率动态调节算法进一步优化终端用户的QoE质量。基于NS-2仿真平台的对比实验结果显示,本协议可明显地提高无线mesh网络的QoE指标,同时具有较低的控制开销。     

移动边缘计算中基于深度强化学习的计算卸载调度方法

针对移动边缘计算中具有依赖关系的任务的卸载决策问题,提出一种基于深度强化学习的任务卸载调度方法,以最小化应用程序的执行时间。任务调度的过程被描述为一个马尔可夫决策过程,其调度策略由所提出的序列到序列深度神经网络表示,并通过近端策略优化(proximal policy optimization)方法进行训练。仿真实验表明,所提出的算法具有良好的收敛能力,并且在不同环境下的表现均优于所对比的六个基线算法,证明了该方法的有效性和可靠性。     

深度强化学习算法求解动态流水车间实时调度问题

本文针对动态流水车间调度问题(DFSP), 以最小化最大完工时间为优化目标, 提出一种自适应深度强化学习算法(ADRLA)进行求解. 首先, 将DFSP的新工件动态到达过程模拟为泊松过程, 进而采用马尔科夫决策过程(MDP)对DFSP的求解过程进行描述, 将DFSP转化为可由强化学习求解的序贯决策问题. 然后, 根据DFSP的排序模型特点, 设计具有较好状态特征区分度和泛化性的状态特征向量, 并依此提出5种特定动作(即调度规则)来选择当前需加工的工件, 同时构造基于问题特性的奖励函数以获取动作执行效果的评价值(即奖励值), 从而确定ADRLA的3类基本要素. 进而, 以深度双Q网络(DDQN) 作为ADRLA中的智能体, 用于进行调度决策. 该智能体采用由少量小规模DFSP确定的数据集(即3类基本要素在不同问题上的数据)训练后, 可较准确刻画不同规模DFSP的状态特征向量与Q值向量(由各动作的Q值组成)间的非线性关系, 从而能对各种规模DFSP进行自适应实时调度. 最后, 通过在不同测试问题上的仿真实验和与算法比较, 验证了所提ADRLA求解DFSP的有效性和实时性.     

TADP: Enabling temporal and distantial priority scheduling for on-demand charging architecture in wireless rechargeable sensor Networks

Recently, adopting mobile energy chargers to replenish the energy supply of sensor nodes in wireless sensor networks has gained increasing attentions from the research community. The utilization of the mobile energy chargers provides a more reliable energy supply than systems harvesting dynamic energy from the surrounding environment. Wireless power transfer technique provides a new alternative for solving the limited power capacity problem for so many popular mobile wireless devices, and makes wireless rechargeable sensor networks (WRSNs) promising. However, mainly due to the underestimate of the unbalanced influences of spatial and temporal constraints posed by charging requests, traditional scheduling strategies for on-demand WRSNs architecture achieve rather low charging request throughput or successful rate, posing as a major bottleneck for further improvements. In this paper, we propose a TemporAl & Distantial Priority charging scheduling algorithm (TADP), which takes both the distance between nodes and the mobile charger and the arrival time of charging requests into consideration, and quantizes these two factors step by step. TADP forms a mixed priority queue which directs mobile charger to replenish the energy for nodes. At last extensive simulations are conducted to demonstrate the advantages of TADP. Simulation results reveal that TADP can achieve better scheduling performance in guaranteeing the scheduling success of the high-priority tasks and improving stability of the system.     

移动机器人运动规划中的深度强化学习方法

随着移动机器人作业环境复杂度的提高、随机性的增强、信息量的减少,移动机器人的运动规划能力受到了严峻的挑战.研究移动机器人高效自主的运动规划理论与方法,使其在长期任务中始终保持良好的复杂环境适应能力,对保障工作安全和提升任务效率具有重要意义.对此,从移动机器人运动规划典型应用出发,重点综述了更加适应于机器人动态复杂环境的运动规划方法——深度强化学习方法.分别从基于价值、基于策略和基于行动者-评论家三类强化学习运动规划方法入手,深入分析深度强化学习规划方法的特点和实际应用场景,对比了它们的优势和不足.进而对此类算法的改进和优化方向进行分类归纳,提出了目前深度强化学习运动规划方法所面临的挑战和亟待解决的问题,并展望了未来的发展方向,为机器人智能化的发展提供参考.     

Privacy Preserving Demand Side Management Method via Multi-Agent Reinforcement Learning

The smart grid utilizes the demand side management technology to motivate energy users towards cutting demand during peak power consumption periods, which greatly improves the operation efficiency of the power grid. However, as the number of energy users participating in the smart grid continues to increase, the demand side management strategy of individual agent is greatly affected by the dynamic strategies of other agents. In addition, the existing demand side management methods, which need to obtain users’ power consumption information, seriously threaten the users’ privacy. To address the dynamic issue in the multi-microgrid demand side management model, a novel multi-agent reinforcement learning method based on centralized training and decentralized execution paradigm is presented to mitigate the damage of training performance caused by the instability of training experience. In order to protect users’ privacy, we design a neural network with fixed parameters as the encryptor to transform the users’ energy consumption information from low-dimensional to high-dimensional and theoretically prove that the proposed encryptor-based privacy preserving method will not affect the convergence property of the reinforcement learning algorithm. We verify the effectiveness of the proposed demand side management scheme with the real-world energy consumption data of Xi’an, Shaanxi, China. Simulation results show that the proposed method can effectively improve users’ satisfaction while reducing the bill payment compared with traditional reinforcement learning (RL) methods (i.e., deep Q learning (DQN), deep deterministic policy gradient (DDPG), QMIX and multi-agent deep deterministic policy gradient (MADDPG)). The results also demonstrate that the proposed privacy protection scheme can effectively protect users’ privacy while ensuring the performance of the algorithm.