多无人机辅助移动边缘计算中的轨迹优化

在无人机辅助移动边缘计算网络中,优化无人机的飞行轨迹可以显著提升无线网络的各项性能指标。该文主要以加权最小化无人机的飞行能耗和接收卸载任务的能耗为目标,考虑满足无人机自身的机械特性和多无人机之间飞行轨迹需满足碰撞避免的约束条件,协同优化多架无人机的飞行轨迹和无人机与地面设备之间的卸载决策参数。建立的基于能耗最小化的多无人机飞行轨迹的优化问题中,目标函数非线性,约束条件非凸。针对这些问题,通过引入辅助变量转化非凸的优化条件,并通过连续凸优化的方法转化非线性的优化问题求解。仿真结果表明,所提多无人机的轨迹优化算法,较好地优化了所有无人机的飞行轨迹,在保证所有地面设备任务卸载完成的前提下明显改善了无人机的能耗性能。     

基于深度强化学习的边云协同任务卸载策略

为降低应用程序执行的时延和能耗,针对移动边缘计算环境,提出一种边云协同场景下基于深度强化学习的任务卸载策略。通过建立边云协同架构下的网络模型、通信模型及计算模型,以最小化时延和能耗为系统目标,设计基于深度强化学习的DQN卸载策略,将每个用户产生的任务独立高效地放置在本地、服务器或者云端进行计算,并将计算结果与其它方法进行比较。实验结果表明,相较其它基线算法,该方法能更有效减少任务执行的开销,得到更优的卸载策略。     

A-DDPG：多用户边缘计算系统的卸载研究

为了降低多边缘服务器多用户系统中用户的总成本,结合深度确定性策略梯度（deep deterministic policy gradient,DDPG）、长短期记忆网络（LSTM）和注意力机制,提出了一种基于DDPG的深度强化学习卸载算法（A-DDPG）。该算法采用二进制卸载策略,并且将任务的延迟敏感性和服务器负载的有限性以及任务迁移考虑在内,自适应地卸载任务,以最大限度减少由延迟敏感型任务超时造成的总损失。考虑时延和能耗两个指标并设定了不同的权重值,解决因用户类型不同带来的不公平问题,制定了任务卸载问题以最小化所有任务完成时延和能量消耗的总成本,以目标服务器的选择和数据卸载量为学习目标。实验结果表明,A-DDPG算法具有良好的稳定性和收敛性,与DDPG算法和双延迟深度确定性策略梯度（twin delayed deep deterministic policy gradient,TD3）算法相比,A-DDPG算法的用户总成本分别降低了27%和26.66%,平均达到最优任务失败率的时间分别提前了57.14%和40%,其在奖励、总成本和任务失败率方面取得了较好的效果。     

基于深度强化学习的任务卸载和资源分配优化

移动边缘计算(MEC)可以在网络边缘为用户提供就近的存储和计算服务,从而为移动用户带来低能耗、低时延的优势。该文针对基于超密集网络(UDN)的多用户多MEC场景,从用户侧出发,以最小化用户计算总开销为目的,解决用户在卸载过程中的卸载决策和上传传输功率优化以及MEC计算资源分配问题。具体而言,考虑到该问题是一个具有NP-hard性质的MINLP问题,该文将该问题分解为两个子问题并通过两个阶段的方式进行求解。首先在第一个阶段设计了一种基于深度强化学习(DQN)的任务卸载决策来解决任务卸载子问题,然后在第二个阶段分别使用KKT条件以及黄金分割算法解决MEC计算资源分配和上行传输功率的优化问题。仿真结果表明,所提方案在保证用户时延约束的前提下,有效降低了用户的计算开销,提升了系统性能。     

基于深度Q学习的电力物联网任务卸载研究

随着现代化城市与工业生产中电力需求的不断提高,电力物联网（Power Internet of Things, PIoT）作为一种能够显著提高电力系统效率的解决方案受到了广泛关注。为有效解决接入问题,现有的电力设备往往已配备内置轻量级人工智能的5G模组。然而,受制于模组有限的计算能力和通信能力,设备产生的海量数据难以实时处理和分析。基于该问题,本文主要研究电力物联网系统中的任务卸载问题,通过联合优化卸载决策和边缘服务器的计算资源分配,从而降低时延与能耗的加权和。此外本文提出一种基于深度强化学习的任务卸载算法,首先任务在边缘服务器的处理过程建模为队列,其次基于凸优化理论对本地计算资源分配进行优化,最后采用深度Q学习算法优化任务卸载决策。实验结果表明,本文提出的方法能够有效降低系统时延与能耗的加权和。     

云边协同计算中基于深度强化学习的任务二次申请卸载策略

现有的任务卸载策略通常在一个时隙内制定卸载决策,没有考虑多个卸载时隙间的内在联系,因此无法根据任务的实际需求进行卸载。针对该问题,提出了一种基于深度强化学习的任务二次申请卸载策略（DQN-TSAO）。首先提出了一种支持任务进行二次申请卸载的云边端三层架构,建立了任务卸载优先级模型、时延模型和能耗模型;然后以最小化系统能耗为目标,将能耗优化问题转变为最大累积卸载奖励的马尔可夫决策过程;最后通过DQN-TSAO算法提取各个时隙的任务卸载特征,使任务在与环境不断交互的过程中获得多个时隙内的最佳卸载决策。仿真结果表明DQN-TSAO算法能够有效降低一段时间内的系统总能耗。     

无人机群场景下边端协同计算卸载技术

当今全球频繁出现自然灾害,针对一种无人机协同下的应急救灾计算卸载场景,提出一种带有协调器的边-端架构。综合考虑场景中的时延、能耗与无人机之间的负载均衡作为系统总代价,采用改进的深度强化学习算法APPO（advanced proximal policy optimization）以最小化系统总代价为目标进行卸载优化。任务的部分卸载相比二进制卸载可以更大程度上降低系统的总代价,APPO算法针对不同的任务情况可以找到合适的卸载比例与无人机进行卸载。仿真与实验结果表明,该算法与全本地处理相比,系统总代价降低了约50%,与较先进的A2C相比,系统总代价降低了约14%。展现了所提策略在该场景下的优越性。     

邻域感知的分布式智能边缘计算卸载和资源分配算法

随着大量计算密集型和时延敏感型任务的出现,利用移动边缘计算(mobile edge computing,MEC)来提高用户体验并降低系统能耗已成为研究热点.然而,在密集部署的MEC网络场景下,无线网络状态复杂的空间相关性和动态性给卸载方案的制定带来了严峻挑战.本文针对多基站多用户MEC网络场景,研究了一种智能协作的计算卸载和资源分配算法.首先,提出了卸载决策、信道分配、传输功率分配和计算资源分配的联合优化问题,旨在用户时延约束下最小化系统的能耗.其次,由于该问题是一个混合整数非线性规划问题,本文提出了一种基于图注意力网络的混合动作多智能体强化学习算法(graph attention network-based hybrid-action multi-agent reinforcement learning, Gat-HMARL),将基站作为智能体并配置该算法. Gat-HMARL算法通过图注意力网络捕捉无线网络状态之间潜在的空间相关性,使基站有选择性地关注邻域中其他基站的无线网络状态信息,从而学习更优的计算卸载和资源分配策略.最后,仿真结果表明Gat-HMARL与基准算法相比在性能上有...     

基于终端直通通信的多用户计算卸载资源优化决策

随着计算密集和时延敏感类应用的激增,移动边缘计算（MEC）被提出应用在网络边缘为用户提供计算服务。针对基站（BS）端边缘服务器计算资源有限以及网络边缘用户远距离计算卸载的时延较长等问题,提出了基于终端直通（D2D）通信的多用户计算卸载资源优化决策,将D2D融入MEC网络使用户以D2D方式直接卸载任务到相邻用户处执行,从而能够进一步降低卸载时延和能耗。首先,以最小化包括时延和能耗的系统计算总开销为优化目标,建模多用户计算卸载和多用户计算资源分配的联合优化问题;然后,将求解该问题看作是一个D2D配对过程,并提出基于稳定匹配的低复杂度的多用户计算卸载资源优化决策算法;最后,迭代求解D2D卸载的优化分配决策。通过理论证明分析了所提算法的稳定性、最优性和复杂度等特性。仿真结果表明,所提算法相较于随机匹配算法能够有效降低10%~33%的系统计算总开销,并且其性能非常接近最优的穷举搜索算法。可见,所提基于D2D卸载的决策有利于改善时延和能耗开销性能。     

基于移动边缘计算的任务卸载优化

随着智慧物联体系的发展,物联网中应用程序的种类与数量不断增加.在移动边缘计算(mobile edge computing, MEC)中,通过允许移动用户将任务卸载至附近MEC服务器以加快移动应用程序的速度.本文通过考虑不同任务属性、用户的移动性和时间延迟约束模拟移动边缘场景.根据用户移动轨迹,将目标建模为寻找满足时延约束条件且在卸载过程中产生最小能耗MEC服务器优化模型,并提出一种最小能耗卸载算法求解该问题的最优解.仿真结果表明,在约束条件下,提出的算法可以找到在用户移动轨迹中产生最小能耗的MEC服务器,并显著降低任务卸载过程的能耗与时延,提高应用程序服务质量.     

基于改进混合粒子群算法和匹配理论的无人机电力巡检卸载策略

无人机搭载深度神经网络进行自主电力巡检时由于受到设备本身计算能力、电池容量、深度神经网络计算负载的限制,无法独立处理巡检任务中产生的海量图像数据。为解决该问题,提出了一种基于改进混合粒子群算法和匹配理论的无人机电力巡检卸载策略,该策略将系统成本最小化问题分解为深度神经网络计算任务协同分割和边缘服务器选择两个子问题。针对协同分割子问题,基于深度神经网络计算任务的执行流程提出了一种错时传输方法,通过改进混合粒子群算法求解多无人机任务协同分割层。针对边缘服务器选择子问题,定义无人机与边缘服务器各自偏好函数,根据偏好函数通过匹配理论建立两者间的稳定匹配,得到边缘服务器选择策略。仿真结果表明,与其他卸载策略相比,所提策略能有效降低无人机能耗和计算任务处理时延,促进边缘服务器负载均衡。     

基于强化学习的移动边缘计算任务卸载方法

最佳卸载策略直接影响移动计算任务卸载的时延与能耗,因此提出基于强化学习方法的移动边缘计算任务卸载方法。首先对移动设备的计算任务卸载形式展开具体分析,并基于分析结果获取计算任务卸载能量消耗、发射功率、传输速率等相关参数值,以此建立移动边缘计算任务卸载模型。最后基于建立的卸载模型结合Q-Learning算法对计算任务实施强化学习,找出计算任务的最佳卸载策略,从而实现移动边缘计算任务的实时卸载。实验结果表明,使用强化学习方法开展移动边缘计算任务卸载时,卸载能耗低、时延小。     

基于深度强化学习的车辆边缘计算任务卸载方法

车辆边缘计算允许车辆将计算任务卸载到边缘服务器,从而满足车辆爆炸式增长的计算资源需求。但是如何进行卸载决策与计算资源分配仍然是亟待解决的关键问题。并且,运动车辆在连续时间内进行任务卸载很少被提及,尤其对车辆任务到达随机性考虑不足。针对上述问题,建立动态车辆边缘计算模型,描述为7状态2动作空间的Markov决策过程,并建立一个分布式深度强化学习模型来解决问题。另外,针对离散—连续混合决策问题导致的效果欠佳,将输入层与一阶决策网络嵌套,提出一种分阶决策的深度强化学习算法。仿真结果表明,所提算法相较于对比算法,在能耗上保持了较低水平,并且在任务完成率、时延和奖励方面都具备明显优势,这为车辆边缘计算中的卸载决策与计算资源分配问题提供了一种有效的解决方案。     

超密集边缘计算网络中面向能耗优化的任务卸载方法

传统网络架构部署下的边缘服务器难以满足大规模用户设备的接入和通信质量要求。为增加网络容量,提高频谱利用率,通过密集化基站的部署,构建一种面向超密集边缘计算网络的任务卸载优化模型。面对信道状态的变化、移动设备的动态需求以及服务器和频谱资源的有限性对任务卸载带来的挑战,结合任务类型和服务器的计算能力,并考虑信道状态变化、移动设备的动态需求以及干扰约束对卸载策略的影响,提出一种基于自适应模拟退火遗传（AGASA）算法的任务卸载方法,在满足任务截止期限的同时,对任务卸载能耗进行优化。同时,为得到最优上传功率,采用黄金分割算法解决功率控制问题,从而降低传输能耗。实验结果表明,AGASA算法在信道状态变化时可保证通信质量和计算效率,相比混合遗传粒子群算法,能够在满足截止期约束的同时使卸载能耗降低15.56%。     

多智能体边缘计算任务卸载

边缘计算技术的发展为计算密集型业务提供了一种全新的选择,低能耗、低时延、实时处理等词语不断被提及,任务卸载引起了众多学者的注意.任务在本地执行还是卸载到服务器上执行,以及卸载到哪一台服务器上执行成为必须要解决的问题.在多智能体环境中提出一种新的目标函数,并构建数学模型;建立马尔可夫决策过程,定义动作、状态空间以及奖励函...     

基于DQN的超密集网络能效资源管理

小基站的密集随机部署会产生严重干扰和较高能耗问题,为降低网络干扰、保证用户网络服务质量（QoS）并提高网络能效,构建一种基于深度强化学习（DRL）的资源分配和功率控制联合优化框架。综合考虑超密集异构网络中的同层干扰和跨层干扰,提出对频谱与功率资源联合控制能效以及用户QoS的联合优化问题。针对该联合优化问题的NP-Hard特性,提出基于DRL框架的资源分配和功率控制联合优化算法,并定义联合频谱和功率分配的状态、动作以及回报函数。利用强化学习、在线学习和深度神经网络线下训练对网络资源进行控制,从而找到最佳资源和功率控制策略。仿真结果表明,与枚举算法、Q-学习算法和两阶段算法相比,该算法可在保证用户QoS的同时有效提升网络能效。     

基于图神经网络的具有依赖关系任务的计算卸载方法

计算卸载作为移动边缘计算的关键技术之一,通过将任务就近迁移至边缘服务器上执行大幅降低了用户的等待时延;针对具有依赖关系任务的计算卸载问题,为了解决以往文献在将表示任务依赖关系的有向无环图输入深度强化学习算法的神经网络时存在的丢失结构信息的问题,提出了一种有向无环图神经网络(DAGNN,directed acyclic graph neural network),并将其与深度强化学习相结合,用以做卸载调度的决策;卸载决策的过程被描述为马尔科夫决策过程,用提出的DAGNN评估深度强化学习算法中每个卸载动作的Q值,进而做出卸载调度决策;仿真实验表明,所提出算法在各种条件下的表现均优于其它所有基线算法,并表现出较好的稳定性和通用性.