移动边缘计算中基于深度强化学习的任务卸载研究进展

移动边缘计算是近年出现的一种新型网络计算模式,它允许将具有较强计算能力和存储性能的服务器节点放置在更加靠近移动设备的网络边缘(如基站附近),让移动设备可以近距离地卸载任务到边缘设备进行处理,从而解决了传统网络由于移动设备的计算和存储能力弱且能量较有限,从而不得不耗费大量时间、能量且不安全地将任务卸载到远方的云平台进行处...     

基于深度强化学习的车辆边缘计算任务卸载方法

车辆边缘计算允许车辆将计算任务卸载到边缘服务器,从而满足车辆爆炸式增长的计算资源需求。但是如何进行卸载决策与计算资源分配仍然是亟待解决的关键问题。并且,运动车辆在连续时间内进行任务卸载很少被提及,尤其对车辆任务到达随机性考虑不足。针对上述问题,建立动态车辆边缘计算模型,描述为7状态2动作空间的Markov决策过程,并建立一个分布式深度强化学习模型来解决问题。另外,针对离散—连续混合决策问题导致的效果欠佳,将输入层与一阶决策网络嵌套,提出一种分阶决策的深度强化学习算法。仿真结果表明,所提算法相较于对比算法,在能耗上保持了较低水平,并且在任务完成率、时延和奖励方面都具备明显优势,这为车辆边缘计算中的卸载决策与计算资源分配问题提供了一种有效的解决方案。     

无人机辅助移动边缘计算中的任务卸载算法

无人机（UAV）灵活机动、易于部署,可以辅助移动边缘计算（MEC）帮助无线系统提高覆盖范围和通信质量,但UAV辅助MEC系统研究中存在计算延迟需求和资源管理等挑战。针对UAV为地面多个终端设备提供辅助计算服务的时延问题,提出一种基于双延迟深度确定性策略梯度（TD3）的时延最小化任务卸载算法（TD3-TOADM）。首先,将优化问题建模为在能量约束下的最小化最大计算时延的问题;其次,通过TD3-TOADM联合优化终端设备调度、UAV轨迹和任务卸载比来最小化最大计算时延。仿真实验分析结果表明,与分别基于演员-评论家（AC）、深度Q网络（DQN）以及深度确定性策略梯度（DDPG）的任务卸载算法相比,TD3-TOADM得到的计算时延减小了8.2%以上。可见TD3-TOADM能获得低时延的最优卸载策略,具有较好的收敛性和鲁棒性。     

基于多智能体深度强化学习的车联网可信任务卸载策略

针对车联网中边缘节点的可信性无法保证的问题,提出了一种基于声誉的车联网可信任务卸载模型,用记录在区块链上的边缘节点声誉来评估其可信度,从而帮助终端设备选取可靠的边缘节点进行任务卸载。同时,将卸载策略建模为声誉约束下的时延和能耗最小化问题,采用多智能体深度确定性策略梯度算法来求解该NP-hard问题的近似最优解,边缘服务器依据任务卸载的完成情况获得奖励,然后据此更新记录在区块链上的声誉。仿真实验表明,与基准测试方案相比,该算法在时延和能耗方面降低了25.58%~27.44%。     

基于DDPG的边缘计算任务卸载和服务缓存算法

当计算任务被转移到移动边缘计算(MEC)服务器上时,通过服务缓存能够降低获取和初始化服务应用程序的实时时延和带宽成本.此外,体验质量是驱动卸载决策的关键因素,有效利用有限的计算资源能够提升用户满意度.考虑一个边缘服务器帮助移动用户执行一系列计算任务的场景,建立混合整数非线性规划问题,提出一种基于深度确定性策略梯度(DD...     

基于深度强化学习的多用户边缘计算任务卸载调度与资源分配算法

移动边缘计算(Mobile Edge Computing,MEC)把计算和存储等资源部署在网络边缘以满足某些对延迟要求苛刻的应用.用户设备可以通过无线网络将计算任务整体或者部分卸载到边缘服务器执行从而降低延迟和本地耗能,进而获得良好的用户体验.现有传统优化算法在MEC卸载决策和资源分配方面是可行的,但传统优化算法并不很...     

基于强化学习的移动边缘计算任务卸载方法

最佳卸载策略直接影响移动计算任务卸载的时延与能耗,因此提出基于强化学习方法的移动边缘计算任务卸载方法。首先对移动设备的计算任务卸载形式展开具体分析,并基于分析结果获取计算任务卸载能量消耗、发射功率、传输速率等相关参数值,以此建立移动边缘计算任务卸载模型。最后基于建立的卸载模型结合Q-Learning算法对计算任务实施强化学习,找出计算任务的最佳卸载策略,从而实现移动边缘计算任务的实时卸载。实验结果表明,使用强化学习方法开展移动边缘计算任务卸载时,卸载能耗低、时延小。     

基于深度强化学习的移动边缘计算任务卸载研究

在移动边缘计算中,本地设备可以将任务卸载到靠近网络边缘的服务器上进行数据存储和计算处理,以此降低业务服务的延迟和功耗,因此任务卸载决策具有很大的研究价值.首先构建了大规模异构移动边缘计算中具有多服务节点和移动任务内部具有多依赖关系的卸载模型;随后结合移动边缘计算的实际应用场景,提出利用改进的深度强化学习算法优化任务卸载策略;最后通过综合比较任务卸载策略的能耗、成本、负载均衡、延迟、网络使用量和平均执行时间等指标,分析了各卸载策略的优缺点.仿真实验结果表明,基于长短期记忆(long short-term memory, LSTM)网络和事后经验回放(hindsight experience replay, HER)改进的HERDRQN算法在能耗、费用、负载均衡和延迟上都有很好的效果.另外利用各算法策略对一定数量的应用进行卸载,通过比较异构设备在不同CPU利用率下的数量分布来验证卸载策略与各评价指标之间的关系,以此证明HERDRQN算法生成的策略在解决任务卸载问题中的科学性和有效性.     

边缘计算中任务卸载研究综述

近年来,随着移动智能设备的普及以及5G等无线通信技术的发展,边缘计算作为一种新兴的计算模式被提出,作为传统的云计算模式的扩展与补充.边缘计算的基本思想是将移动设备上产生的计算任务从卸载到云端转变为卸载到网络边缘端,从而满足实时在线游戏、增强现实等计算密集型应用对低延迟的要求.边缘计算中的计算任务卸载是一个关键的研究问题...     

边缘计算中协作计算卸载与动态任务调度

在边缘计算场景中,通过将部分待执行任务卸载到边缘服务器执行能够达到降低移动设备的负载、提升移动应用性能和减少设备开销的目的.对于时延敏感任务,只有在截止期限内完成才具有实际意义.但是边缘服务器的资源往往有限,当同时接收来自多个设备的数据传输及处理任务时,可能造成任务长时间的排队等待,导致部分任务因超时而执行失败,因此无法兼顾多个设备的性能目标.鉴于此,在计算卸载的基础上优化边缘服务器端的任务调度顺序.一方面,将时延感知的任务调度建模为一个长期优化问题,并使用基于组合多臂赌博机的在线学习方法动态调整服务器的调度顺序.另一方面,由于不同的任务执行顺序会改变任务卸载性能提升程度,因而影响任务卸载决策的有效性.为了增加卸载策略的鲁棒性,采用了带有扰动回报的深度Q学习方法决定任务执行位置.仿真算例证明了该策略可在平衡多个用户目标的同时减少系统的整体开销.     

面向边缘计算的组合拍卖式任务卸载机制

在万物互联的时代,数据量与计算需求飞速增长,促使应用部署方式由云计算模式向边缘计算模式演进,以解决带宽消耗严重和响应时延过高等问题。为推进面向边缘网络的任务卸载,需要解决应用服务提供商(ASP)与边缘计算提供商(ECP)之间的双向选择问题。针对这一问题,提出一种面向边缘计算的组合拍卖式任务卸载机制。首先建立系统模型,并对模型落地的关键问题进行说明,然后分析ECP的投标决策过程,证明选择最大化资源利用率的任务组合是NP完全问题,进而提出一种启发式任务选择算法。在此基础上,设计两种拍卖算法,单胜者拍卖和多胜者拍卖,分别适用于可信度优先和效率优先的场景。实验结果表明,相较于单项拍卖机制,所提出的方案提高ECP资源利用率达13%,同时增加ASP收益达37%。     

车辆边缘计算环境下任务卸载研究综述

计算密集和延迟敏感型车辆应用的出现对车辆设备有限的计算能力提出了严峻的挑战,将任务卸载到传统的云平台会有较大的传输延迟,而移动边缘计算专注于将计算资源转移到网络的边缘,为移动设备提供高性能、低延迟的服务,因此可作为处理计算密集和延迟敏感的任务的一种有效方法.同时,鉴于城市地区拥有大量智能网联车辆,将闲置的车辆计算资源充分利用起来可以提供巨大的资源和价值,因此在车联网场景下,结合移动边缘计算产生了新的计算模式——车辆边缘计算.近年来,智能网联车辆数量的增长和新兴车辆应用的出现促进了对车辆边缘计算环境下任务卸载的研究,本文对现有车辆边缘计算环境下任务卸载研究进展进行综述,首先,从计算模型、任务模型和通信模型三个方面对系统模型进行梳理、比较和分析.然后介绍了最小化卸载延迟、最小化能量消耗和应用结果质量三种常见的优化目标,并按照集中式和分布式两种不同的决策方式对现有的研究进行了详细的归类和比较.此外,本文还介绍了几种常用的实验工具,包括SUMO、Veins和VeinsLTE.最后,本文围绕卸载决策算法复杂度、安全与隐私保护和车辆移动性等方面对车辆边缘计算任务卸载目前面临的挑战进行了总结,并展望了车辆边缘计算环境下任务卸载未来的发展方向与前景.     

基于能耗与延迟优化的移动边缘计算任务卸载模型及算法

随着移动边缘计算的兴起,如何处理边缘计算任务卸载成为研究热点问题之一。针对多任务-多边缘服务器的场景,本文首先提出一种基于能量延迟优化的移动边缘计算任务卸载模型,该模型考虑边缘设备的剩余电量,使用时延、能耗加权因子计算边缘设备的总开销,具有延长设备使用时间、减少任务卸载时延和能耗的优点。进一步提出一种基于改进遗传算法的移动边缘计算任务卸载算法,将求解最优卸载决策的问题转化为求解种群最优解的问题。对比仿真实验结果表明,本文提出的任务卸载模型和算法能够有效求解任务卸载问题,改进后的任务卸载算法求解更精确,能够避免局部最优解,利于寻找最优任务卸载决策。     

车载边缘计算中基于深度强化学习的协同计算卸载方案

车载边缘计算(Vehicular Edge Computing,VEC)是一种可实现车联网低时延和高可靠性的关键技术,用户将计算任务卸载到移动边缘计算(Mobile Edge Computing,MEC)服务器上,不仅可以解决车载终端计算能力不足的问题,而且可以减少能耗,降低车联网通信服务的时延.然而,高速公路场景下车...     

抽水蓄能电站中基于边缘计算的任务卸载算法

为降低抽水蓄能电站中终端设备密集计算型任务的处理时延,针对抽水蓄能电站的物联网体系,提出了一种基于边缘计算的任务卸载算法.在该文方案中,首先基于层次分析法对计算任务进行优先级划分,并以终端能耗为约束、以终端计算任务处理时延为优化目标建立卸载模型,其次基于Q学习算法(Q-Learning,QL)探索系统的状态转移信息,以...     

边缘计算中的计算卸载综述

边缘计算可以有效解决传统云计算中传输时延大、用户数据安全性不够高、传输带宽压力大以及终端移动设备计算能力受限、能耗大等问题.计算卸载是边缘计算中的关键技术,针对当前计算卸载技术的研究现状和存在的不足,本文围绕计算卸载,首先介绍边缘计算的体系架构以及部分应用和分析4种主要的影响因素以及相应具体的条件;其次针对3种决策目标分析了算法策略及对应变量在算法中的作用;最后总结目前在计算卸载中存在的不足.     

绿色能源驱动的移动边缘计算动态任务卸载

移动边缘计算(mobile edge computing, MEC)是近年来出现的一种崭新技术,它能满足更多应用程序所需的计算资源,能使移动网络边缘资源受限的物联网(IoT)设备获得更好的性能.然而,众所周知,边缘基础设施在提高电力使用效率和整合可再生能源方面的能力较差.此外,由于物联网设备的电池容量是有限的,当电池电量耗尽时,所执行任务会被中断.因此,利用绿色能源来延长电池的使用寿命是至关重要的.此外,物联网设备间可以动态、有益地共享计算资源和通信资源.因此,为了提高边缘服务器的能效(power usage efficiency, PUE),实现绿色计算,设计了一种高效的任务卸载策略,提出了一种利用能量收集(energy harvesting, EH)技术和设备间通信(device-to-device communication, D2D)技术的绿色任务卸载框架.该框架旨在最小化任务执行所造成的边缘服务器端电网电力能源成本及云服务器端云资源租用成本.与此同时,引入激励约束,能够有效促进IoT设备间的协作,并防止IoT设备资源被其他设备过度使用.考虑到系统未来信息的不确定性,例如绿色能源的可获得性,提出了一种基于李雅普诺夫优化技术的在线任务卸载算法,该算法仅依赖于系统的当前状态信息.该算法的实现只需要在每个时间片内求解一个确定性问题,其核心思想是将每个时间片的任务卸载问题转化为图匹配问题,并通过调用爱德蒙带花树算法求得近似最优解.对所提出算法的性能进行了严格的理论分析,并通过实验验证了所提出框架的优越性能.