移动边缘计算中基于深度强化学习的任务卸载研究进展

移动边缘计算是近年出现的一种新型网络计算模式,它允许将具有较强计算能力和存储性能的服务器节点放置在更加靠近移动设备的网络边缘(如基站附近),让移动设备可以近距离地卸载任务到边缘设备进行处理,从而解决了传统网络由于移动设备的计算和存储能力弱且能量较有限,从而不得不耗费大量时间、能量且不安全地将任务卸载到远方的云平台进行处理的弊端.但是,如何让仅掌握局部有限信息(如邻居数量)的设备根据任务的大小和数量选择卸载任务到本地,还是在无线信道随时间变化的动态网络中选择延迟、能耗均最优的移动边缘计算服务器进行全部或部分的任务卸载,是一个多目标规划问题,求解难度较高.传统的优化技术(如凸优化等)很难获得较好的结果.而深度强化学习是一种将深度学习与强化学习相结合的新型人工智能算法技术,能够对复杂的协作、博弈等问题作出更准确的决策,在工业、农业、商业等多个领域具有广阔的应用前景.近年来,利用深度强化学习来优化移动边缘计算网络中的任务卸载成为一种新的研究趋势.最近三年来,一些研究者对其进行了初步的探索,并达到了比以往单独使用深度学习或强化学习更低的延迟和能耗,但是仍存在很多不足之处.为了进一步推进该领域的研究,文中对近年来国内外的相关工作进行了详细地分析、对比和总结,归纳了它们的优缺点,并对未来可能深入研究的方向进行了讨论.     

车辆边缘计算环境下任务卸载研究综述

计算密集和延迟敏感型车辆应用的出现对车辆设备有限的计算能力提出了严峻的挑战,将任务卸载到传统的云平台会有较大的传输延迟,而移动边缘计算专注于将计算资源转移到网络的边缘,为移动设备提供高性能、低延迟的服务,因此可作为处理计算密集和延迟敏感的任务的一种有效方法.同时,鉴于城市地区拥有大量智能网联车辆,将闲置的车辆计算资源充分利用起来可以提供巨大的资源和价值,因此在车联网场景下,结合移动边缘计算产生了新的计算模式——车辆边缘计算.近年来,智能网联车辆数量的增长和新兴车辆应用的出现促进了对车辆边缘计算环境下任务卸载的研究,本文对现有车辆边缘计算环境下任务卸载研究进展进行综述,首先,从计算模型、任务模型和通信模型三个方面对系统模型进行梳理、比较和分析.然后介绍了最小化卸载延迟、最小化能量消耗和应用结果质量三种常见的优化目标,并按照集中式和分布式两种不同的决策方式对现有的研究进行了详细的归类和比较.此外,本文还介绍了几种常用的实验工具,包括SUMO、Veins和VeinsLTE.最后,本文围绕卸载决策算法复杂度、安全与隐私保护和车辆移动性等方面对车辆边缘计算任务卸载目前面临的挑战进行了总结,并展望了车辆边缘计算环境下任务卸载未来的发展方向与前景.     

基于移动边缘云的计算密集型任务卸载决策算法

为了实现移动边缘云环境中移动设备任务执行时间的优化,提出一种任务卸载决策算法。算法考虑了更为普遍的任务结构类型,包含了顺序任务结构和并发任务结构。其主要发现有两点：(1)一个任务卸载执行,则较大可能其邻居任务也会卸载执行;(2)应用的执行时间可以通过将任务卸载至边缘云端最大化边缘云端与移动设备端的并行性来降低任务完成时间。对于顺序任务构成的线性拓扑任务图,算法可以找到最优的卸载任务群集;而对于并发任务的通用拓扑任务图,算法可以实现更好负载均衡的任务卸载决策。仿真实验结果证明,与基准算法相比,所提算法得到的任务完成时间与理论最优解更为接近,任务完成效率更高。     

基于能耗与延迟优化的移动边缘计算任务卸载模型及算法

随着移动边缘计算的兴起,如何处理边缘计算任务卸载成为研究热点问题之一。针对多任务-多边缘服务器的场景,本文首先提出一种基于能量延迟优化的移动边缘计算任务卸载模型,该模型考虑边缘设备的剩余电量,使用时延、能耗加权因子计算边缘设备的总开销,具有延长设备使用时间、减少任务卸载时延和能耗的优点。进一步提出一种基于改进遗传算法的移动边缘计算任务卸载算法,将求解最优卸载决策的问题转化为求解种群最优解的问题。对比仿真实验结果表明,本文提出的任务卸载模型和算法能够有效求解任务卸载问题,改进后的任务卸载算法求解更精确,能够避免局部最优解,利于寻找最优任务卸载决策。     

移动边缘计算中隐私感知的在线任务卸载机制

移动边缘计算是一种新型的计算范式,它将云计算能力从集中式云分布到网络边缘,可有效解决云计算实时性低及移动终端计算能力不足等问题。但由于用户移动的不确定性以及边缘服务器的覆盖范围的有限性,使得实现高效率的任务卸载面临挑战,并且现有可用性优先的任务卸载算法容易造成用户轨迹隐私泄露。针对上述问题,本文考虑了迁移成本、轨迹隐私与可用性三者之间的矛盾关系,基于信息论提出一种高可用性的在线隐私感知任务卸载机制。首先,基于真实轨迹与发布轨迹之间的互信息量化轨迹隐私泄露程度,并将该任务卸载问题转换为多目标优化问题;然后,进一步提出一种基于马尔可夫链的任务卸载方案来求解该优化问题;最后,在多约束场景下设计了面向设备端的轻量级在线任务卸载算法,解决了在迁移成本约束下轨迹隐私与感知时延的加权平衡问题,以及迁移成本与感知时延双重约束下的轨迹隐私泄露最小化问题。实验结果表明,本文提出的隐私感知任务卸载方案在不同约束场景下的安全性均优于其他方案,能以较低的感知时延实现轨迹隐私保护,适用于资源受限的移动设备进行快速决策与卸载。     

面向车联网的多智能体强化学习边云协同卸载

车联网边缘计算是实现车联网系统低时延和高可靠性的关键技术,但现有方法普遍存在场景趋同和系统建模局限的问题,同时包含复杂的训练过程并面临维灾风险。通过结合云计算技术,提出一种基于多智能体强化学习的边云协同卸载方案。依据随机几何理论计算卸载节点覆盖概率,对车辆节点与卸载对象进行预配对。利用线性Q函数分解方法反映每个智能体多效用因子与任务决策间的映射关系,通过云端协同机制将智能体决策记录作为经验上传到云端,并在云端将训练更完备的神经网络反馈到边缘节点。仿真结果表明,该方案在功耗和延时方面性能优于单一固定边缘的计算策略,且算法复杂度较低,能够有效提升边云协同卸载能力,实现低时延、高可靠的任务卸载。     

移动边缘计算中利用BPSO的任务卸载策略

为提高移动边缘计算任务卸载方案的性能,提出一种移动边缘计算中利用BPSO的任务卸载策略.构建三层移动边缘计算(M EC)网络架构,移动设备根据任务情况进行本地计算,或者将其卸载至边缘计算节点与云服务器;根据M EC网络中的计算模型、通信模型设计计算卸载目标,即任务最优分配、节点负载均衡,使计算任务得到及时、有序、高效的分配;利用二进制粒子群(BPSO)算法对优化目标进行求解,得到最优卸载策略,实现能量消耗最小且时延最短,系统整体负载最为均衡.实验结果表明,所提策略能量损耗最小且系统整体负载性能明显提升.     

基于强化学习的移动边缘计算任务卸载方法

最佳卸载策略直接影响移动计算任务卸载的时延与能耗,因此提出基于强化学习方法的移动边缘计算任务卸载方法。首先对移动设备的计算任务卸载形式展开具体分析,并基于分析结果获取计算任务卸载能量消耗、发射功率、传输速率等相关参数值,以此建立移动边缘计算任务卸载模型。最后基于建立的卸载模型结合Q-Learning算法对计算任务实施强化学习,找出计算任务的最佳卸载策略,从而实现移动边缘计算任务的实时卸载。实验结果表明,使用强化学习方法开展移动边缘计算任务卸载时,卸载能耗低、时延小。     

面向多边缘设备协作的任务卸载和服务缓存在线联合优化机制

移动边缘计算通过在边缘设备上部署通信、计算、存储等资源,有效克服传统云计算存在的传输距离较长、响应时延过慢等问题,满足新兴的计算密集型和时延敏感型应用的服务需求.然而,移动边缘计算中存在边缘设备资源有限且多边缘设备间负载不均衡的问题.为了解决上述问题,多边缘设备协作成为一种必然趋势.然而,多边缘设备协作面临任务卸载与服务缓存相互耦合、边缘设备的任务负载及资源状态随时空双维变化等两大挑战,极大增加了求解难度.针对上述挑战,提出一种面向多边缘设备协作的任务卸载和服务缓存在线联合优化机制,将任务卸载和服务缓存联合优化问题解耦为服务缓存和任务卸载2个子问题.针对服务缓存子问题,提出基于情景感知组合多臂赌博机的协作服务缓存算法;针对任务卸载子问题,设计基于偏好的双边匹配算法.仿真实验表明所提算法能够有效降低任务整体执行时延,同时实现边缘设备间负载均衡.     

移动边缘计算中带有缓存机制的任务卸载策略

为了满足延时敏感型应用执行的需求,实现移动设备的能耗优化,基于移动边缘计算环境提出一种融入缓存机制的任务卸载策略。与仅关注计算卸载决策不同,该策略可将已完成的重复请求任务及相关数据在边缘云上进行缓存,这样可以降低任务的卸载延时。将计算与存储能力受限的边缘云中的任务缓存与卸载优化决策问题分解为两个子优化问题进行求解。证明任务卸载子问题可转换为决策变量的凸最优化问题,而任务缓存子问题可转换为0-1整数规划问题。分别设计内点法和分支限界法对两个子问题进行求解,进而得到满足截止时间约束时能耗最优的卸载决策解。仿真算例证明了该策略在动态异构的任务执行环境下可以实现更好的能效优化。     

基于延迟接受的多用户任务卸载策略

随着人工智能的应用对计算资源的要求越来越高,移动设备由于计算能力和存储能量有限而无法处理这类有实时性需求的计算密集型应用。移动边缘计算(Mobile Edge Computing,MEC)可以在无线网络边缘提供计算卸载服务,达到缩短时延和节约能源的目的。针对多用户依赖任务卸载问题,在综合考虑时延与能耗的基础上建立用户依赖任务模型,提出了基于延迟接受的多用户任务卸载策略(Multi-User Task Offloading Based on Delayed Acceptance,MUTODA),用于解决时延约束下最小化能耗的任务卸载问题。该策略通过非支配的单用户最优卸载策略和解决资源竞争的调整策略两个步骤的不断迭代,来解决多用户任务卸载问题。实验结果表明,相比基准策略和启发式策略,基于延迟接受的多用户任务卸载策略能够提高约8%的用户满意度,节约30%~50%的移动终端能耗。     

物联网中多设备多服务器的移动边缘计算任务卸载技术综述

随着物联网(Internet of Things,IoT)技术的快速发展,出现了大量具有不同功能的设备(如多种带不同传感器的智能家居设备、移动智能交通设备、智能物流或仓储管理设备等),它们相互连接,被广泛应用于智能城市、智慧工厂等领域。然而,这些物联网设备的处理能力有限,很难满足延迟敏感、计算密集型应用的需求。移动边缘计算(Mobile Edge Computing,MEC)的出现有效解决了这一问题。物联网设备可以将任务卸载到MEC服务器上,借助它们完成相应的计算任务。这些服务器通常由网络运营商部署在网络边缘,即靠近用户端的网络接入层,用于汇聚用户网络的网络层面。某一段时间内,物联网设备可能处于多个MEC服务器的覆盖区域中,多个设备共享服务器有限的计算和通信资源。在这个复杂环境下,制定一个任务卸载和资源分配方案,使得任务完成的时延或物联网设备的能耗达到最优化,是一个NP-难问题。目前,已有许多工作对这一问题进行了研究,并取得了一定的成果,但在实际的应用中仍面临着一些问题。为了更深入地推进该领域的研究,文中对近几年的最新研究成果进行了分析、归纳和总结,对比分析了它们的优缺点,并对未来的工作进行了展望。     

移动边缘环境下面向工作流管理的计算迁移方法

针对移动边缘环境下移动设备大量的能源消耗问题，为了优化移动设备的能源消耗，提出一种能耗感知的工作流计算迁移（EOW）方法。首先，基于排队论分析边缘设备中计算任务的平均等待时间，建立了移动设备的时间模型和能耗模型；然后，基于非支配排序算法（NSGA-Ⅲ）提出对应的计算迁移方法，对工作流的计算任务进行合理的分配，将一部分计算任务留在移动设备处理，或者迁移到边缘计算平台和远程云端，实现每个移动设备的节能目标；最后，通过CloudSim仿真平台对提出的计算迁移方法进行仿真和对比实验。实验结果表明，EOW方法能够明显地减少每个移动设备的能源消耗，同时满足每一个工作流的截止时间的要求。     

Wi-Fi网络下多AP协作边缘计算资源分配策略

近年来, AR/VR、在线游戏、4K/8K超高清视频等计算密集且时延敏感型应用不断涌现, 而部分移动设备受自身硬件条件的限制, 无法在时延要求内完成此类应用的计算, 且运行此类应用会带来巨大的能耗, 降低移动设备的续航能力. 为了解决这一问题, 本文提出了一种Wi-Fi网络多AP (access point)协作场景下边缘计算卸载和资源分配方案. 首先, 通过遗传算法确定用户的任务卸载决策. 随后, 利用匈牙利算法为进行任务卸载的用户分配通信资源. 最后, 根据任务处理时延限制, 为进行任务卸载的用户分配边缘服务器计算资源, 使其满足任务处理时延限制要求. 仿真结果表明, 所提出的任务卸载与资源分配方案能够在满足任务处理时延限制的前提下有效降低移动设备的能耗.     

基于合约设计的移动边缘计算任务卸载策略研究

移动边缘计算将边缘服务器部署到无线局域网侧,将部分计算密集任务卸载到边缘云服务器,从而缩短计算服务与移动设备的距离,降低数据传输成本.考虑移动边缘计算(MEC)环境下的计算任务分配问题,通过探索用户体验敏感度的异质性,建立CPU运算周期数-数据量-价格的三元组合约模型,提出基于合约理论的计算任务分配策略,以最大化云服务商的利润为目标,同时保证移动用户的非负效益.分别讨论完整信息场景下和统计信息场景下的最优合约设计策略.仿真结果验证了所提出方案可以有效实现计算任务的卸载.     

边缘计算中协作计算卸载与动态任务调度

在边缘计算场景中,通过将部分待执行任务卸载到边缘服务器执行能够达到降低移动设备的负载、提升移动应用性能和减少设备开销的目的.对于时延敏感任务,只有在截止期限内完成才具有实际意义.但是边缘服务器的资源往往有限,当同时接收来自多个设备的数据传输及处理任务时,可能造成任务长时间的排队等待,导致部分任务因超时而执行失败,因此无法兼顾多个设备的性能目标.鉴于此,在计算卸载的基础上优化边缘服务器端的任务调度顺序.一方面,将时延感知的任务调度建模为一个长期优化问题,并使用基于组合多臂赌博机的在线学习方法动态调整服务器的调度顺序.另一方面,由于不同的任务执行顺序会改变任务卸载性能提升程度,因而影响任务卸载决策的有效性.为了增加卸载策略的鲁棒性,采用了带有扰动回报的深度Q学习方法决定任务执行位置.仿真算例证明了该策略可在平衡多个用户目标的同时减少系统的整体开销.     

基于光纤-无线网络的协同计算卸载算法

随着无源光网络的发展,光纤-无线网络能同时支持集中式云和边缘云计算技术,成为一种具有发展前景的网络结构。但是,现有的基于光纤-无线网络的任务协同计算卸载研究主要以最小化移动设备的能耗为目标,忽略了实时性高的任务的需求。针对实时性高的任务,提出了以最小化任务的总处理时间为目标的集中式云和边缘云协同计算卸载问题,并对其进行形式化描述。同时,通过将该问题归约为装箱问题,从而证明其为NP难解问题。提出一个启发式协同计算卸载算法,该算法通过比较不同卸载策略的任务处理时间,优先选择时间最短的任务卸载策略。同时,提出一个定制的遗传算法,获得一个更优的任务卸载策略。实验结果表明,与现有的算法相比,本文提出的启发式算法得到的任务卸载策略平均减少4.34%的任务总处理时间,而定制的遗传算法的卸载策略平均减少18.41%的任务总处理时间。同时,定制的遗传算法的卸载策略与本文提出的启发式算法相比平均减少14.49%的任务总处理时间。