移动边缘计算中基于深度强化学习的任务卸载研究进展

移动边缘计算是近年出现的一种新型网络计算模式,它允许将具有较强计算能力和存储性能的服务器节点放置在更加靠近移动设备的网络边缘(如基站附近),让移动设备可以近距离地卸载任务到边缘设备进行处理,从而解决了传统网络由于移动设备的计算和存储能力弱且能量较有限,从而不得不耗费大量时间、能量且不安全地将任务卸载到远方的云平台进行处...     

面向移动边缘计算基于强化学习的计算卸载算法

针对移动边缘计算(Mobile Edge Computing,MEC)的计算卸载决策的问题,基于强化学习方法提出了一个在多用户的MEC 系统中的计算卸载决策算法(Offloading Decision algorithm based on Reinforcement Learning,ODRL).ODRL算法根据任务模...     

基于深度强化学习的移动边缘计算任务卸载研究

在移动边缘计算中,本地设备可以将任务卸载到靠近网络边缘的服务器上进行数据存储和计算处理,以此降低业务服务的延迟和功耗,因此任务卸载决策具有很大的研究价值.首先构建了大规模异构移动边缘计算中具有多服务节点和移动任务内部具有多依赖关系的卸载模型;随后结合移动边缘计算的实际应用场景,提出利用改进的深度强化学习算法优化任务卸载策略;最后通过综合比较任务卸载策略的能耗、成本、负载均衡、延迟、网络使用量和平均执行时间等指标,分析了各卸载策略的优缺点.仿真实验结果表明,基于长短期记忆(long short-term memory, LSTM)网络和事后经验回放(hindsight experience replay, HER)改进的HERDRQN算法在能耗、费用、负载均衡和延迟上都有很好的效果.另外利用各算法策略对一定数量的应用进行卸载,通过比较异构设备在不同CPU利用率下的数量分布来验证卸载策略与各评价指标之间的关系,以此证明HERDRQN算法生成的策略在解决任务卸载问题中的科学性和有效性.     

基于深度强化学习的车辆边缘计算任务卸载方法

车辆边缘计算允许车辆将计算任务卸载到边缘服务器,从而满足车辆爆炸式增长的计算资源需求。但是如何进行卸载决策与计算资源分配仍然是亟待解决的关键问题。并且,运动车辆在连续时间内进行任务卸载很少被提及,尤其对车辆任务到达随机性考虑不足。针对上述问题,建立动态车辆边缘计算模型,描述为7状态2动作空间的Markov决策过程,并建立一个分布式深度强化学习模型来解决问题。另外,针对离散—连续混合决策问题导致的效果欠佳,将输入层与一阶决策网络嵌套,提出一种分阶决策的深度强化学习算法。仿真结果表明,所提算法相较于对比算法,在能耗上保持了较低水平,并且在任务完成率、时延和奖励方面都具备明显优势,这为车辆边缘计算中的卸载决策与计算资源分配问题提供了一种有效的解决方案。     

移动边缘计算中基于深度强化学习的计算卸载调度方法

针对移动边缘计算中具有依赖关系的任务的卸载决策问题,提出一种基于深度强化学习的任务卸载调度方法,以最小化应用程序的执行时间。任务调度的过程被描述为一个马尔可夫决策过程,其调度策略由所提出的序列到序列深度神经网络表示,并通过近端策略优化(proximal policy optimization)方法进行训练。仿真实验表明,所提出的算法具有良好的收敛能力,并且在不同环境下的表现均优于所对比的六个基线算法,证明了该方法的有效性和可靠性。     

基于深度强化学习的多用户边缘计算任务卸载调度与资源分配算法

移动边缘计算(Mobile Edge Computing,MEC)把计算和存储等资源部署在网络边缘以满足某些对延迟要求苛刻的应用.用户设备可以通过无线网络将计算任务整体或者部分卸载到边缘服务器执行从而降低延迟和本地耗能,进而获得良好的用户体验.现有传统优化算法在MEC卸载决策和资源分配方面是可行的,但传统优化算法并不很...     

无人机辅助移动边缘计算中的任务卸载算法

无人机（UAV）灵活机动、易于部署,可以辅助移动边缘计算（MEC）帮助无线系统提高覆盖范围和通信质量,但UAV辅助MEC系统研究中存在计算延迟需求和资源管理等挑战。针对UAV为地面多个终端设备提供辅助计算服务的时延问题,提出一种基于双延迟深度确定性策略梯度（TD3）的时延最小化任务卸载算法（TD3-TOADM）。首先,将优化问题建模为在能量约束下的最小化最大计算时延的问题;其次,通过TD3-TOADM联合优化终端设备调度、UAV轨迹和任务卸载比来最小化最大计算时延。仿真实验分析结果表明,与分别基于演员-评论家（AC）、深度Q网络（DQN）以及深度确定性策略梯度（DDPG）的任务卸载算法相比,TD3-TOADM得到的计算时延减小了8.2%以上。可见TD3-TOADM能获得低时延的最优卸载策略,具有较好的收敛性和鲁棒性。     

多智能体边缘计算任务卸载

边缘计算技术的发展为计算密集型业务提供了一种全新的选择,低能耗、低时延、实时处理等词语不断被提及,任务卸载引起了众多学者的注意.任务在本地执行还是卸载到服务器上执行,以及卸载到哪一台服务器上执行成为必须要解决的问题.在多智能体环境中提出一种新的目标函数,并构建数学模型;建立马尔可夫决策过程,定义动作、状态空间以及奖励函...     

基于移动边缘计算的任务卸载优化

随着智慧物联体系的发展,物联网中应用程序的种类与数量不断增加.在移动边缘计算(mobile edge computing, MEC)中,通过允许移动用户将任务卸载至附近MEC服务器以加快移动应用程序的速度.本文通过考虑不同任务属性、用户的移动性和时间延迟约束模拟移动边缘场景.根据用户移动轨迹,将目标建模为寻找满足时延约束条件且在卸载过程中产生最小能耗MEC服务器优化模型,并提出一种最小能耗卸载算法求解该问题的最优解.仿真结果表明,在约束条件下,提出的算法可以找到在用户移动轨迹中产生最小能耗的MEC服务器,并显著降低任务卸载过程的能耗与时延,提高应用程序服务质量.     

车载边缘计算中基于深度强化学习的协同计算卸载方案

车载边缘计算(Vehicular Edge Computing,VEC)是一种可实现车联网低时延和高可靠性的关键技术,用户将计算任务卸载到移动边缘计算(Mobile Edge Computing,MEC)服务器上,不仅可以解决车载终端计算能力不足的问题,而且可以减少能耗,降低车联网通信服务的时延.然而,高速公路场景下车...     

移动边缘计算中的端到端任务分配算法

为了提高移动应用程序的运行效率,移动边缘计算将部分任务从终端设备迁移到边缘云中计算来缩减应用程序的运行时间和终端设备的能耗。针对应用程序所需的总代价即能耗和时间两个目标进行了研究,提出一个移动边缘计算模型和基于贪心策略的快速算法（HGA）;构造了一个结合贪心策略的粒子群（HPSO）算法,进一步优化HGA的解。实验结果表明,与传统所有任务只在一个设备上执行和尽可能上传云端执行两种策略相比,提出的HGA总代价分别优化28.5%和9.1%;与HGA相比,HPSO算法总代价减少12.3%;即所提算法能有效减少系统的总代价,更加满足用户需求。     

基于边缘计算的新型任务卸载与资源分配策略

针对移动边缘计算（MEC）中密集型任务卸载时，系统开销较大和延时抖动明显的问题，提出一种新型资源分配策略。首先在系统时延约束下，分析了系统任务执行开销与终端设备的资源分配机制；其次建立了基于计算卸载和任务分配的联合凸优化目标；最后采用拉格朗日乘子法进行迭代更新得到最优解。仿真结果表明，所提任务卸载与资源分配方案在保证用户服务质量的同时降低了任务执行开销，并有效提升了MEC系统性能。     

边缘计算场景下基于强化学习的应用最优部署

为有效解决城市范围内智能公共交通应用程序的布局问题,制定总代价最小化的应用布局优化策略MIN-COST,以降低应用程序部署的总代价为目标,同时满足应用程序服务延时要求。通过提出一个基于深度强化学习技术优化公交边缘应用程序部署的一般框架,可以从历史经验中学习到最优化部署方法,相对于一般启发式算法更加快速。将仿真结果与其它部署策略进行比较,验证了所提策略可以在保证服务时延的基础上有效降低应用程序服务总代价。     

基于SAC的多服务移动边缘计算中任务卸载和资源配置算法

多服务移动边缘计算网络环境中的不同服务的缓存要求、受欢迎程度、计算要求以及从用户传输到边缘服务器的数据量是随时间变化的。如何在资源有限的边缘服务器中调整总服务类型的缓存子集,并确定任务卸载目的地和资源分配决策,以获得最佳的系统整体性能是一个具有挑战性的问题。为了解决这一难题,首先将优化问题转换为马尔可夫决策过程,然后提出了一种基于软演员—评论家（soft actor-critic,SAC）的深度强化学习算法来同时确定服务缓存和任务卸载的离散决策以及上下带宽和计算资源的连续分配决策。算法采用了将多个连续动作输出转换为离散的动作选择的有效技巧,以应对连续—离散混合行动空间所带来的关键设计挑战,提高算法决策的准确性。此外,算法集成了一个高效的奖励函数,增加辅助奖励项来提高资源利用率。广泛的数值结果表明,与其他基线算法相比,提出的算法在有地减少任务的长期平均完成延迟的同时也具有良好的稳定性。     

基于改进深度强化学习的动态移动机器人协同计算卸载

移动边缘计算是解决机器人大计算量任务需求的一种方法。传统算法基于智能算法或凸优化方法,迭代时间长。深度强化学习通过一次前向传递即可求解,但只针对固定数量机器人进行求解。通过对深度强化学习分析研究,在深度强化学习神经网络中输入层前进行输入规整,在输出层后添加卷积层,使得网络能够自适应满足动态移动机器人数量的卸载需求。最后通过仿真实验验证,与自适应遗传算法和强化学习进行对比,验证了所提出算法的有效性及可行性。     

基于多智能体深度强化学习的车联网可信任务卸载策略

针对车联网中边缘节点的可信性无法保证的问题,提出了一种基于声誉的车联网可信任务卸载模型,用记录在区块链上的边缘节点声誉来评估其可信度,从而帮助终端设备选取可靠的边缘节点进行任务卸载。同时,将卸载策略建模为声誉约束下的时延和能耗最小化问题,采用多智能体深度确定性策略梯度算法来求解该NP-hard问题的近似最优解,边缘服务器依据任务卸载的完成情况获得奖励,然后据此更新记录在区块链上的声誉。仿真实验表明,与基准测试方案相比,该算法在时延和能耗方面降低了25.58%~27.44%。     

基于并行强化学习的云机器人任务调度策略

为了解决机器人完成大规模状态空间强化学习任务时收敛慢的问题，提出一种基于优先级的并行强化学习任务调度策略。首先，证明Q学习在异步并行计算模式下的收敛性；然后，将复杂问题根据状态空间进行分割，调度中心根据所提策略将子问题和计算节点匹配，各计算节点完成子问题的强化学习任务并向调度中心反馈结果，实现在计算机集群中的并行强化学习；最后，以CloudSim为软件基础搭建实验环境，求解最优步长、折扣率和子问题规模等参数，并通过对实际问题求解证明在不同计算节点数的情况下所提策略的性能。在使用64个计算节点的情况下所提策略相比轮询调度和随机调度的效率分别提升了61%和86%。实验结果表明，该策略在并行计算情况下有效提高了收敛速度，并进一步验证了该策略得到百万级状态空间控制问题的最优策略需要约1.6×10⁵ s。