基于SAC的多服务移动边缘计算中任务卸载和资源配置算法

多服务移动边缘计算网络环境中的不同服务的缓存要求、受欢迎程度、计算要求以及从用户传输到边缘服务器的数据量是随时间变化的。如何在资源有限的边缘服务器中调整总服务类型的缓存子集,并确定任务卸载目的地和资源分配决策,以获得最佳的系统整体性能是一个具有挑战性的问题。为了解决这一难题,首先将优化问题转换为马尔可夫决策过程,然后提出了一种基于软演员—评论家（soft actor-critic,SAC）的深度强化学习算法来同时确定服务缓存和任务卸载的离散决策以及上下带宽和计算资源的连续分配决策。算法采用了将多个连续动作输出转换为离散的动作选择的有效技巧,以应对连续—离散混合行动空间所带来的关键设计挑战,提高算法决策的准确性。此外,算法集成了一个高效的奖励函数,增加辅助奖励项来提高资源利用率。广泛的数值结果表明,与其他基线算法相比,提出的算法在有地减少任务的长期平均完成延迟的同时也具有良好的稳定性。     

基于深度强化学习的移动边缘计算任务卸载研究

在移动边缘计算中,本地设备可以将任务卸载到靠近网络边缘的服务器上进行数据存储和计算处理,以此降低业务服务的延迟和功耗,因此任务卸载决策具有很大的研究价值.首先构建了大规模异构移动边缘计算中具有多服务节点和移动任务内部具有多依赖关系的卸载模型;随后结合移动边缘计算的实际应用场景,提出利用改进的深度强化学习算法优化任务卸载策略;最后通过综合比较任务卸载策略的能耗、成本、负载均衡、延迟、网络使用量和平均执行时间等指标,分析了各卸载策略的优缺点.仿真实验结果表明,基于长短期记忆(long short-term memory, LSTM)网络和事后经验回放(hindsight experience replay, HER)改进的HERDRQN算法在能耗、费用、负载均衡和延迟上都有很好的效果.另外利用各算法策略对一定数量的应用进行卸载,通过比较异构设备在不同CPU利用率下的数量分布来验证卸载策略与各评价指标之间的关系,以此证明HERDRQN算法生成的策略在解决任务卸载问题中的科学性和有效性.     

多智能体边缘计算任务卸载

边缘计算技术的发展为计算密集型业务提供了一种全新的选择,低能耗、低时延、实时处理等词语不断被提及,任务卸载引起了众多学者的注意.任务在本地执行还是卸载到服务器上执行,以及卸载到哪一台服务器上执行成为必须要解决的问题.在多智能体环境中提出一种新的目标函数,并构建数学模型;建立马尔可夫决策过程,定义动作、状态空间以及奖励函...     

基于深度强化学习的车辆边缘计算任务卸载方法

车辆边缘计算允许车辆将计算任务卸载到边缘服务器,从而满足车辆爆炸式增长的计算资源需求。但是如何进行卸载决策与计算资源分配仍然是亟待解决的关键问题。并且,运动车辆在连续时间内进行任务卸载很少被提及,尤其对车辆任务到达随机性考虑不足。针对上述问题,建立动态车辆边缘计算模型,描述为7状态2动作空间的Markov决策过程,并建立一个分布式深度强化学习模型来解决问题。另外,针对离散—连续混合决策问题导致的效果欠佳,将输入层与一阶决策网络嵌套,提出一种分阶决策的深度强化学习算法。仿真结果表明,所提算法相较于对比算法,在能耗上保持了较低水平,并且在任务完成率、时延和奖励方面都具备明显优势,这为车辆边缘计算中的卸载决策与计算资源分配问题提供了一种有效的解决方案。     

车载边缘计算中基于深度强化学习的协同计算卸载方案

车载边缘计算(Vehicular Edge Computing,VEC)是一种可实现车联网低时延和高可靠性的关键技术,用户将计算任务卸载到移动边缘计算(Mobile Edge Computing,MEC)服务器上,不仅可以解决车载终端计算能力不足的问题,而且可以减少能耗,降低车联网通信服务的时延.然而,高速公路场景下车...     

NOMA-MEC网络中基于优先级的多任务卸载策略

针对NOMA-MEC网络中多任务卸载引起的资源分配不均、卸载成本过高等问题,考虑任务的异构性和网络环境的动态时变性,以最小化平均卸载成本为目标,面向超密集异构边缘网络提出了一种结合任务优先级的部分卸载策略.首先,充分利用资源,使用二分法模型化卸载比例的封闭解,将卸载问题解耦为任务优先级划分和基于服务器的信道资源分配两个子问题;然后,针对异构的任务,构建多维度任务优先级分类准则,提出了一种基于层次分析的支持向量机(analytic hierarchy-support vector machine,AH-SVM)任务分类方法,通过为不同的任务特征进行权重赋值,实现多任务优先级划分;最后,考虑动态环境下的信道质量,提出了一种面向信道资源分配和最佳卸载位置的NOMA信道增益深度双Q网络(NOMA channel gain deep double Q network,NCG-DDQN)任务卸载算法,有效降低了用户的平均卸载成本.实验结果表明,该算法在任务分类准确率和平均卸载成本方面较其他算法性能均有提升,同时验证了所提算法在高低优先级任务卸载过程中命中率的有效性.     

边云环境中基于深度强化学习的任务卸载和资源分配方法

边缘计算允许物联网设备卸载任务到边云环境中执行,以满足任务对资源的需求.由于边云环境的高度随机性和动态性,启发式算法和基于Q表格的强化学习算法难以实现异构任务的高效卸载决策,所以提出了一个新颖的竞争和双深度Q网络(novel dueling and double deep Q network,ND3QN)的深度强化学习算法,用于任务高效卸载和资源分配.ND3QN联合优化任务完成时间和费用,并创新地构建了包含环境动态信息的状态;设计了能有效指导算法训练的奖励函数;实现了细粒度卸载,即任务卸载到服务器的虚拟机.实验结果表明,ND3QN在不同探索率和学习率下的收敛速度和收敛值存在明显差异,且在任务丢弃率、完成时间和费用等方面优于基线算法;消融实验证明了状态和奖励函数改进的有效性.因此,ND3QN可有效提升边云环境中的任务卸载和资源分配效率.     

边缘环境下基于移动群智感知计算卸载的数据汇聚

当前“云-端”式移动群智感知（mobile crowd sensing,MCS）系统面临负载过重的问题,导致数据汇聚过程中时延和能耗显著增加,从而降低了数据汇聚的效率。针对该问题,提出了一种基于AP-DQN的“云-边-端”MCS计算卸载算法。首先,考虑时延和能耗的均衡优化建立效用函数,以最大化系统效用作为优化目标。其次,优化P-DQN算法,提出一种联合资源分配的计算卸载算法AP-DQN,结合MCS优势,将空闲用户作为卸载设备之一。最后,使用该方法求解问题。实验结果显示,与已有算法相比,该方法能有效提高数据汇聚效率,并具有很好的稳定性。     

移动边缘计算中基于深度强化学习的计算卸载调度方法

针对移动边缘计算中具有依赖关系的任务的卸载决策问题,提出一种基于深度强化学习的任务卸载调度方法,以最小化应用程序的执行时间。任务调度的过程被描述为一个马尔可夫决策过程,其调度策略由所提出的序列到序列深度神经网络表示,并通过近端策略优化(proximal policy optimization)方法进行训练。仿真实验表明,所提出的算法具有良好的收敛能力,并且在不同环境下的表现均优于所对比的六个基线算法,证明了该方法的有效性和可靠性。     

卫星物联网中面向多类型任务的计算卸载策略

摘〓要 ：边缘计算与卫星物联网相融合,可以将本地物联网设备产生的任务在靠近边缘端进行处理,极大地缓解了本地物联网设备的计算压力。然而,鉴于卫星物联网中计算任务具有多样性,由于任务特性不同需求也不同,针对每一种任务类型部署一套计算卸载策略会导致计算资源的浪费。此外,由于卫星物联网中计算任务产生具有随机性,如果仅考虑系统短期优化会导致计算设备计算资源利用不足,进一步导致任务处理时延的增加。为解决上述问题,提出了一种基于 DQN（deep Q-network） 多类型任务计算卸载策略,该策略引入排队论以最小化长期系统任务处理平均时延。并且为提升模型训练结果,在训练阶段重新设计了探索机制。最后,大量仿真结果表明,与其他卸载策略相比,所提策略能有效降低系统任务处理的平均时延。     

基于多智能体深度强化学习的车联网可信任务卸载策略

针对车联网中边缘节点的可信性无法保证的问题,提出了一种基于声誉的车联网可信任务卸载模型,用记录在区块链上的边缘节点声誉来评估其可信度,从而帮助终端设备选取可靠的边缘节点进行任务卸载。同时,将卸载策略建模为声誉约束下的时延和能耗最小化问题,采用多智能体深度确定性策略梯度算法来求解该NP-hard问题的近似最优解,边缘服务器依据任务卸载的完成情况获得奖励,然后据此更新记录在区块链上的声誉。仿真实验表明,与基准测试方案相比,该算法在时延和能耗方面降低了25.58%~27.44%。     

区块链赋能物联网中联合资源分配与控制的智能计算迁移研究

大数据场景下,远程云服务器通常被部署用于数据处理与价值挖掘,但在面对时延敏感型或需要动态频繁交互的业务时,该种处理模式显得力不从心.作为对云计算模式的补充,雾计算因其可有效降低任务处理时延、能耗与带宽消耗而备受关注;同时,面向雾计算的计算迁移机制因其能有效缓解节点的处理负担并改善用户体验而成为领域研究焦点.在雾计算模式...     

基于边缘计算的智能视频分析算法研究

为适应摄像头在智慧城市、智能交通、自动驾驶等新兴领域应用部署愈加广泛的需求,视频分析需更高精度、更低延时地响应分析结果。然而,这种高精度的分析同时也带来了巨大的计算资源需求,计算资源受限的摄像头无法胜任分析任务。边缘计算不仅可以解决本地摄像头计算资源问题,还可以显著降低向云端传输视频流数据的时间。本文探讨了利用深度强化学习方法,在边缘节点辅助摄像头集群视频分析任务场景下,根据当前网络系统条件动态决策,卸载部分指定摄像头上的分析任务,以在满足任务响应延时的约束前提下,最大化一段时间内任务分析的精度。仿真结果表明,本文提出的方法在任务的响应延时和准确度方面获得了良好效果。     

车辆边缘计算环境下任务卸载研究综述

计算密集和延迟敏感型车辆应用的出现对车辆设备有限的计算能力提出了严峻的挑战,将任务卸载到传统的云平台会有较大的传输延迟,而移动边缘计算专注于将计算资源转移到网络的边缘,为移动设备提供高性能、低延迟的服务,因此可作为处理计算密集和延迟敏感的任务的一种有效方法.同时,鉴于城市地区拥有大量智能网联车辆,将闲置的车辆计算资源充分利用起来可以提供巨大的资源和价值,因此在车联网场景下,结合移动边缘计算产生了新的计算模式——车辆边缘计算.近年来,智能网联车辆数量的增长和新兴车辆应用的出现促进了对车辆边缘计算环境下任务卸载的研究,本文对现有车辆边缘计算环境下任务卸载研究进展进行综述,首先,从计算模型、任务模型和通信模型三个方面对系统模型进行梳理、比较和分析.然后介绍了最小化卸载延迟、最小化能量消耗和应用结果质量三种常见的优化目标,并按照集中式和分布式两种不同的决策方式对现有的研究进行了详细的归类和比较.此外,本文还介绍了几种常用的实验工具,包括SUMO、Veins和VeinsLTE.最后,本文围绕卸载决策算法复杂度、安全与隐私保护和车辆移动性等方面对车辆边缘计算任务卸载目前面临的挑战进行了总结,并展望了车辆边缘计算环境下任务卸载未来的发展方向与前景.     

移动边缘计算资源分配综述

在万物互联的物联网时代,云计算凭借超强的计算能力和存储能力提供了主流的大数据处理方案。随着5G的正式商用,面对5G+物联网呈爆炸式增长的终端设备以及低时延、低功耗的用户需求,基于云计算的大数据处理方案逐渐显露弊端。分布式的面向移动终端的大数据处理方案——移动边缘计算呼之欲出。本文通过对比云计算、边缘计算和移动边缘计算的概念和相关特征,引入移动边缘计算的定义及八大典型应用场景,进一步列举出移动边缘计算的发展历程。随后,归纳出移动边缘计算的几种国际标准模型以及框架设计的相关研究,结合移动边缘计算资源分配的关键问题进行梳理。最后,提出移动边缘计算的未来的研究方向和挑战。     

基于TD3的无人机计算卸载算法

无人机(unmanned aerial vehicle, UAV)搭载边缘服务器构成移动边缘服务器,可以在一些基站难以部署的场景下为用户设备(user equipment, UE)提供计算服务,借助深度强化学习对智能体进行训练,能够在连续复杂的状态空间中制定合理的卸载决策,将用户产生的计算密集型任务部分卸载至边缘服务器处执行,提高系统的续航和响应时间.但目前的深度强化学习算法所使用的全连接神经网络无法较好地处理UAV辅助移动边缘计算(mobile edge computing, MEC)场景下的时间序列数据,算法的智能体训练效率低,决策性能差.针对上述问题,本文以最小化UAV辅助MEC系统总时延为目标,提出了一种基于长短期记忆网络的双延迟深度确定性策略梯度算法(twin delayed deep deterministic policy gradient algorithm based on long short term memory, LSTM-TD3).利用LSTM改进TD3算法的Actor-Critic网络结构,将网络划分成3部分:包含LSTM的记忆提取单元,当前特征提取单元,以及感知整合单元;并在改进了经验池中的样本数据,定义了历史数据,使记忆提取单元能够得到更好的训练效果.仿真结果表明,与AC算法、DQN算法和DDPG算法相比, LSTM-TD3算法在以系统最小总时延为目标对卸载策略进行优化时具有最好的性能.     

基于深度学习的动态优先级任务调度算法

工业互联网中设备任务的处理需要大量计算资源,有低时延需求的任务显著增多.边缘计算将算力等资源放置到靠近需求一侧,为任务处理提供有效支撑.但由于边缘计算资源有限,无法同时满足设备任务的低时延和高完成率需求.如何确定合理的卸载决策与任务调度,仍然存在巨大挑战.针对以上问题,本文提出了一种基于深度学习的动态优先级任务调度算法DPTSA,首先根据动态优先级选择待处理任务,通过神经网络产生任务调度决策,然后通过交叉变异等操作产生一组可行解,再筛选最优解存储到经验缓冲区,最后通过经验缓冲区样本优化神经网络参数.基于Google的Brog任务调度数据集的实验结果表明,相比于4种基准算法, DPTSA在任务等待时间和任务完成率方面都有出色表现.     

边缘计算场景下基于强化学习的应用最优部署

为有效解决城市范围内智能公共交通应用程序的布局问题,制定总代价最小化的应用布局优化策略MIN-COST,以降低应用程序部署的总代价为目标,同时满足应用程序服务延时要求。通过提出一个基于深度强化学习技术优化公交边缘应用程序部署的一般框架,可以从历史经验中学习到最优化部署方法,相对于一般启发式算法更加快速。将仿真结果与其它部署策略进行比较,验证了所提策略可以在保证服务时延的基础上有效降低应用程序服务总代价。