基于多智能体深度强化学习的车联网可信任务卸载策略

针对车联网中边缘节点的可信性无法保证的问题,提出了一种基于声誉的车联网可信任务卸载模型,用记录在区块链上的边缘节点声誉来评估其可信度,从而帮助终端设备选取可靠的边缘节点进行任务卸载。同时,将卸载策略建模为声誉约束下的时延和能耗最小化问题,采用多智能体深度确定性策略梯度算法来求解该NP-hard问题的近似最优解,边缘服务器依据任务卸载的完成情况获得奖励,然后据此更新记录在区块链上的声誉。仿真实验表明,与基准测试方案相比,该算法在时延和能耗方面降低了25.58%~27.44%。     

移动边缘计算中基于深度强化学习的任务卸载研究进展

移动边缘计算是近年出现的一种新型网络计算模式,它允许将具有较强计算能力和存储性能的服务器节点放置在更加靠近移动设备的网络边缘(如基站附近),让移动设备可以近距离地卸载任务到边缘设备进行处理,从而解决了传统网络由于移动设备的计算和存储能力弱且能量较有限,从而不得不耗费大量时间、能量且不安全地将任务卸载到远方的云平台进行处理的弊端。但是,如何让仅掌握局部有限信息(如邻居数量)的设备根据任务的大小和数量选择卸载任务到本地,还是在无线信道随时间变化的动态网络中选择延迟、能耗均最优的移动边缘计算服务器进行全部或部分的任务卸载,是一个多目标规划问题,求解难度较高。传统的优化技术(如凸优化等)很难获得较好的结果。而深度强化学习是一种将深度学习与强化学习相结合的新型人工智能算法技术,能够对复杂的协作、博弈等问题作出更准确的决策,在工业、农业、商业等多个领域具有广阔的应用前景。近年来,利用深度强化学习来优化移动边缘计算网络中的任务卸载成为一种新的研究趋势。最近三年来,一些研究者对其进行了初步的探索,并达到了比以往单独使用深度学习或强化学习更低的延迟和能耗,但是仍存在很多不足之处。为了进一步推进该领域的研...     

基于深度强化学习的车辆边缘计算任务卸载方法

车辆边缘计算允许车辆将计算任务卸载到边缘服务器,从而满足车辆爆炸式增长的计算资源需求。但是如何进行卸载决策与计算资源分配仍然是亟待解决的关键问题。并且,运动车辆在连续时间内进行任务卸载很少被提及,尤其对车辆任务到达随机性考虑不足。针对上述问题,建立动态车辆边缘计算模型,描述为7状态2动作空间的Markov决策过程,并建立一个分布式深度强化学习模型来解决问题。另外,针对离散—连续混合决策问题导致的效果欠佳,将输入层与一阶决策网络嵌套,提出一种分阶决策的深度强化学习算法。仿真结果表明,所提算法相较于对比算法,在能耗上保持了较低水平,并且在任务完成率、时延和奖励方面都具备明显优势,这为车辆边缘计算中的卸载决策与计算资源分配问题提供了一种有效的解决方案。     

基于深度强化学习的多用户边缘计算任务卸载调度与资源分配算法

移动边缘计算(Mobile Edge Computing,MEC)把计算和存储等资源部署在网络边缘以满足某些对延迟要求苛刻的应用.用户设备可以通过无线网络将计算任务整体或者部分卸载到边缘服务器执行从而降低延迟和本地耗能,进而获得良好的用户体验.现有传统优化算法在MEC卸载决策和资源分配方面是可行的,但传统优化算法并不很...     

车联网中深度强化学习辅助的RAN切片和任务卸载联合优化

车联网特点包括多种业务并存、车辆高速移动、车流在时域和空域分布不匀等,使得任务卸载和资源分配面临许多挑战性问题.本文提出一种深度强化学习辅助的无线接入网(Radio Access Network, RAN)切片和任务卸载联合优化方法,目的是最大化车联网任务完成数量.设计一种多时间尺度、多维资源切片框架,为不同类型任务的卸载提供差异化服务质量(Quality-of-Service, QoS)保障.在该框架下,任务完成数量最大化问题被建模为一个带约束的长时累积优化问题.该问题被解耦为大时间尺度上的RAN切片子问题与小时间尺度上的任务调度子问题.每当一个新切片窗口到来,控制器通过一种最优化方法为切片分配频谱和计算资源.切片窗口内各个时隙的工作流调度由一种基于深度强化学习的任务调度算法决定.该算法综合考虑车速、行驶方向、基站资源等因素,可以根据网络态势变化动态地在不同基站之间分配任务,实现全网资源的高效利用.仿真结果表明,所提方案在任务完成率、环境适应性等方面优于现有典型的基准方法.     

基于深度强化学习的任务卸载和资源分配优化

移动边缘计算(MEC)可以在网络边缘为用户提供就近的存储和计算服务,从而为移动用户带来低能耗、低时延的优势。该文针对基于超密集网络(UDN)的多用户多MEC场景,从用户侧出发,以最小化用户计算总开销为目的,解决用户在卸载过程中的卸载决策和上传传输功率优化以及MEC计算资源分配问题。具体而言,考虑到该问题是一个具有NP-hard性质的MINLP问题,该文将该问题分解为两个子问题并通过两个阶段的方式进行求解。首先在第一个阶段设计了一种基于深度强化学习(DQN)的任务卸载决策来解决任务卸载子问题,然后在第二个阶段分别使用KKT条件以及黄金分割算法解决MEC计算资源分配和上行传输功率的优化问题。仿真结果表明,所提方案在保证用户时延约束的前提下,有效降低了用户的计算开销,提升了系统性能。     

基于深度强化学习的移动边缘计算任务卸载研究

在移动边缘计算中,本地设备可以将任务卸载到靠近网络边缘的服务器上进行数据存储和计算处理,以此降低业务服务的延迟和功耗,因此任务卸载决策具有很大的研究价值.首先构建了大规模异构移动边缘计算中具有多服务节点和移动任务内部具有多依赖关系的卸载模型;随后结合移动边缘计算的实际应用场景,提出利用改进的深度强化学习算法优化任务卸载策略;最后通过综合比较任务卸载策略的能耗、成本、负载均衡、延迟、网络使用量和平均执行时间等指标,分析了各卸载策略的优缺点.仿真实验结果表明,基于长短期记忆(long short-term memory, LSTM)网络和事后经验回放(hindsight experience replay, HER)改进的HERDRQN算法在能耗、费用、负载均衡和延迟上都有很好的效果.另外利用各算法策略对一定数量的应用进行卸载,通过比较异构设备在不同CPU利用率下的数量分布来验证卸载策略与各评价指标之间的关系,以此证明HERDRQN算法生成的策略在解决任务卸载问题中的科学性和有效性.     

面向异构工业任务高并发计算卸载的深度强化学习算法

进入工业4.0时代,大规模互联分布式智能工业设备产生了海量的具有时延敏感和计算负载差异的异构工业任务,终端侧有限的计算能力难以支持任务的实时高效处理.通过工业无线网络将任务卸载到网络边缘侧服务器进行多接入边缘计算成为解决终端侧算力受限问题的一种有效手段.然而,工业无线网络有限的时频资源难以支持大规模分布式工业设备的高并发任务卸载.本文充分考虑异构工业任务高并发计算卸载中有限时频资源约束和建模难的问题,提出一种基于深度强化学习的动态优先级并发接入算法(Deep Reinforcement Learning-based Concurrent Access Algorithm with Dynamic Priority,CADP DRL).该算法首先分析异构工业任务的时延敏感性和计算负载时变性,为工业设备分配不同的优先级,动态地改变工业设备接入信道进行计算卸载的概率.然后,利用Markov决策过程形式化动态优先级高并发计算卸载问题,并采用深度强化学习方法建立高维状态空间下状态到动作的映射关系.针对动态优先级和并发卸载的多目标决策问题,设计了包含优先级奖励和卸载奖励的复合奖励函数.为保证训练数据的独立同分布,同时提高算法收敛速度,提出了带经验权重的经验回放方法.对比实验结果表明,CADP DRL能够快速收敛,实时响应,在实现最小卸载冲突的情况下为高优先级工业设备提供最高的成功卸载概率保证,性能优于slotted-Aloha、DQN、DDQN和D3QN算法.     

基于深度强化学习的边云协同任务卸载策略

为降低应用程序执行的时延和能耗,针对移动边缘计算环境,提出一种边云协同场景下基于深度强化学习的任务卸载策略。通过建立边云协同架构下的网络模型、通信模型及计算模型,以最小化时延和能耗为系统目标,设计基于深度强化学习的DQN卸载策略,将每个用户产生的任务独立高效地放置在本地、服务器或者云端进行计算,并将计算结果与其它方法进行比较。实验结果表明,相较其它基线算法,该方法能更有效减少任务执行的开销,得到更优的卸载策略。     

车联网中改进粒子群算法的任务卸载策略

当前,多数车联网任务卸载工作仅考虑时延因素将任务卸载至边缘服务器执行(LOCAL-MEC),但是,车载单元仍有一定的计算能力可以利用.针对上述问题,研究了任务卸载的总代价即时延和能耗两个目标,提出一个将车辆自身的计算单元、附近车辆的计算单元与边缘服务器协同计算的任务卸载模型.该模型既考虑了任务的优先关系,又同时考虑了系统的时延和能耗.通过借鉴模拟退火算法思想并引入压缩因子改进粒子群算法来实现任务卸载.实验结果表明:与其他任务卸载策略相比,提出的任务卸载策略优化效果明显,TPSO算法的总代价为传统粒子群算法的53.8％、LOCAL-MEC策略的27.1％、DCOS(distributed computation offloading scheme)算法的78％,并且适用于多种现实场景.     

车联网中基于DDQN的边云协作任务卸载机制

面对车载终端数据计算量的爆炸式增长,计算卸载是缓解车辆资源不足的有效手段。相比于单独研究云计算或边缘计算,让两者相互协作可以实现优势互补,提高系统的整体服务质量。在车联网中,制定适应环境动态性的卸载决策存在较大困难,其中任务的紧急程度也是一个不容忽视的因素。构建一个基于软件定义网络的边云协作任务卸载架构,并设计任务优先级的度量标准,将动态环境中的任务卸载决策问题建模为马尔可夫决策过程,从而最大化由时延和成本构成的任务平均效用。为了求解任务卸载决策,提出基于双深度Q网络的任务卸载决策算法以及基于优先级的资源分配方案,并设计一种卸载比例计算方法,以保障卸载的任务量能够在通信时间内上传完成的同时最小化任务处理时延。实验结果表明,相比于全部本地、全部卸载和平均分配资源3种固定的卸载算法,该算法时延和效用性能提高了2倍以上,在车辆数目适中的情况下,任务的完成比例可以稳定保持在100%。     

移动边缘计算中基于深度强化学习的计算卸载调度方法

针对移动边缘计算中具有依赖关系的任务的卸载决策问题,提出一种基于深度强化学习的任务卸载调度方法,以最小化应用程序的执行时间。任务调度的过程被描述为一个马尔可夫决策过程,其调度策略由所提出的序列到序列深度神经网络表示,并通过近端策略优化(proximal policy optimization)方法进行训练。仿真实验表明,所提出的算法具有良好的收敛能力,并且在不同环境下的表现均优于所对比的六个基线算法,证明了该方法的有效性和可靠性。     

无人机辅助的双层深度强化学习任务卸载算法

为了解决无人机轨迹优化、用户功率分配和任务卸载策略问题,提出了一种双层深度强化学习任务卸载算法。上层采用多智能体深度强化学习来优化无人机的轨迹,并动态分配用户的传输功率以提高网络传输速率;下层采用多个并行的深度神经网络来求解最优卸载决策以最小化网络的时延和能耗。仿真结果表明,该算法使得无人机能够跟踪用户的移动,显著降低系统的时延和能耗,能够给用户提供更优质的任务卸载服务。     

基于改进深度强化学习的动态移动机器人协同计算卸载

移动边缘计算是解决机器人大计算量任务需求的一种方法。传统算法基于智能算法或凸优化方法,迭代时间长。深度强化学习通过一次前向传递即可求解,但只针对固定数量机器人进行求解。通过对深度强化学习分析研究,在深度强化学习神经网络中输入层前进行输入规整,在输出层后添加卷积层,使得网络能够自适应满足动态移动机器人数量的卸载需求。最后通过仿真实验验证,与自适应遗传算法和强化学习进行对比,验证了所提出算法的有效性及可行性。     

车载边缘计算中基于深度强化学习的协同计算卸载方案

车载边缘计算(Vehicular Edge Computing, VEC)是一种可实现车联网低时延和高可靠性的关键技术,用户将计算任务卸载到移动边缘计算(Mobile Edge Computing, MEC)服务器上,不仅可以解决车载终端计算能力不足的问题,而且可以减少能耗,降低车联网通信服务的时延。然而,高速公路场景下车辆移动性与边缘服务器静态部署的矛盾给计算卸载的可靠性带来了挑战。针对高速公路环境的特点,研究了临近车辆提供计算服务的可能性。通过联合MEC服务器和车辆的计算资源,设计并实现了一个基于深度强化学习的协同计算卸载方案,以实现在满足任务时延约束的前提下最小化所有任务时延的目标。仿真实验结果表明,相比于没有车辆协同的方案,所提方案可以有效降低时延和计算卸载失败率。     

基于深度强化学习的双层无人机边缘卸载策略

移动边缘计算(mobile edge computing, MEC)已逐渐成为有效缓解数据过载问题的手段, 而在高人流密集的场景中, 固定在基站上的边缘服务器可能会因网络过载而无法提供有效的服务. 考虑到时延敏感型的通信需求, 双层无人机(unmanned aerial vehicle, UAV)的高机动性和易部署性成为任务计算卸载的理想选择, 其中配备计算资源的顶层无人机(top-UAV, T-UAV)可以为抓拍现场画面的底层UAV (bottom-UAV, B-UAV)提供卸载服务. B-UAV搭载拍摄装置, 可以选择本地计算或将部分任务卸载给T-UAV进行计算. 文中构建了双层UAV辅助的MEC系统模型, 并提出了一种DDPG-CPER (deep deterministic policy gradient offloading algorithm based on composite prioritized experience replay)新型计算卸载算法. 该算法综合考虑了决策变量的连续性以及在T-UAV资源调度和机动性等约束条件下优化了任务执行时延, 提高了处理效率和响应速度, 以保证现场观众对比赛的实时观看体验. 仿真实验结果表明, 所提算法表现出了比DDPG等基线算法更快的收敛速度, 能够显著降低处理延迟.     

多智能体边缘计算任务卸载

边缘计算技术的发展为计算密集型业务提供了一种全新的选择,低能耗、低时延、实时处理等词语不断被提及,任务卸载引起了众多学者的注意.任务在本地执行还是卸载到服务器上执行,以及卸载到哪一台服务器上执行成为必须要解决的问题.在多智能体环境中提出一种新的目标函数,并构建数学模型;建立马尔可夫决策过程,定义动作、状态空间以及奖励函...     

车联网边缘计算环境下基于深度强化学习的分布式服务卸载方法

边缘计算将计算、存储和带宽等资源分布到了靠近用户的一侧.通过将边缘计算引入车联网,服务提供商能为车载用户提供低延时的服务,从而提高用户出行的服务体验.然而,由于边缘服务器所配备的资源一般是有限的,不能同时支持所有车联网用户的服务需求,因此,如何在边缘服务器资源限制的约束下,确定服务卸载地点,为用户提供低时延的服务,仍然是一个巨大的挑战.针对上述问题,本文提出了一种"端-边-云"协同的5G车联网边缘计算系统模型,并针对该系统模型设计了深度学习和深度强化学习协同的分布式服务卸载方法D-SOAC.首先,通过深度时空残差网络,D-SOAC在中心云预测出潜在的用户服务需求量,协同各边缘服务器获取本地车联网边缘计算环境的系统状态,输入边缘服务器上的本地行动者网络,得到该状态下的服务卸载策略.然后,本地评论家网络基于时序差分误差评价该服务卸载策略的优劣,并指导本地行动者网络进行网络参数的优化.优化一定步数后,边缘服务器将优化过的本地网络参数上传到位于中心云的全局网络,协同中心云进行网络参数的更新.最后,中心云将最新的参数推送回本地网络,从而不断对行动者评论家网络进行调优,获得服务卸载的最优解.基于来自现实世界的车载用户服务需求数据集的实验结果表明,在各种车联网边缘计算环境中,相比于四种现有的服务卸载算法,D-SOAC能够降低0.4％～20.4％的用户平均服务时延.     

基于强化学习的移动边缘计算任务卸载方法

最佳卸载策略直接影响移动计算任务卸载的时延与能耗,因此提出基于强化学习方法的移动边缘计算任务卸载方法。首先对移动设备的计算任务卸载形式展开具体分析,并基于分析结果获取计算任务卸载能量消耗、发射功率、传输速率等相关参数值,以此建立移动边缘计算任务卸载模型。最后基于建立的卸载模型结合Q-Learning算法对计算任务实施强化学习,找出计算任务的最佳卸载策略,从而实现移动边缘计算任务的实时卸载。实验结果表明,使用强化学习方法开展移动边缘计算任务卸载时,卸载能耗低、时延小。