基于多智能体深度强化学习的车联网可信任务卸载策略

针对车联网中边缘节点的可信性无法保证的问题,提出了一种基于声誉的车联网可信任务卸载模型,用记录在区块链上的边缘节点声誉来评估其可信度,从而帮助终端设备选取可靠的边缘节点进行任务卸载。同时,将卸载策略建模为声誉约束下的时延和能耗最小化问题,采用多智能体深度确定性策略梯度算法来求解该NP-hard问题的近似最优解,边缘服务器依据任务卸载的完成情况获得奖励,然后据此更新记录在区块链上的声誉。仿真实验表明,与基准测试方案相比,该算法在时延和能耗方面降低了25.58%~27.44%。     

多智能体深度强化学习研究综述

多智能体深度强化学习是机器学习领域的一个新兴的研究热点和应用方向,涵盖众多算法、规则、框架,并广泛应用于自动驾驶、能源分配、编队控制、航迹规划、路由规划、社会难题等现实领域,具有极高的研究价值和意义。对多智能体深度强化学习的基本理论、发展历程进行简要的概念介绍;按照无关联型、通信规则型、互相合作型和建模学习型4种分类方式阐述了现有的经典算法;对多智能体深度强化学习算法的实际应用进行了综述,并简单罗列了多智能体深度强化学习的现有测试平台;总结了多智能体深度强化学习在理论、算法和应用方面面临的挑战和未来的发展方向。     

多智能体边缘计算任务卸载

边缘计算技术的发展为计算密集型业务提供了一种全新的选择,低能耗、低时延、实时处理等词语不断被提及,任务卸载引起了众多学者的注意.任务在本地执行还是卸载到服务器上执行,以及卸载到哪一台服务器上执行成为必须要解决的问题.在多智能体环境中提出一种新的目标函数,并构建数学模型;建立马尔可夫决策过程,定义动作、状态空间以及奖励函...     

移动边缘计算中基于深度强化学习的任务卸载研究进展

移动边缘计算是近年出现的一种新型网络计算模式,它允许将具有较强计算能力和存储性能的服务器节点放置在更加靠近移动设备的网络边缘(如基站附近),让移动设备可以近距离地卸载任务到边缘设备进行处理,从而解决了传统网络由于移动设备的计算和存储能力弱且能量较有限,从而不得不耗费大量时间、能量且不安全地将任务卸载到远方的云平台进行处...     

基于深度强化学习的车辆边缘计算任务卸载方法

车辆边缘计算允许车辆将计算任务卸载到边缘服务器,从而满足车辆爆炸式增长的计算资源需求。但是如何进行卸载决策与计算资源分配仍然是亟待解决的关键问题。并且,运动车辆在连续时间内进行任务卸载很少被提及,尤其对车辆任务到达随机性考虑不足。针对上述问题,建立动态车辆边缘计算模型,描述为7状态2动作空间的Markov决策过程,并建立一个分布式深度强化学习模型来解决问题。另外,针对离散—连续混合决策问题导致的效果欠佳,将输入层与一阶决策网络嵌套,提出一种分阶决策的深度强化学习算法。仿真结果表明,所提算法相较于对比算法,在能耗上保持了较低水平,并且在任务完成率、时延和奖励方面都具备明显优势,这为车辆边缘计算中的卸载决策与计算资源分配问题提供了一种有效的解决方案。     

面向车联网的多智能体强化学习边云协同卸载

车联网边缘计算是实现车联网系统低时延和高可靠性的关键技术,但现有方法普遍存在场景趋同和系统建模局限的问题,同时包含复杂的训练过程并面临维灾风险.通过结合云计算技术,提出一种基于多智能体强化学习的边云协同卸载方案.依据随机几何理论计算卸载节点覆盖概率,对车辆节点与卸载对象进行预配对.利用线性Q函数分解方法反映每个智能体多...     

车联网中基于联邦深度强化学习的任务卸载算法

随着车联网应用服务体系日益丰富,计算资源有限的车辆难以处理这些计算密集和时延敏感的车联网应用。计算卸载作为移动边缘计算中的一种关键技术可以解决这一难题。对于车联网中动态的多车辆多路侧单元的任务卸载环境,提出了一种基于联邦深度强化学习的任务卸载算法。该算法将每辆车都看作是智能体,采用联邦学习的框架训练各智能体,各智能体分布式决策卸载方案,以最小化系统的平均响应时间。设置评估实验,在多种动态变化的场景下对提出的算法的性能进行对比分析。实验结果显示,提出的算法求解出的系统平均响应时间短于基于规则的算法和多智能体深度强化学习算法,接近于理想方案,且求解时间远短于理想方案。实验结果表明,所提算法能够在可接受的算法执行时间内求解出接近于理想方案的系统平均响应时间。     

基于深度强化学习的边云协同任务卸载策略

为降低应用程序执行的时延和能耗,针对移动边缘计算环境,提出一种边云协同场景下基于深度强化学习的任务卸载策略。通过建立边云协同架构下的网络模型、通信模型及计算模型,以最小化时延和能耗为系统目标,设计基于深度强化学习的DQN卸载策略,将每个用户产生的任务独立高效地放置在本地、服务器或者云端进行计算,并将计算结果与其它方法进行比较。实验结果表明,相较其它基线算法,该方法能更有效减少任务执行的开销,得到更优的卸载策略。     

无人机辅助的双层深度强化学习任务卸载算法

为了解决无人机轨迹优化、用户功率分配和任务卸载策略问题,提出了一种双层深度强化学习任务卸载算法。上层采用多智能体深度强化学习来优化无人机的轨迹,并动态分配用户的传输功率以提高网络传输速率;下层采用多个并行的深度神经网络来求解最优卸载决策以最小化网络的时延和能耗。仿真结果表明,该算法使得无人机能够跟踪用户的移动,显著降低系统的时延和能耗,能够给用户提供更优质的任务卸载服务。     

云边协同计算中基于深度强化学习的任务二次申请卸载策略

现有的任务卸载策略通常在一个时隙内制定卸载决策,没有考虑多个卸载时隙间的内在联系,因此无法根据任务的实际需求进行卸载。针对该问题,提出了一种基于深度强化学习的任务二次申请卸载策略（DQN-TSAO）。首先提出了一种支持任务进行二次申请卸载的云边端三层架构,建立了任务卸载优先级模型、时延模型和能耗模型;然后以最小化系统能耗为目标,将能耗优化问题转变为最大累积卸载奖励的马尔可夫决策过程;最后通过DQN-TSAO算法提取各个时隙的任务卸载特征,使任务在与环境不断交互的过程中获得多个时隙内的最佳卸载决策。仿真结果表明DQN-TSAO算法能够有效降低一段时间内的系统总能耗。     

基于稳定匹配的多用户任务卸载策略

随着许多计算密集型应用的出现,移动设备因其有限的计算能力无法满足用户时延、能耗等需求.移动边缘计算(MEC)通过无线信道将用户的任务计算卸载到MEC服务器,从而显著减少任务响应时延和能耗.针对多用户任务卸载问题,提出了基于稳定匹配的多用户任务卸载策略(MUTOSA),在保证用户的时延要求下达到能耗最小化.首先,在综合考...     

基于DQN的无人驾驶任务卸载策略

无人驾驶汽车由于其有限的电池寿命和计算能力,难以在保证续航的前提下满足一些时延敏感任务或密集任务的处理需求。为解决该问题,在移动边缘计算（mobile edge computing,MEC）的背景下,提出了一种基于深度Q网络（deep Q-network,DQN）的无人驾驶任务卸载策略。首先,定义了一个基于任务优先级的车—边—云协同任务卸载模型,其需要通过联合优化车辆计算能力与任务卸载策略以获取系统最小延迟和能耗。由于该问题是个混合整数非线性规划问题,所以分两步对其进行求解—通过数学推导得出了最优车辆计算能力的解析解,之后在其数值固定条件下,基于DQN算法获得了任务最佳卸载策略。最后,综合SUMO、PyTorch和Python等工具建立了仿真模型,比较了DQN算法和其他三种算法在任务负载、MEC服务器计算能力以及能耗权重系数变化情况下的性能,实验结果验证了所提策略的可行性和优越性。     

面向5G车联网场景的移动任务动态卸载策略研究

由于车辆自身的高速移动性和资源有限性等特征,使得采用传统通信和计算手段的车联网场景无法满足用户日益增长的数据计算需求和体验质量需求。采用5G和边缘计算技术构建的新型车联网架构可以满足以上需求,但由于网络结构的变化,需设计适合新场景下的车辆任务通信和计算策略。针对5G车联网场景下的移动车辆任务动态卸载问题进行研究,提出了对应的动态任务分配策略和卸载调度低时延算法。车辆会根据提出的策略和算法将未完成的计算任务卸载到相应的 MEC 服务器或车辆上,并且计算结果将通过边缘服务器之间的联合通信或直接从被选择接受卸载任务的附近空闲车辆上直接返回给车主。仿真结果表明,所提出的策略和算法在优化卸载延迟方面具有良好的性能,并提高了用户体验质量。     

基于边缘计算的新型任务卸载与资源分配策略

针对移动边缘计算（MEC）中密集型任务卸载时，系统开销较大和延时抖动明显的问题，提出一种新型资源分配策略。首先在系统时延约束下，分析了系统任务执行开销与终端设备的资源分配机制；其次建立了基于计算卸载和任务分配的联合凸优化目标；最后采用拉格朗日乘子法进行迭代更新得到最优解。仿真结果表明，所提任务卸载与资源分配方案在保证用户服务质量的同时降低了任务执行开销，并有效提升了MEC系统性能。     

云边环境下基于博弈论的两阶段任务迁移策略

移动边缘计算(MEC)为计算密集型应用和资源受限的移动设备之间的冲突提供了有效解决办法,但大多关于MEC迁移的研究仅考虑移动设备与MEC服务器之间的资源分配,忽略了云计算中心的巨大计算资源.为了充分利用云和MEC资源,提出一种云边协作的任务迁移策略.首先,将云边服务器的任务迁移问题转化为博弈问题;然后,证明该博弈中纳什...     

车联网中改进粒子群算法的任务卸载策略

当前,多数车联网任务卸载工作仅考虑时延因素将任务卸载至边缘服务器执行(LOCAL-MEC),但是,车载单元仍有一定的计算能力可以利用.针对上述问题,研究了任务卸载的总代价即时延和能耗两个目标,提出一个将车辆自身的计算单元、附近车辆的计算单元与边缘服务器协同计算的任务卸载模型.该模型既考虑了任务的优先关系,又同时考虑了系统的时延和能耗.通过借鉴模拟退火算法思想并引入压缩因子改进粒子群算法来实现任务卸载.实验结果表明:与其他任务卸载策略相比,提出的任务卸载策略优化效果明显,TPSO算法的总代价为传统粒子群算法的53.8％、LOCAL-MEC策略的27.1％、DCOS(distributed computation offloading scheme)算法的78％,并且适用于多种现实场景.