支持MEC的天地一体化网络下任务卸载和资源分配

针对天地一体化网络(Integrated Satellite-Terrestrial Network, ISTN)高动态、时延敏感的特性,用户服务质量(Quality of Service, QoS)保障成为新的研究重点。为此,在天地一体化网络场景下使用移动边缘计算(Mobile Edge Computing, MEC)技术,在低轨道(LEO)卫星上部署MEC服务器,通过排队理论分析场景的时延成本,提出任务卸载和资源分配的联合优化方案。为最小化用户与LEO卫星的传输时延,基于凸优化理论给每个用户分配最优的带宽资源。基于整数规划在多项式时间内给出接近全局最优的任务卸载决策。仿真结果表明提出算法与低复杂度的启发式算法相比,减少了20%的总时延成本,验证了ISTN(Integrated Satellite-Terrestrial Network)下通过MEC技术保障地面用户QoS的可行性和有效性。     

抽水蓄能电站中基于边缘计算的任务卸载算法

为降低抽水蓄能电站中终端设备密集计算型任务的处理时延,针对抽水蓄能电站的物联网体系,提出了一种基于边缘计算的任务卸载算法.在该文方案中,首先基于层次分析法对计算任务进行优先级划分,并以终端能耗为约束、以终端计算任务处理时延为优化目标建立卸载模型,其次基于Q学习算法(Q-Learning,QL)探索系统的状态转移信息,以获取终端设备与边缘节点间的最佳卸载策略.另外,采用深度学习(Deep Learning,DL)的方法映射状态与动作之间的关系,避免算法迭代求解过程中的维度爆炸问题.仿真结果表明,本文提出的方法有效降低了抽水蓄能电站的任务平均执行时延,能够大幅提高抽水蓄能电站的生产作业及安全监测等工作的执行效率.     

基于深度强化学习的任务卸载和资源分配优化

移动边缘计算(MEC)可以在网络边缘为用户提供就近的存储和计算服务,从而为移动用户带来低能耗、低时延的优势。该文针对基于超密集网络(UDN)的多用户多MEC场景,从用户侧出发,以最小化用户计算总开销为目的,解决用户在卸载过程中的卸载决策和上传传输功率优化以及MEC计算资源分配问题。具体而言,考虑到该问题是一个具有NP-hard性质的MINLP问题,该文将该问题分解为两个子问题并通过两个阶段的方式进行求解。首先在第一个阶段设计了一种基于深度强化学习(DQN)的任务卸载决策来解决任务卸载子问题,然后在第二个阶段分别使用KKT条件以及黄金分割算法解决MEC计算资源分配和上行传输功率的优化问题。仿真结果表明,所提方案在保证用户时延约束的前提下,有效降低了用户的计算开销,提升了系统性能。     

无人机辅助移动边缘计算中的任务卸载算法

无人机（UAV）灵活机动、易于部署，可以辅助移动边缘计算（MEC）帮助无线系统提高覆盖范围和通信质量，但UAV辅助MEC系统研究中存在计算延迟需求和资源管理等挑战。针对UAV为地面多个终端设备提供辅助计算服务的时延问题，提出一种基于双延迟深度确定性策略梯度（TD3）的时延最小化任务卸载算法（TD3-TOADM）。首先，将优化问题建模为在能量约束下的最小化最大计算时延的问题；其次，通过TD3-TOADM联合优化终端设备调度、UAV轨迹和任务卸载比来最小化最大计算时延。仿真实验分析结果表明，与分别基于演员-评论家（AC）、深度Q网络（DQN）以及深度确定性策略梯度（DDPG）的任务卸载算法相比，TD3-TOADM得到的计算时延减小了8.2%以上。可见TD3-TOADM能获得低时延的最优卸载策略，具有较好的收敛性和鲁棒性。     

协同移动边缘计算分层资源配置机制

针对车联网（IoV）中存在大量的车辆卸载任务计算需求,而本地端边缘服务器运算能力有限的问题,提出一种移动边缘计算分层协同资源配置机制（HRAM）。所提算法以多层式的架构合理分配与有效利用移动边缘计算（MEC）服务器的运算资源,减少不同MEC服务器之间的数据多跳转发时延,并优化卸载任务请求时延。首先构建IoV边缘计算系统模型、通信模型、决策模型和计算模型;然后利用层次分析法（AHP）进行多因素综合考虑以确定卸载任务迁移的目标服务器;最后提出动态权值的任务路由策略,调用整体网络的通信能力以缩短卸载任务的请求时延。仿真实验结果表明,HRAM算法相较于任务卸载单层式资源分配（RATAOS）算法和任务卸载多层式资源分配（RATOM）算法,分别降低了40.16%和19.01%的卸载任务请求时延;且所提算法在满足卸载任务最大可容忍时延的前提下,能够满足更多卸载任务的计算需求。     

无人机辅助的双层深度强化学习任务卸载算法

为了解决无人机轨迹优化、用户功率分配和任务卸载策略问题,提出了一种双层深度强化学习任务卸载算法。上层采用多智能体深度强化学习来优化无人机的轨迹,并动态分配用户的传输功率以提高网络传输速率;下层采用多个并行的深度神经网络来求解最优卸载决策以最小化网络的时延和能耗。仿真结果表明,该算法使得无人机能够跟踪用户的移动,显著降低系统的时延和能耗,能够给用户提供更优质的任务卸载服务。     

MEC中卸载决策与资源分配的深度强化学习方法

在移动边缘计算（MEC）服务器计算资源有限且计算任务具有时延约束的情况下,为缩短任务完成时间并降低终端能耗,提出针对卸载决策与资源分配的联合优化方法。在多用户多服务器MEC环境下设计一种新的目标函数以构建数学模型,结合深度强化学习理论提出改进的Nature Deep Q-learning算法Based DQN。实验结果表明,在不同目标函数中,Based DQN算法的优化效果优于全部本地卸载算法、随机卸载与分配算法、最小完成时间算法和多平台卸载智能资源分配算法,且在新目标函数下优势更为突出,验证了所提优化方法的有效性。     

车载边缘计算中基于深度强化学习的协同计算卸载方案

车载边缘计算(Vehicular Edge Computing, VEC)是一种可实现车联网低时延和高可靠性的关键技术,用户将计算任务卸载到移动边缘计算(Mobile Edge Computing, MEC)服务器上,不仅可以解决车载终端计算能力不足的问题,而且可以减少能耗,降低车联网通信服务的时延。然而,高速公路场景下车辆移动性与边缘服务器静态部署的矛盾给计算卸载的可靠性带来了挑战。针对高速公路环境的特点,研究了临近车辆提供计算服务的可能性。通过联合MEC服务器和车辆的计算资源,设计并实现了一个基于深度强化学习的协同计算卸载方案,以实现在满足任务时延约束的前提下最小化所有任务时延的目标。仿真实验结果表明,相比于没有车辆协同的方案,所提方案可以有效降低时延和计算卸载失败率。     

基于NOMA-MEC的车联网任务卸载、迁移与缓存策略

在移动边缘计算(MEC)与非正交多路接入(NOMA)技术相结合的车联网系统中,针对用户处理计算密集型和时延敏感型任务时面临的高时延问题,提出了一种基于博弈论和Q学习的任务卸载、迁移与缓存优化策略.首先,对基于NOMA-MEC的车联网任务卸载时延、迁移时延与缓存时延进行建模;其次,采用合作博弈算法获得最优用户分组,以实现...     

基于DQN的无人驾驶任务卸载策略

无人驾驶汽车由于其有限的电池寿命和计算能力,难以在保证续航的前提下满足一些时延敏感任务或密集任务的处理需求。为解决该问题,在移动边缘计算（mobile edge computing,MEC）的背景下,提出了一种基于深度Q网络（deep Q-network,DQN）的无人驾驶任务卸载策略。首先,定义了一个基于任务优先级的车—边—云协同任务卸载模型,其需要通过联合优化车辆计算能力与任务卸载策略以获取系统最小延迟和能耗。由于该问题是个混合整数非线性规划问题,所以分两步对其进行求解—通过数学推导得出了最优车辆计算能力的解析解,之后在其数值固定条件下,基于DQN算法获得了任务最佳卸载策略。最后,综合SUMO、PyTorch和Python等工具建立了仿真模型,比较了DQN算法和其他三种算法在任务负载、MEC服务器计算能力以及能耗权重系数变化情况下的性能,实验结果验证了所提策略的可行性和优越性。     

基于DP-HAFS算法的移动边缘计算卸载策略

针对移动边缘计算的计算资源有限、系统处理任务总开销过高的问题,提出一种基于动态感知—混合人工鱼群(DP-HAFS)算法的卸载策略。首先,构建本地—边缘—云端三层网络架构,采用基于细粒度的部分卸载模式;然后,针对一个终端设备被多个基站覆盖的场景,提出基站选择策略进行最优基站的选择;最后,采用DP-HAFS算法对卸载决策进行动态修正,得到最优卸载策略。仿真结果表明,所提卸载策略在任务数量较多的场景下能有效降低系统总开销。     

基于图神经网络的具有依赖关系任务的计算卸载方法

计算卸载作为移动边缘计算的关键技术之一,通过将任务就近迁移至边缘服务器上执行大幅降低了用户的等待时延;针对具有依赖关系任务的计算卸载问题,为了解决以往文献在将表示任务依赖关系的有向无环图输入深度强化学习算法的神经网络时存在的丢失结构信息的问题,提出了一种有向无环图神经网络(DAGNN,directed acyclic graph neural network),并将其与深度强化学习相结合,用以做卸载调度的决策;卸载决策的过程被描述为马尔科夫决策过程,用提出的DAGNN评估深度强化学习算法中每个卸载动作的Q值,进而做出卸载调度决策;仿真实验表明,所提出算法在各种条件下的表现均优于其它所有基线算法,并表现出较好的稳定性和通用性.     

具有隐私保护的车联网边缘计算任务卸载资源分配策略

针对车联网任务卸载的资源最优化问题，以无线供能移动边缘计算(WP-MEC)系统为基础，提出一种关于计算时间分配、能耗、本地计算能力和任务卸载的联合优化方案。在该系统中，将“收集然后传输”协议应用于车辆的能量采集和消耗阶段，确保车辆可以持续工作。为求解该最优化问题，提出一种基于模拟退火算法的系统能量效率最大化算法。实验结果表明，所提策略的平均电池电量比全卸载模式、仅本地计算模式提高了40%以上，有效降低了系统时延，验证了所提策略的有效性和高效性。     

基于终端直通通信的多用户计算卸载资源优化决策

随着计算密集和时延敏感类应用的激增,移动边缘计算（MEC）被提出应用在网络边缘为用户提供计算服务。针对基站（BS）端边缘服务器计算资源有限以及网络边缘用户远距离计算卸载的时延较长等问题,提出了基于终端直通（D2D）通信的多用户计算卸载资源优化决策,将D2D融入MEC网络使用户以D2D方式直接卸载任务到相邻用户处执行,从而能够进一步降低卸载时延和能耗。首先,以最小化包括时延和能耗的系统计算总开销为优化目标,建模多用户计算卸载和多用户计算资源分配的联合优化问题;然后,将求解该问题看作是一个D2D配对过程,并提出基于稳定匹配的低复杂度的多用户计算卸载资源优化决策算法;最后,迭代求解D2D卸载的优化分配决策。通过理论证明分析了所提算法的稳定性、最优性和复杂度等特性。仿真结果表明,所提算法相较于随机匹配算法能够有效降低10%~33%的系统计算总开销,并且其性能非常接近最优的穷举搜索算法。可见,所提基于D2D卸载的决策有利于改善时延和能耗开销性能。     

邻域感知的分布式智能边缘计算卸载和资源分配算法

随着大量计算密集型和时延敏感型任务的出现,利用移动边缘计算(mobile edge computing,MEC)来提高用户体验并降低系统能耗已成为研究热点.然而,在密集部署的MEC网络场景下,无线网络状态复杂的空间相关性和动态性给卸载方案的制定带来了严峻挑战.本文针对多基站多用户MEC网络场景,研究了一种智能协作的计算卸载和资源分配算法.首先,提出了卸载决策、信道分配、传输功率分配和计算资源分配的联合优化问题,旨在用户时延约束下最小化系统的能耗.其次,由于该问题是一个混合整数非线性规划问题,本文提出了一种基于图注意力网络的混合动作多智能体强化学习算法(graph attention network-based hybrid-action multi-agent reinforcement learning, Gat-HMARL),将基站作为智能体并配置该算法. Gat-HMARL算法通过图注意力网络捕捉无线网络状态之间潜在的空间相关性,使基站有选择性地关注邻域中其他基站的无线网络状态信息,从而学习更优的计算卸载和资源分配策略.最后,仿真结果表明Gat-HMARL与基准算法相比在性能上有...     

D2D网络中基于多目标优化的计算卸载策略

针对终端直传（Device-to-Device, D2D）通信技术的移动边缘计算场景中计算卸载的高时延、高能耗问题,提出一种基于多目标优化的计算卸载策略。该计算卸载策略基于时延和能耗多目标优化模型,引入过度卸载问题的分析,对NSGA-II算法进行改进,包括适用于计算卸载的基因编码策略、交叉和变异方法,通过求解帕累托最优来最小化任务执行时间和能耗。此外,还提出一种数据路由算法,以平衡路由设备的传输能耗,并优化路由路径。通过仿真实验,该算法的平均提升效率最高可达41.7%,任务重传率降低至7.8%。实验结果表明,本文提出的算法能明显减少执行时延、能耗,降低任务重传率和提高任务卸载成功率。     

边缘环境下计算密集型应用的卸载技术研究

移动边缘计算（Mobile Edge Computing,MEC）中的计算卸载技术通过将终端设备的计算任务卸载到网络边缘处,以解决云计算中心时延长、能耗大和负载高等问题。介绍了MEC的概念、目前主流的MEC网络架构和部署方案。从卸载决策方面对MEC环境下计算密集型应用的卸载技术进行了详细研究,从最小化时延、最小化能耗、权衡时延和能耗及最大化收益为优化目标的4种计算卸载方案进行了分析和对比,并总结出各自的关键研究点。通过分析5G环境下MEC卸载技术的发展趋势,介绍了支持5G的IIoT-MEC网络部署架构,在此基础上分析了基于深度强化学习的轻量级任务卸载策略和基于D2D协作的MEC卸载策略。总结和归纳了目前MEC中计算卸载技术所面临的卸载决策、干扰管理、移动性管理等方面的核心挑战。     

改进人工蜂群算法及其在边缘计算卸载的应用

移动边缘计算（MEC）通过将算力下沉到网络边缘来降低计算时延和设备能耗。针对计算密集型和时延敏感型应用场景,提出了一种单多维动态种群策略的人工蜂群算法（OMABC）来实现计算任务的卸载。建立一个包含云服务器的边缘计算卸载模型,并构建一个以能耗为惩罚项的代价函数;将计算任务的卸载决策转化为人工蜂群算法对代价函数的寻优过程。通过仿真实验,在CEC 2017测试函数上验证了OMABC的有效性,并在边缘计算模型仿真中与本地卸载策略、随机卸载策略、基于粒子群算法（PSO）的卸载策略、基于人工蜂群算法（ABC）的卸载策略进行对比。实验结果表明,基于OMABC的边缘计算卸载策略能够有效降低MEC系统的时延及代价函数,提供更高效的服务。     

基于深度强化学习的边云协同任务卸载策略

为降低应用程序执行的时延和能耗,针对移动边缘计算环境,提出一种边云协同场景下基于深度强化学习的任务卸载策略。通过建立边云协同架构下的网络模型、通信模型及计算模型,以最小化时延和能耗为系统目标,设计基于深度强化学习的DQN卸载策略,将每个用户产生的任务独立高效地放置在本地、服务器或者云端进行计算,并将计算结果与其它方法进行比较。实验结果表明,相较其它基线算法,该方法能更有效减少任务执行的开销,得到更优的卸载策略。     

改进DDPG算法在自动驾驶中的应用

深度确定性策略梯度算法（Deep Deterministic Policy Gradient，DDPG）作为深度强化学习中的经典算法，在连续控制问题上有着较大的优势，被应用于自动驾驶领域。针对DDPG缺少策略动作过滤导致的非法策略比例较高引起的训练效率低、收敛速度慢等问题，提出基于失败经验纠错的深度确定性策略梯度算法。通过分离经验缓存池，根据驾驶表现选择失败数据训练，并将策略网络单输出转化为油门和刹车控制量，通过正态分布噪声改善探索策略。TORCS平台仿真实验表明，所提算法相对于DDPG算法与DQN（Deep Q-learning Network）算法，训练效率明显提升，非法驾驶策略降低为0。