基于图神经网络的具有依赖关系任务的计算卸载方法

计算卸载作为移动边缘计算的关键技术之一,通过将任务就近迁移至边缘服务器上执行大幅降低了用户的等待时延;针对具有依赖关系任务的计算卸载问题,为了解决以往文献在将表示任务依赖关系的有向无环图输入深度强化学习算法的神经网络时存在的丢失结构信息的问题,提出了一种有向无环图神经网络(DAGNN,directed acyclic graph neural network),并将其与深度强化学习相结合,用以做卸载调度的决策;卸载决策的过程被描述为马尔科夫决策过程,用提出的DAGNN评估深度强化学习算法中每个卸载动作的Q值,进而做出卸载调度决策;仿真实验表明,所提出算法在各种条件下的表现均优于其它所有基线算法,并表现出较好的稳定性和通用性.     

车联网中自适应联合计算卸载资源分配算法

为降低车联网(C-V2 X)中计算任务的时延与能耗,提出一种自适应的联合计算卸载资源分配算法.考虑多因素,多平台(本地计算、云计算、移动边缘计算(MEC)、空闲车辆计算)卸载,将计算卸载决策和资源分配建模为多约束优化问题.在粒子群算法基础上,提出粒子矩阵编码方式,联合优化车辆卸载决策、各平台任务卸载比例、MEC资源分配.提出粒子修正算法,结合罚函数法,解决多约束优化问题.仿真结果表明,与其它算法相比,该算法能在满足最大容忍时延的同时,最小化系统总成本.     

基于深度Q学习的电力物联网任务卸载研究

随着现代化城市与工业生产中电力需求的不断提高,电力物联网（Power Internet of Things, PIoT）作为一种能够显著提高电力系统效率的解决方案受到了广泛关注。为有效解决接入问题,现有的电力设备往往已配备内置轻量级人工智能的5G模组。然而,受制于模组有限的计算能力和通信能力,设备产生的海量数据难以实时处理和分析。基于该问题,本文主要研究电力物联网系统中的任务卸载问题,通过联合优化卸载决策和边缘服务器的计算资源分配,从而降低时延与能耗的加权和。此外本文提出一种基于深度强化学习的任务卸载算法,首先任务在边缘服务器的处理过程建模为队列,其次基于凸优化理论对本地计算资源分配进行优化,最后采用深度Q学习算法优化任务卸载决策。实验结果表明,本文提出的方法能够有效降低系统时延与能耗的加权和。     

MEC中卸载决策与资源分配的深度强化学习方法

在移动边缘计算（MEC）服务器计算资源有限且计算任务具有时延约束的情况下,为缩短任务完成时间并降低终端能耗,提出针对卸载决策与资源分配的联合优化方法。在多用户多服务器MEC环境下设计一种新的目标函数以构建数学模型,结合深度强化学习理论提出改进的Nature Deep Q-learning算法Based DQN。实验结果表明,在不同目标函数中,Based DQN算法的优化效果优于全部本地卸载算法、随机卸载与分配算法、最小完成时间算法和多平台卸载智能资源分配算法,且在新目标函数下优势更为突出,验证了所提优化方法的有效性。     

基于异步奖励深度确定性策略梯度的边缘计算多任务资源联合优化

移动边缘计算（MEC）系统中,因本地计算能力和电池能量不足,终端设备可以决定是否将延迟敏感性任务卸载到边缘节点中执行。针对卸载过程中用户任务随机产生且系统资源动态变化问题,提出了一种基于异步奖励的深度确定性策略梯度（asynchronous reward deep deterministic policy gradient,ARDDPG）算法。不同于传统独立任务资源分配采用顺序等待执行的策略,该算法在任务产生的时隙即可执行资源分配,不必等待上一个任务执行完毕,以异步模式获取任务计算奖励。ARDDPG算法在时延约束下联合优化了任务卸载决策、动态带宽分配和计算资源分配,并通过深度确定性策略梯度训练神经网络来探索最佳优化性能。仿真结果表明,与随机策略、基线策略和DQN算法相比,ARDDPG算法在不同时延约束和任务生成率下有效降低了任务丢弃率和系统的时延和能耗。     

基于深度强化学习的云边协同DNN推理

现有基于云边协同的深度神经网络(DNN)推理仅涉及边缘设备同构情况下的静态划分策略,未考虑网络传输速率、边缘设备资源、云服务器负载等变化对DNN推理计算最佳划分点的影响,以及异构边缘设备集群间DNN推理任务的最佳卸载策略。针对以上问题,提出基于深度强化学习的自适应DNN推理计算划分和任务卸载算法。以最小化DNN推理时延为优化目标,建立自适应DNN推理计算划分和任务卸载的数学模型。通过定义状态、动作空间和奖励,将DNN推理计算划分和任务卸载组合优化问题转换为马尔可夫决策过程下的最优策略问题。利用深度强化学习方法,从经验池中学习动态环境下边缘设备与云服务器间DNN推理计算划分和异构边缘集群间任务卸载的近似最优策略。实验结果表明,与经典DNN推理算法相比,该算法在异构动态环境下的DNN推理时延约平均降低了28.83%,能更好地满足DNN推理的低时延需求。     

MEC联合资源分配与计算卸载的效益

针对资源受限的移动边缘计算(MEC)卸载问题,提出一种基于遗传算法优化的卸载决策与计算资源分配方法(GAO).建立联合时延、能耗以及卸载费用的系统卸载效益模型,提出最小资源分配阈值;引入改进的遗传算法求解效益最大化问题,针对该问题提出一种两段式的染色体结构和遗传算子.进行仿真实验,对比分析随机卸载决策与平均计算资源分配...     

基于深度强化学习的任务卸载和资源分配优化

移动边缘计算(MEC)可以在网络边缘为用户提供就近的存储和计算服务,从而为移动用户带来低能耗、低时延的优势。该文针对基于超密集网络(UDN)的多用户多MEC场景,从用户侧出发,以最小化用户计算总开销为目的,解决用户在卸载过程中的卸载决策和上传传输功率优化以及MEC计算资源分配问题。具体而言,考虑到该问题是一个具有NP-hard性质的MINLP问题,该文将该问题分解为两个子问题并通过两个阶段的方式进行求解。首先在第一个阶段设计了一种基于深度强化学习(DQN)的任务卸载决策来解决任务卸载子问题,然后在第二个阶段分别使用KKT条件以及黄金分割算法解决MEC计算资源分配和上行传输功率的优化问题。仿真结果表明,所提方案在保证用户时延约束的前提下,有效降低了用户的计算开销,提升了系统性能。     

基于SAC的多服务移动边缘计算中任务卸载和资源配置算法

多服务移动边缘计算网络环境中的不同服务的缓存要求、受欢迎程度、计算要求以及从用户传输到边缘服务器的数据量是随时间变化的。如何在资源有限的边缘服务器中调整总服务类型的缓存子集,并确定任务卸载目的地和资源分配决策,以获得最佳的系统整体性能是一个具有挑战性的问题。为了解决这一难题,首先将优化问题转换为马尔可夫决策过程,然后提出了一种基于软演员—评论家（soft actor-critic,SAC）的深度强化学习算法来同时确定服务缓存和任务卸载的离散决策以及上下带宽和计算资源的连续分配决策。算法采用了将多个连续动作输出转换为离散的动作选择的有效技巧,以应对连续—离散混合行动空间所带来的关键设计挑战,提高算法决策的准确性。此外,算法集成了一个高效的奖励函数,增加辅助奖励项来提高资源利用率。广泛的数值结果表明,与其他基线算法相比,提出的算法在有地减少任务的长期平均完成延迟的同时也具有良好的稳定性。     

基于深度强化学习的边云协同任务卸载策略

为降低应用程序执行的时延和能耗,针对移动边缘计算环境,提出一种边云协同场景下基于深度强化学习的任务卸载策略。通过建立边云协同架构下的网络模型、通信模型及计算模型,以最小化时延和能耗为系统目标,设计基于深度强化学习的DQN卸载策略,将每个用户产生的任务独立高效地放置在本地、服务器或者云端进行计算,并将计算结果与其它方法进行比较。实验结果表明,相较其它基线算法,该方法能更有效减少任务执行的开销,得到更优的卸载策略。     

基于李雅普诺夫随机优化的车辆边缘计算资源管理

针对车辆边缘计算系统中的计算资源管理问题,提出一种基于李雅普诺夫随机优化的计算卸载与资源分配方案.构建在保证任务量及长期能耗约束下的车辆用户服务时延最小化优化问题,利用李雅普诺夫随机优化理论将优化问题分解.在本地计算资源分配子问题中,通过求解线性问题的方法,得到最优本地计算CPU频率;在计算卸载子问题中,利用数值优化求...     

基于改进SMDP的车载任务卸载决策算法

针对边缘服务器的负载过重问题,可以将路边空闲车辆以及移动车辆应用虚拟化技术整合成资源池,为时延敏感类任务提供弹性服务;由此建立了一个分组传输的通信系统模型,为降低二进制指数退避算法中的信道碰撞概率,采用基于网络车辆节点的数量来适当调整最小竞争窗口的方法;结合分配资源的时序决策特点,提出车载边缘计算系统中基于改进的半马尔科夫决策过程的计算卸载策略,在制定系统动作的最优策略时,引入带有余弦项的非线性权重因子,对立即收益和未来期望收益进行动态加权,根据贝尔曼方程进行价值迭代,实现系统长期收益的最大化;仿真结果表明,所提策略能有效降低卸载时延,提高系统吞吐量,同时系统的长期收益也有显著的提升。     

基于李雅普诺夫优化和深度强化学习的多任务端边迁移

针对多终端、多边缘服务器场景下异构工业任务的端边协同处理问题,提出一种基于李雅普诺夫优化和深度强化学习的多任务端边迁移算法.首先,以联合优化任务迁移决策、迁移比例和传输功率为目标,充分考虑计算频率、传输功率、长期能耗和任务截止期等约束,构建系统长期平均开销最小化问题;由于问题中长期目标及约束中变量在不同时隙相互耦合,难以求解,基于李雅普诺夫优化理论,将长期平均开销最小化问题解耦为独立时隙的策略优化问题;通过马尔可夫决策过程建模,并采用双层竞争深度神经网络架构,提出基于深度强化学习的多任务迁移算法.实验结果表明,所提算法能够稳定收敛,并在长期能耗约束和任务截止期要求下有效降低系统长期平均开销.     

考虑任务依赖的卫星边缘计算资源分配与卸载决策算法

针对高低轨卫星网络协同边缘计算的卸载决策问题,提出了一种考虑任务依赖的联合计算资源、无线资源分配与任务调度的卫星网络边缘计算卸载决策算法。首先,将任务卸载问题建模为最小化任务延迟和能量消耗的联合优化问题;然后,将能源消耗和时延引入子任务优先级定义中,基于动态优先级进行启发式卸载策略搜索。该算法保证了子任务之间的依赖性并同时考虑了无线资源分配。仿真结果表明,与已有研究相比,该算法能缩短高低轨卫星协同计算的任务执行延迟,且能够降低低轨卫星功耗。     

V2X异构车载网络下智能任务卸载策略研究

随着自动驾驶技术的迅速发展,车辆日益增长的处理需求与资源受限的车载处理器之间的矛盾日渐突出.车载边缘计算的出现解决了车载资源的物理限制,增强了单个车辆的计算能力.然而,由于车载服务通常具有时延敏感性,如何选择合适的通信接入技术,更好地满足自动驾驶场景中时延要求便成为一个挑战性难题.鉴于此,综合考虑两种V2X通信接入技术,即短距通信(DSRC)和基于蜂窝网的车载通信(C-V2X),提出一种V2X异构车载网络任务卸载模型.首先分析车辆移动性特征,并对车载资源进行虚拟化处理;然后基于半马尔科夫决策过程原理对任务卸载问题进行建模,分别制定状态、动作、奖励和转移概率;最后基于强化学习智能算法获取最优任务卸载策略,并通过大量数值仿真实验验证其任务卸载性能优于贪婪算法.     

车辆边缘计算环境下任务卸载研究综述

计算密集和延迟敏感型车辆应用的出现对车辆设备有限的计算能力提出了严峻的挑战,将任务卸载到传统的云平台会有较大的传输延迟,而移动边缘计算专注于将计算资源转移到网络的边缘,为移动设备提供高性能、低延迟的服务,因此可作为处理计算密集和延迟敏感的任务的一种有效方法.同时,鉴于城市地区拥有大量智能网联车辆,将闲置的车辆计算资源充分利用起来可以提供巨大的资源和价值,因此在车联网场景下,结合移动边缘计算产生了新的计算模式——车辆边缘计算.近年来,智能网联车辆数量的增长和新兴车辆应用的出现促进了对车辆边缘计算环境下任务卸载的研究,本文对现有车辆边缘计算环境下任务卸载研究进展进行综述,首先,从计算模型、任务模型和通信模型三个方面对系统模型进行梳理、比较和分析.然后介绍了最小化卸载延迟、最小化能量消耗和应用结果质量三种常见的优化目标,并按照集中式和分布式两种不同的决策方式对现有的研究进行了详细的归类和比较.此外,本文还介绍了几种常用的实验工具,包括SUMO、Veins和VeinsLTE.最后,本文围绕卸载决策算法复杂度、安全与隐私保护和车辆移动性等方面对车辆边缘计算任务卸载目前面临的挑战进行了总结,并展望了车辆边缘计算环境下任务卸载未来的发展方向与前景.