MEC中资源分配与卸载决策联合优化策略

针对移动边缘计算(MEC)中用户任务处理时延与能耗过高的问题,提出了"云-边-端"三层MEC计算卸载结构下的资源分配与卸载决策联合优化策略.首先,考虑系统时延与能耗,将优化问题规划为系统总增益(任务处理时延与能耗相对减少的加权和)最大化问题;其次,为用户任务设置优先级,并根据任务数据量初始化卸载决策方案;然后,采用均衡...     

基于深度强化学习的任务卸载和资源分配优化

移动边缘计算(MEC)可以在网络边缘为用户提供就近的存储和计算服务,从而为移动用户带来低能耗、低时延的优势。该文针对基于超密集网络(UDN)的多用户多MEC场景,从用户侧出发,以最小化用户计算总开销为目的,解决用户在卸载过程中的卸载决策和上传传输功率优化以及MEC计算资源分配问题。具体而言,考虑到该问题是一个具有NP-hard性质的MINLP问题,该文将该问题分解为两个子问题并通过两个阶段的方式进行求解。首先在第一个阶段设计了一种基于深度强化学习(DQN)的任务卸载决策来解决任务卸载子问题,然后在第二个阶段分别使用KKT条件以及黄金分割算法解决MEC计算资源分配和上行传输功率的优化问题。仿真结果表明,所提方案在保证用户时延约束的前提下,有效降低了用户的计算开销,提升了系统性能。     

基于深度强化学习的多用户边缘计算任务卸载调度与资源分配算法

移动边缘计算(Mobile Edge Computing,MEC)把计算和存储等资源部署在网络边缘以满足某些对延迟要求苛刻的应用.用户设备可以通过无线网络将计算任务整体或者部分卸载到边缘服务器执行从而降低延迟和本地耗能,进而获得良好的用户体验.现有传统优化算法在MEC卸载决策和资源分配方面是可行的,但传统优化算法并不很...     

计算资源受限MEC中任务卸载与资源分配方法

移动边缘计算(MEC)通过将计算中心下沉至网络边缘,可以有效服务于任务计算.然而,MEC拥有的计算资源并不是无限的,这带来了诸多问题.文章针对计算资源有限MEC系统中的计算卸载,分析了最大化MEC总收益的卸载与资源分配联合优化问题.首先通过Stackelberg模型来描述MEC与用户之间的交互,使用差异化定价策略增加对卸载的约束,然后将卸载问题转化为二元背包问题,最后,通过改进模拟退火算法分配计算资源,并迭代得到最优方案.仿真结果表明,所提方案可以最大程度提高用户卸载数量,并有效地提高了MEC系统的收益.     

移动边缘计算中基于深度强化学习的任务卸载研究进展

移动边缘计算是近年出现的一种新型网络计算模式,它允许将具有较强计算能力和存储性能的服务器节点放置在更加靠近移动设备的网络边缘(如基站附近),让移动设备可以近距离地卸载任务到边缘设备进行处理,从而解决了传统网络由于移动设备的计算和存储能力弱且能量较有限,从而不得不耗费大量时间、能量且不安全地将任务卸载到远方的云平台进行处...     

基于深度强化学习的车辆边缘计算任务卸载方法

车辆边缘计算允许车辆将计算任务卸载到边缘服务器,从而满足车辆爆炸式增长的计算资源需求。但是如何进行卸载决策与计算资源分配仍然是亟待解决的关键问题。并且,运动车辆在连续时间内进行任务卸载很少被提及,尤其对车辆任务到达随机性考虑不足。针对上述问题,建立动态车辆边缘计算模型,描述为7状态2动作空间的Markov决策过程,并建立一个分布式深度强化学习模型来解决问题。另外,针对离散—连续混合决策问题导致的效果欠佳,将输入层与一阶决策网络嵌套,提出一种分阶决策的深度强化学习算法。仿真结果表明,所提算法相较于对比算法,在能耗上保持了较低水平,并且在任务完成率、时延和奖励方面都具备明显优势,这为车辆边缘计算中的卸载决策与计算资源分配问题提供了一种有效的解决方案。     

基于深度强化学习的移动边缘计算资源分配策略

边缘计算作为云计算技术的延伸,可通过增强边缘网络计算能力为用户提供低时延高质量服务。边缘计算中,需要将服务部署于资源受限的边缘服务器,并根据需求合理分配计算资源,以提高边缘服务器的资源利用率。因此,提出基于深度强化学习的服务资源分配方法,利用反正切函数两次映射建立计算资源分配函数,并基于真实数据集进行仿真实验。实验结果表明,该方法能够在保证低时延的情况下,合理分配计算资源。     

移动边缘计算中基于深度强化学习的计算卸载调度方法

针对移动边缘计算中具有依赖关系的任务的卸载决策问题,提出一种基于深度强化学习的任务卸载调度方法,以最小化应用程序的执行时间。任务调度的过程被描述为一个马尔可夫决策过程,其调度策略由所提出的序列到序列深度神经网络表示,并通过近端策略优化(proximal policy optimization)方法进行训练。仿真实验表明,所提出的算法具有良好的收敛能力,并且在不同环境下的表现均优于所对比的六个基线算法,证明了该方法的有效性和可靠性。     

移动边缘计算中的卸载决策与资源分配策略

为在移动边缘计算服务器计算资源有限的情况下最小化系统总成本,提出一种多用户卸载决策与资源分配策略.优化任务执行位置选择和计算资源分配过程,对基于精英选择策略的遗传算法在编码、交叉、变异等操作方面进行改进,设计联合卸载决策与资源分配的improve-eGA算法.实验结果表明,与All_local、All_offload、...     

基于深度强化学习的边云协同资源分配算法

移动边缘计算(Mobile Edge Computing, MEC)用于增强低功耗网络的数据处理能力,目前已成为一种高效的计算范例。文中考虑了由多个终端(Mobile Terminal, MT)组成的边云协同系统及其资源分配策略。为降低MTs的时延总和,采用多种卸载模式,提出了基于深度强化学习的任务卸载算法,该算法将深度神经网络(Deep Neural Network, DNN)作为一个可伸缩的解决方案来实现,从经验中学习多进制卸载模式来最小化时延总和。仿真结果表明,与深度Q网络(Deep Q Network, DQN)算法及深度确定性策略梯度(Deep Deterministic Policy Gradient, DDPG)算法相比,所提算法在最大性能增益上提升显著。此外,从仿真结果中可以看出,所提算法具有较好的收敛性,该算法的结果接近穷举搜索得到的最优解。     

移动边缘计算中基于Lyapunov的任务卸载与资源分配算法

移动边缘计算(MEC)通过将计算和存储资源部署在无线网络边缘,使得用户终端可将计算任务卸载到边缘服务器进行处理,从而缓解终端设备资源受限与高性能任务处理需求之间的冲突.但随着任务卸载规模的不断增加,执行任务所产生的功耗急剧上升,严重影响了MEC系统的收益.建立任务队列动态调度模型,以队列上溢概率为约束构建最大化系统平均...     

基于深度强化学习的云边协同DNN推理

现有基于云边协同的深度神经网络(DNN)推理仅涉及边缘设备同构情况下的静态划分策略,未考虑网络传输速率、边缘设备资源、云服务器负载等变化对DNN推理计算最佳划分点的影响,以及异构边缘设备集群间DNN推理任务的最佳卸载策略。针对以上问题,提出基于深度强化学习的自适应DNN推理计算划分和任务卸载算法。以最小化DNN推理时延为优化目标,建立自适应DNN推理计算划分和任务卸载的数学模型。通过定义状态、动作空间和奖励,将DNN推理计算划分和任务卸载组合优化问题转换为马尔可夫决策过程下的最优策略问题。利用深度强化学习方法,从经验池中学习动态环境下边缘设备与云服务器间DNN推理计算划分和异构边缘集群间任务卸载的近似最优策略。实验结果表明,与经典DNN推理算法相比,该算法在异构动态环境下的DNN推理时延约平均降低了28.83%,能更好地满足DNN推理的低时延需求。     

深度强化学习研究综述

深度强化学习是指利用深度神经网络的特征表示能力对强化学习的状态、动作、价值等函数进行拟合,以提升强化学习模型性能,广泛应用于电子游戏、机械控制、推荐系统、金融投资等领域。回顾深度强化学习方法的主要发展历程,根据当前研究目标对深度强化学习方法进行分类,分析与讨论高维状态动作空间任务上的算法收敛、复杂应用场景下的算法样本效率提高、奖励函数稀疏或无明确定义情况下的算法探索以及多任务场景下的算法泛化性能增强问题,总结与归纳4类深度强化学习方法的研究现状,同时针对深度强化学习技术的未来发展方向进行展望。     

多设备间任务依赖的最佳卸载决策和资源分配

考虑了多个设备的移动边缘计算(mobile edge computing, MEC)与端对端(device-to-device, D2D)技术协作网络, 其中多个无线设备的最终输出作为另一个设备上某个子任务的输入. 为了最小化无线设备的能耗和任务完成时间的加权和, 研究了最优的资源分配(卸载发射功率和本地CPU频率)和任务卸载决策问题. 首先固定卸载决策, 推导出卸载发射功率和本地CPU频率的闭合表达式, 运用凸优化方法求出该问题的解. 然后基于一次爬升策略提出了一种低复杂度线性搜索算法, 该算法可以在线性时间内获得最佳卸载决策. 数值结果表明, 该策略的性能明显优于其他有代表性的基准测试.     

基于双重拍卖的移动边缘计算任务卸载和资源分配策略

在移动边缘计算(mobile edge computing, MEC)系统中,用户的卸载策略会影响能耗和计算成本,进而影响用户效益.然而,目前多数研究未考虑边缘服务器随机分布场景中用户的卸载策略和资源请求策略对效益的影响.针对该问题,提出了一种基于改进双重拍卖算法的计算卸载和资源分配策略.首先,该策略将用户与边缘服务器之间的交互过程建模为Stackelberg博弈,并且证明了在该博弈内存在唯一纳什均衡点;其次,计算出用户对于不同服务器的卸载意愿以及计算资源请求量,并将用户与最优服务器进行拍卖;最后,采用遍历法交换上一轮拍卖中部分交易中的用户与服务器,以实现系统整体效益最优.仿真实验结果表明,与其他基准算法相比,所提算法在服务器随机分布场景下提高了33.4%的系统用户总效益,有效降低系统损失.     

基于DDPG的边缘计算任务卸载和服务缓存算法

当计算任务被转移到移动边缘计算(MEC)服务器上时,通过服务缓存能够降低获取和初始化服务应用程序的实时时延和带宽成本.此外,体验质量是驱动卸载决策的关键因素,有效利用有限的计算资源能够提升用户满意度.考虑一个边缘服务器帮助移动用户执行一系列计算任务的场景,建立混合整数非线性规划问题,提出一种基于深度确定性策略梯度(DD...     

车联网中基于DDQN的边云协作任务卸载机制

面对车载终端数据计算量的爆炸式增长,计算卸载是缓解车辆资源不足的有效手段。相比于单独研究云计算或边缘计算,让两者相互协作可以实现优势互补,提高系统的整体服务质量。在车联网中,制定适应环境动态性的卸载决策存在较大困难,其中任务的紧急程度也是一个不容忽视的因素。构建一个基于软件定义网络的边云协作任务卸载架构,并设计任务优先级的度量标准,将动态环境中的任务卸载决策问题建模为马尔可夫决策过程,从而最大化由时延和成本构成的任务平均效用。为了求解任务卸载决策,提出基于双深度Q网络的任务卸载决策算法以及基于优先级的资源分配方案,并设计一种卸载比例计算方法,以保障卸载的任务量能够在通信时间内上传完成的同时最小化任务处理时延。实验结果表明,相比于全部本地、全部卸载和平均分配资源3种固定的卸载算法,该算法时延和效用性能提高了2倍以上,在车辆数目适中的情况下,任务的完成比例可以稳定保持在100%。     

减少核心网拥塞的边缘计算资源分配和卸载决策

随着移动互联网和物联网的发展,越来越多的智能终端设备投入到实际使用当中,大量计算密集型和时间敏感型应用被广泛应用,如AR/VR、智能家居、车联网等.因此,网络中的数据流量激增,使得核心网络面临的压力逐渐增大,对网络时延的控制也越来越难,此时云边协同的计算范式作为一种解决方案被提出.针对云边之间的核心网流量控制问题,文中...