基于深度强化学习的计算卸载与资源分配策略

为了扩大车载边缘网络的覆盖范围及其计算能力,提出了一种适用于空天地融合车载网的计算卸载架构。考虑计算任务的时延和能耗约束,以及空天地融合车载网的频谱、计算和存储约束,将计算卸载决策和资源分配的联合优化问题建模为一个混合整数非线性规划问题。基于强化学习方法,将原问题转换成一个马尔可夫过程,提出了一种深度强化学习算法以求解该问题,所提算法具有较好的收敛性。仿真结果表明,所提算法在任务时延和成功率方面优于其他算法。     

协同边缘网络中智能计算卸载与资源优化算法

针对具有依赖关系的计算密集型应用任务面临的卸载决策难题,提出了一种基于优先级的深度优先搜索调度策略。考虑到用户能量受限和移动性,构建了一种联合用户下行能量捕获和上行计算任务卸载的网络模型,并在此基础上建立了端到端优化目标函数。结合任务优先级及时延约束,利用深度强化学习自学习的优势,将任务卸载决策问题建模为马尔科夫模型,并设计了基于任务相关性的Dueling Double DQN(D3QN)算法对问题进行求解。仿真数据表明,所提算法较其他算法能够满足更多用户的时延要求,并能减少9%～10%的任务执行时延。     

基于深度强化学习的边缘视频任务卸载策略

随着物联网的发展以及智能设备的普及,视频处理技术已广泛应用于生活中。自动驾驶、产品质检等应用场景对视频处理技术的实时性需求逐步提高,移动边缘计算为计算能力不足和能源受限的设备提供计算资源以执行时延敏感性任务,为实时视频处理提供了新的计算架构。本文搭建了一个视频计算卸载场景,并以视频检测为任务,以系统时延为优化目标,建立了计算卸载模型和马尔可夫决策模型;考虑到计算卸载场景的复杂动态因素,如带宽波动、设备数量、任务大小等,以最小化系统时延为目标,提出了一种基于深度强化学习的计算卸载策略进行求解。实验表明,与其他基线方案相比,该卸载策略能够适应较复杂卸载场景,有效降低系统时延。     

基于深度强化学习的云边协同计算迁移研究

基于单一边缘节点计算、存储资源的有限性及大数据场景对高效计算服务的需求,本文提出了一种基于深度强化学习的云边协同计算迁移机制.具体地,基于计算资源、带宽和迁移决策的综合性考量,构建了一个最小化所有用户任务执行延迟与能耗权重和的优化问题.基于该优化问题提出了一个异步云边协同的深度强化学习算法,该算法充分利用了云边双方的计...     

基于元强化学习的自适应卸载方法

计算卸载是移动边缘网络中的一个关键问题,基于深度学习的算法为高效生成卸载策略提供了一种解决方法。但考虑到移动终端设备的动态性以及不同任务场景之间的转换,需要大量的训练数据和较长的训练时间重新训练神经网络模型,即这些方法对新环境的适应能力较弱。针对这些不足,提出了一种基于元强化学习(Meta Reinforcement Learning, MRL)的自适应卸载方法,先对外部模型进行预训练,处理具体任务时再基于外部模型训练内部模型。该方法能快速适应具有少量梯度更新的样本的新环境。仿真实验表明,该算法能够适应新的任务场景,效果良好。     

SDCN中基于深度强化学习的移动边缘计算任务卸载算法研究

随着网络技术的不断发展,基于Fat-Tree的网络拓扑结构分布式网络控制模式逐渐显露出其局限性,软件定义数据中心网络（software-defined data center network,SDCN）技术作为Fat-Tree网络拓扑的改进技术,受到越来越多研究者的关注。首先搭建了一个SDCN中的边缘计算架构和基于移动边缘计算（mobileedge computing,MEC）平台三层服务架构的任务卸载模型,结合移动边缘计算平台的实际应用场景,利用同策略经验回放和熵正则改进传统的深度Q网络（deep Q-leaning network,DQN）算法,优化了MEC平台的任务卸载策略,并设计了实验对基于同策略经验回放和熵正则的改进深度Q网络算法（improved DQN algorithm based on same strategy empirical playback and entropy regularization,RSS2E-DQN）和其他3种算法在负载均衡、能耗、时延、网络使用量几个方面进行对比分析,验证了改进算法在上述4个方面具有更优越的性能。     

基于安全保障的边缘计算卸载方案

提出了基于安全管理的边缘计算卸载方案,并基于量子进化算法(QEA)设计了卸载决策方案。该方案保证了用户在边缘计算网络中进行计算卸载的安全性。仿真结果表明,与常规计算卸载方案对比,本方案能在保证计算卸载安全的情况下有效降低整个系统的开销。     

超密集网络中基于移动边缘计算的任务卸载和资源优化

移动边缘计算(MEC)通过在无线网络边缘为用户提供计算能力,来提高用户的体验质量。然而,MEC的计算卸载仍面临着许多问题。该文针对超密集组网(UDN)的MEC场景下的计算卸载,考虑系统总能耗,提出卸载决策和资源分配的联合优化问题。首先采用坐标下降法制定了卸载决定的优化方案。同时,在满足用户时延约束下采用基于改进的匈牙利算法和贪婪算法来进行子信道分配。然后,将能耗最小化问题转化为功率最小化问题,并将其转化为一个凸优化问题得到用户最优的发送功率。仿真结果表明,所提出的卸载方案可以在满足用户不同时延的要求下最小化系统能耗,有效地提升了系统性能。

     

基于深度强化学习的无人机辅助移动边缘计算系统能耗优化

近年来,部署搭载有移动边缘计算(MEC)服务器的无人机(UAVs)为地面用户提供计算资源已成为一种新兴的技术。针对无人机辅助多用户移动边缘计算系统,该文构建了以最小化用户平均能耗为目标的模型,联合优化无人机的飞行轨迹和用户计算策略的调度。通过深度强化学习(DRL)求解能耗优化问题,提出基于柔性参与者-评论者(SAC)的优化算法。该算法应用最大熵的思想来探索最优策略并使用高效迭代更新获得最优策略,通过保留所有高回报值的策略,增强算法的探索能力,提高训练过程的收敛速度。仿真结果表明与已有算法相比,所提算法能有效降低用户的平均能耗,并具有很好的稳定性和收敛性。     

基于强化学习的移动边缘计算资源分配方法

当前的移动边缘计算资源分配结构多为单向形式,资源分配效率较低,导致资源分配比下降,文中设计了一种基于强化学习的移动边缘计算资源分配方法,并通过实验验证了其有效性。根据当前的测试需求,首先部署了资源采集节点,然后采用多阶的方式,提升整体的资源分配效率,构建多阶迁移资源分配结构,最后设计了移动边缘计算强化学习资源分配模型,采用动态化辅助协作处理的方式来实现资源分配。测试结果表明,对于选定的5个测试周期,经过3个分配组的测定及比对,最终得出的资源分配比均可以达到5.5以上,这说明在强化学习技术的辅助下,文中设计的移动边缘计算资源分配方法更加灵活、多变,针对性较强,具有实际的应用价值。     

减少核心网拥塞的边缘计算资源分配和卸载决策

随着互联网的发展,智能终端在实践中得到了应用,大量时间敏感的计算机应用在人们的生活中也被广泛使用,如p/虚拟现实、智能家居和汽车互联网等。网络流量的增加将逐渐增大核心网络的压力,管理延迟网络变得越来越困难。目前,云协作计算解决方案是拟议的模型边界,文中提出了一种新的算法来管理边缘云之间基本网络流量的分布和解密,以共享时间和分配来改善边缘处理流程的算法资源,遗传算法用于寻找最佳分解分辨率。实验结果表明,与基线相比,拟议的算法可以提高资源效率并减少云流量边缘,从而减少核心网络拥堵现象。     

多小区蜂窝网络中计算卸载与资源分配联合优化算法

本文在多基站和远端云构成的多层计算卸载场景中,提出了一种多小区蜂窝网络中基站选择、计算卸载与资源分配联合优化算法.该算法考虑多基站重叠覆盖用户的基站选择,在边缘服务器计算资源约束条件下,构建了能耗与时延加权和的最小化问题,这是NP-hard问题.本文首先对单用户多基站计算卸载问题,采用拉格朗日乘子法对其进行求解;然后针...     

移动边缘计算中基于内容流行度的深度强化学习缓存机制

随着5G商用的推进,涌现出大量依赖高速率、低时延的新应用,混合现实(Mixed Reality,MR)就是其中之一.考虑到从中心云传输服务内容到MR设备会带来很大时延和能耗问题,引入移动边缘计算(Mobile Edge Compu?ting,MEC)技术,通过在MEC服务器上缓存用户的预渲染环境帧,以减少延迟和能耗.针...     

车辆网络多平台卸载智能资源分配算法

为了降低计算任务的时延和系统的成本,移动边缘计算(MEC)被用于车辆网络,以进一步改善车辆服务。该文在考虑计算资源的情况下对车辆网络时延问题进行研究,提出一种多平台卸载智能资源分配算法,对计算资源进行分配,以提高下一代车辆网络的性能。该算法首先使用K临近(KNN)算法对计算任务的卸载平台(云计算、移动边缘计算、本地计算)进行选择,然后在考虑非本地计算资源分配和系统复杂性的情况下,使用强化学习方法,以有效解决使用移动边缘计算的车辆网络中的资源分配问题。仿真结果表明,与任务全部卸载到本地或MEC服务器等基准算法相比,提出的多平台卸载智能资源分配算法实现了时延成本的显著降低,平均可节省系统总成本达80%。

     

移动边缘计算中基于图到序列深度强化学习的复杂任务部署策略

借助于移动边缘计算（MEC）和网络虚拟化技术,可使移动端将执行各类复杂应用所需的算力、存储和传输等资源需求就近卸载至边缘服务节点,从而获得更高效的服务体验。面向边缘服务商,研究其在进行复杂任务部署时所面临的能耗优化决策问题。首先将复杂任务部署于多个边缘服务节点的问题建模为混合整数规划（MIP）模型,然后提出了一种融合图到序列的深度强化学习（DRL）求解策略。该策略通过基于图的编码器设计提取并学习子任务间潜在的依赖关系,从而根据边缘服务节点的可用资源状态及使用率自动发现任务部署的通用模式,最终快速获得能耗优化的部署策略。在不同的网络规模中,将所提策略与具代表性的基准策略进行了全面对比。实验结果表明,所提策略在任务部署错误率、MEC系统总功耗和算法求解效率等方面均显著优于基准策略。     

基于边缘计算的按需优化的深度学习模型

为了应对以云服务器为中心的深度学习模型存在实时性较差的缺点,提出一种基于边缘计算的按需优化的深度学习模型,模型基于通信带宽和延时限制,自适应地将深度学习模型分配到终端设备和边缘服务器上并进行裁剪,从而最大化计算精度。仿真实验结果表明,相比仅仅将深度学习模型部署在终端设备或边缘服务器上,该算法具有更强的计算优势。     

基于Lyapunov优化的隐私感知计算卸载方法

移动边缘计算(MEC)中计算卸载决策可能暴露用户特征,导致用户被锁定。针对此问题,该文提出一种基于Lyapunov优化的隐私感知计算卸载方法。首先,该方法定义卸载任务中的隐私量,并引入隐私限制使各MEC节点上卸载任务的累积隐私量尽可能小;然后,提出假任务机制权衡终端能耗和隐私保护的关系,当系统因隐私限制无法正常执行计算卸载时,在MEC节点生成虚假的卸载任务以降低累积隐私量;最后,建立隐私感知计算卸载模型,并基于Lyapunov优化原理求解。仿真结果表明,基于Lyapunov优化的隐私感知卸载算法(LPOA)能使用户的累积隐私量稳定在0附近,且总卸载频率与不考虑隐私的决策一致,有效保护了用户隐私,同时保持了较低的平均能耗。

     

基于多智能体元强化学习的车联网协同服务缓存和计算卸载

为了降低求解优化问题的难度,提出一种双层的多路侧单元(RSU)协同缓存框架将问题进行解耦.外层采用多智能体元强化学习方法,在每个本地智能体进行决策学习的同时,采用长短期记忆网络作为元智能体来平衡本地决策并加速学习过程,从而得到最优的RSU缓存策略;内层采用拉格朗日乘子法求解最佳协同卸载策略,实现RSU间的任务分配.基于...     

基于深度强化学习的网络切片资源管理算法

随着第五代通信技术(5G)的发展,各种应用场景不断涌现,而网络切片可以在通用的物理网络上构建多个逻辑独立的虚拟网络来满足移动通信网络多样化的业务需求。为了提高移动通信网络根据各切片业务量实现资源按需分配的能力,本文提出了一种基于深度强化学习的网络切片资源管理算法,该算法使用两个长短期记忆网络对无法实时到达的统计数据进行预测,并提取用户移动性导致的业务数据量动态特征,进而结合优势动作评论算法做出与切片业务需求相匹配的带宽分配决策。实验结果表明,相较于现有方法,该算法可以在保证用户时延和速率要求的同时,将频谱效率提高约7.7%。     

基于多接入边缘计算的任务卸载和资源分配策略研究

随着移动通信技术和工业互联网的飞速发展,移动设备端日渐庞大的数量和复杂的应用对大量计算密集和低时延提出了要求,也因此引出了基于多接入边缘计算的任务卸载概念。这种任务卸载方式能够有效地利用边缘云服务器资源,将复杂的计算任务卸载至邻近的低消耗边缘服务器,提高任务计算效率和更高的服务质量。提出了一种基于拓扑结构的任务卸载策略和边缘资源分配策略,旨在解决边缘计算场景中,任务卸载效率低、资源利用率不足等问题。