基于深度强化学习的车辆边缘计算任务卸载方法

车辆边缘计算允许车辆将计算任务卸载到边缘服务器,从而满足车辆爆炸式增长的计算资源需求。但是如何进行卸载决策与计算资源分配仍然是亟待解决的关键问题。并且,运动车辆在连续时间内进行任务卸载很少被提及,尤其对车辆任务到达随机性考虑不足。针对上述问题,建立动态车辆边缘计算模型,描述为7状态2动作空间的Markov决策过程,并建立一个分布式深度强化学习模型来解决问题。另外,针对离散—连续混合决策问题导致的效果欠佳,将输入层与一阶决策网络嵌套,提出一种分阶决策的深度强化学习算法。仿真结果表明,所提算法相较于对比算法,在能耗上保持了较低水平,并且在任务完成率、时延和奖励方面都具备明显优势,这为车辆边缘计算中的卸载决策与计算资源分配问题提供了一种有效的解决方案。     

具有边缘缓存机制的混合启发式任务卸载算法

边缘计算因其与用户物理距离短、响应速度快等特点,被认为是可以解决未来大规模网络计算资源不足等问题的关键技术之一。在多进多出的边缘计算环境下,通过将部分服务缓存到边缘节点可以降低用户请求任务的执行时间。但以往工作或假设边缘节点具有无限的缓存空间,或忽略当前缓存列表和缓存替换机制对任务卸载的影响,导致卸载决策失效或任务执行时间变长。面向具有缓存机制的边缘计算环境,提出一种基于整数编码的混合启发式任务卸载算法IPSO＿GA,将任务卸载问题建模为一个混合整数非线性规划问题。结合粒子群优化和遗传算法,使各粒子通过交配运算和变异运算不断寻优,在合理的时间复杂度内搜索任务卸载决策。实验结果表明,与随机算法、贪心算法、平均算法等经典算法和目前较新算法相比,IPSO＿GA算法在设备数量居中环境中的任务执行时间减少了58%～298%,能适用于设备数量多、计算密集的边缘计算环境。     

车辆边缘计算环境下任务卸载研究综述

计算密集和延迟敏感型车辆应用的出现对车辆设备有限的计算能力提出了严峻的挑战,将任务卸载到传统的云平台会有较大的传输延迟,而移动边缘计算专注于将计算资源转移到网络的边缘,为移动设备提供高性能、低延迟的服务,因此可作为处理计算密集和延迟敏感的任务的一种有效方法.同时,鉴于城市地区拥有大量智能网联车辆,将闲置的车辆计算资源充分利用起来可以提供巨大的资源和价值,因此在车联网场景下,结合移动边缘计算产生了新的计算模式——车辆边缘计算.近年来,智能网联车辆数量的增长和新兴车辆应用的出现促进了对车辆边缘计算环境下任务卸载的研究,本文对现有车辆边缘计算环境下任务卸载研究进展进行综述,首先,从计算模型、任务模型和通信模型三个方面对系统模型进行梳理、比较和分析.然后介绍了最小化卸载延迟、最小化能量消耗和应用结果质量三种常见的优化目标,并按照集中式和分布式两种不同的决策方式对现有的研究进行了详细的归类和比较.此外,本文还介绍了几种常用的实验工具,包括SUMO、Veins和VeinsLTE.最后,本文围绕卸载决策算法复杂度、安全与隐私保护和车辆移动性等方面对车辆边缘计算任务卸载目前面临的挑战进行了总结,并展望了车辆边缘计算环境下任务卸载未来的发展方向与前景.     

移动边缘计算中带有缓存机制的任务卸载策略

为了满足延时敏感型应用执行的需求,实现移动设备的能耗优化,基于移动边缘计算环境提出一种融入缓存机制的任务卸载策略。与仅关注计算卸载决策不同,该策略可将已完成的重复请求任务及相关数据在边缘云上进行缓存,这样可以降低任务的卸载延时。将计算与存储能力受限的边缘云中的任务缓存与卸载优化决策问题分解为两个子优化问题进行求解。证明任务卸载子问题可转换为决策变量的凸最优化问题,而任务缓存子问题可转换为0-1整数规划问题。分别设计内点法和分支限界法对两个子问题进行求解,进而得到满足截止时间约束时能耗最优的卸载决策解。仿真算例证明了该策略在动态异构的任务执行环境下可以实现更好的能效优化。     

基于移动边缘计算环境下的服务缓存和任务调度联合优化算法

在移动边缘计算中,在资源有限的边缘设备上对服务缓存和任务执行进行合理的决策能够大幅度地提高卸载效率和减少应用程序的处理时延。针对边缘计算环境下服务缓存与任务卸载决策问题,建立网络模型和服务缓存模型,定义关联的边缘设备、协作的边缘设备任务执行时延及远端云数据传输和任务执行的时延,提出一种联合优化算法来求解任务执行时延约束条件下的服务缓存决策最优解。该算法采用粒子群优化Particle Swarm Optimization（PSO）,将移动用户的任务按照整数编码,优化任务处理时延适应度和粒子速度更新,缩短任务延迟时间。仿真实验结果表明,联合优化算法取得相比其他策略完成时间更少且能适应大规模任务调度的效果。     

基于DDPG的边缘计算任务卸载和服务缓存算法

当计算任务被转移到移动边缘计算（MEC）服务器上时,通过服务缓存能够降低获取和初始化服务应用程序的实时时延和带宽成本。此外,体验质量是驱动卸载决策的关键因素,有效利用有限的计算资源能够提升用户满意度。考虑一个边缘服务器帮助移动用户执行一系列计算任务的场景,建立混合整数非线性规划问题,提出一种基于深度确定性策略梯度（DDPG）的算法来联合优化服务缓存位置、计算卸载决策和资源分配,从而提高用户对服务的体验质量,最大化用户使用计算资源所节约的成本。仿真结果表明,该算法在提高用户体验质量和节约成本方面较使用无缓存策略、随机选择策略和无缓存随机选择策略的算法性能更优。     

服务缓存约束下优化用户设备执行成本的任务卸载策略

边缘计算通过在网络边缘侧提供更优的计算和存储能力,能够有效降低用户设备的执行时延和能耗。随着应用程序对计算和存储资源的需求越来越大,任务卸载作为消除用户设备固有限制的一种有效手段,成为了主要的研究热点之一。然而,在已有的任务卸载研究中,常常忽略不同类型的任务对服务需求的多样性以及边缘服务器服务缓存有限的情形,从而导致不可行的卸载决策。因此,在服务缓存约束下,研究了能够使得用户设备执行成本最优的任务卸载问题。首先设计了云服务器、边缘服务器和本地设备的协同卸载模型,用于平衡边缘服务器的负载问题,同时借助云服务器弥补边缘服务器有限的服务缓存能力。然后,提出了适用于云边端协同的任务卸载算法,优化用户设备的执行成本。当任务被卸载时,先采用改进的贪婪算法选择最佳的边缘服务器,再通过比较任务在不同位置上的执行成本,来确定任务的卸载决策。实验结果表明,所提算法相比对比算法能够有效降低用户设备的执行成本。     

基于SAC的多服务移动边缘计算中任务卸载和资源配置算法

多服务移动边缘计算网络环境中的不同服务的缓存要求、受欢迎程度、计算要求以及从用户传输到边缘服务器的数据量是随时间变化的。如何在资源有限的边缘服务器中调整总服务类型的缓存子集,并确定任务卸载目的地和资源分配决策,以获得最佳的系统整体性能是一个具有挑战性的问题。为了解决这一难题,首先将优化问题转换为马尔可夫决策过程,然后提出了一种基于软演员—评论家（soft actor-critic,SAC）的深度强化学习算法来同时确定服务缓存和任务卸载的离散决策以及上下带宽和计算资源的连续分配决策。算法采用了将多个连续动作输出转换为离散的动作选择的有效技巧,以应对连续—离散混合行动空间所带来的关键设计挑战,提高算法决策的准确性。此外,算法集成了一个高效的奖励函数,增加辅助奖励项来提高资源利用率。广泛的数值结果表明,与其他基线算法相比,提出的算法在有地减少任务的长期平均完成延迟的同时也具有良好的稳定性。     

车联网中基于DDQN的边云协作任务卸载机制

面对车载终端数据计算量的爆炸式增长,计算卸载是缓解车辆资源不足的有效手段。相比于单独研究云计算或边缘计算,让两者相互协作可以实现优势互补,提高系统的整体服务质量。在车联网中,制定适应环境动态性的卸载决策存在较大困难,其中任务的紧急程度也是一个不容忽视的因素。构建一个基于软件定义网络的边云协作任务卸载架构,并设计任务优先级的度量标准,将动态环境中的任务卸载决策问题建模为马尔可夫决策过程,从而最大化由时延和成本构成的任务平均效用。为了求解任务卸载决策,提出基于双深度Q网络的任务卸载决策算法以及基于优先级的资源分配方案,并设计一种卸载比例计算方法,以保障卸载的任务量能够在通信时间内上传完成的同时最小化任务处理时延。实验结果表明,相比于全部本地、全部卸载和平均分配资源3种固定的卸载算法,该算法时延和效用性能提高了2倍以上,在车辆数目适中的情况下,任务的完成比例可以稳定保持在100%。     

基于主动缓存的云边端协同卸载策略

为避免移动边缘计算中任务的重复计算,进一步提升系统性能,缩减应用程序完成时间,提出基于主动缓存的云边端协同卸载策略(CEECO).在边缘服务器和云端主动缓存计算任务的执行结果,在此基础上基于线性回归模型进行任务预测,得到不同的云边端卸载执行策略.仿真结果表明,该算法相对传统卸载策略总完成时间更少,能够满足不同任务情况下对时延的要求.     

基于缓存优化的移动边缘计算资源分配策略

移动边缘计算研究中,边缘服务器通过缓存任务数据可以有效节约计算资源,但如何分配缓存资源解决边缘服务器的竞争关系,以及能耗和效益问题,达到系统性能最优是一个NP难问题。为此提出基于缓存优化的在线势博弈资源分配策略OPSCO(online potential-game strategy based on cache optimization),采用新的缓存替换策略CASCU(cache allocation strategy based on cache utility),最大化缓存的效用。通过优化边缘服务器的效益指示函数,将缓存替换代价等因素与李雅普诺夫优化、势博弈以及EWA(exponential weighting algorithm)算法结合,对边缘服务器的竞争关系建模,进行势博弈相关证明和分析。仿真结果表明,OPSCO相比于其他资源分配策略,可以明显提升任务完成率和缓存效用,并降低设备能耗和时间开销,解决了移动边缘计算在线缓存场景中的资源分配以及数据缓存问题。     

基于李雅普诺夫随机优化的车辆边缘计算资源管理

针对车辆边缘计算系统中的计算资源管理问题,提出一种基于李雅普诺夫随机优化的计算卸载与资源分配方案.构建在保证任务量及长期能耗约束下的车辆用户服务时延最小化优化问题,利用李雅普诺夫随机优化理论将优化问题分解.在本地计算资源分配子问题中,通过求解线性问题的方法,得到最优本地计算CPU频率;在计算卸载子问题中,利用数值优化求...     

无人机无线网络中基于队列稳定的无线与计算资源分配优化

无人机(UAV)无线网络中,UAV承载基站设备,可灵活提供无线通信服务,支持在高质量的无线信道状态下进行数据传输;另一方面,将边缘计算服务器部署到基站侧,计算资源更靠近用户,通过任务卸载,能够直接在基站侧进行计算处理,缓解无线网络的去程链路压力;但是,考虑到能耗受限问题,如何通过资源优化来降低网络能耗并保证用户到基站的数据传输和任务处理的稳定性依然是研究的难题;针对UAV无线网络中用户向UAV基站发送数据并卸载计算任务的场景,研究了在数据传输和任务处理稳定性约束下进行无线与计算资源优化的能耗最小化问题,构建数据队列与任务队列,采用李雅普诺夫优化理论对问题进行转化和分解,获得能耗与队列的折中关系,并通过仿真分析评估了所提解决方案的有效性。     

面向海洋节能边缘计算的任务卸载研究

针对海洋通信网络能源不稳定、时延较长的问题,提出一种混合能量供应的边缘计算卸载方案。对于能量供应问题,移动边缘计算(MEC)服务器集成混合电源和混合接入点,混合电源利用可再生能源为MEC服务器供应能量,采用电力电网作为其补充能源,保证边缘计算系统的可靠运行,船舶用户通过混合接入点广播的射频(RF)信号收集能量。针对任务卸载优化问题,以能耗-时延权衡优化为目标,联合能量收集方法制定任务卸载比例、本地计算能力和发射功率的优化方案,最后利用降维优化算法,将目标函数简化为关于任务卸载比例的一维多约束问题,并利用改进的鲸鱼优化算法获得最优的执行总代价。利用边缘云模拟器EdgeCloudSim仿真的结果表明,所提方案较具有能量收集的资源分配方案和基本海上通信网络优化的方案执行成本分别降低了13.4%和9.6%。     

基于混合蚁群优化的边缘计算细粒度任务调度方法

为缓解中心服务器的压力,制定合理的调度方案,基于混合蚁群优化算法提出了边缘计算细粒度任务调度方法。描述边缘计算任务调度问题,并设置假设条件,简化调度求解难度。通过计算任务的优先指数,按照从大到小的顺序排列后组成任务队列。分析边缘服务器性能特征,明确边缘服务器处理能力。构建能耗以及时延多目标函数,并设置约束条件,利用混合蚁群优化算法求解多目标函数,完成边缘计算细粒度任务调度方案设计。结果表明：该方法应用下的任务调度能耗和时延更小,说明所提方法性能更优,所获得的调度方案更合理。     

一种基于混合NOMA的IRS-MEC系统能量效率优化方案

在移动边缘计算系统（MEC）中结合智能反射面（IRS）和资源分配策略以提高系统能量效率是当前国内外研究的热点。基于混合非正交多址（NOMA）传输模式,通过对用户的本地运算频率、传输功率、传输时间和智能反射面离散相移的联合优化,实现智能反射面辅助的移动边缘计算系统能量效率最大化。由于优化过程涉及难以求解的非凸分式规划问题,提出了Dinkelbach-SCA的两步迭代算法：首先利用Dinkelbach方法将初始问题转换成易于求解的形式,通过分离变量对智能反射面离散相移进行优化;其次为了解耦传输功率与时间之间的耦合关系,引入辅助变量,并结合逐次凸逼近（SCA）方法将非凸问题转换成凸问题,求出优化解。仿真结果表明采用的系统方案的能量效率优于其他对比方案,并发现系统的能量效率随用户2的最小计算数据量减少而提升。     

Wi-Fi网络下多AP协作边缘计算资源分配策略

近年来, AR/VR、在线游戏、4K/8K超高清视频等计算密集且时延敏感型应用不断涌现,而部分移动设备受自身硬件条件的限制,无法在时延要求内完成此类应用的计算,且运行此类应用会带来巨大的能耗,降低移动设备的续航能力.为了解决这一问题,本文提出了一种Wi-Fi网络多AP (access point)协作场景下边缘计算卸载和资源分配方案.首先,通过遗传算法确定用户的任务卸载决策.随后,利用匈牙利算法为进行任务卸载的用户分配通信资源.最后,根据任务处理时延限制,为进行任务卸载的用户分配边缘服务器计算资源,使其满足任务处理时延限制要求.仿真结果表明,所提出的任务卸载与资源分配方案能够在满足任务处理时延限制的前提下有效降低移动设备的能耗.     

Joint learning and optimization for Federated Learning in NOMA-based networks

Over the past decade, the usage of machine learning (ML) techniques have increased substantially in different applications. Federated Learning (FL) refers to collaborative techniques that avoid the exchange of raw data between the nodes in a distributed training task. This addresses important issues such as data privacy, energy consumption, and the limited availability of clean spectral slots. In this work, we investigate the performance of FL updates with edge devices connected to a leading device (LD) with practical wireless links, where uplink updates from the edge devices to the LD are shared without orthogonalizing the resources. In particular, we adopt a non-orthogonal multiple access (NOMA) uplink scheme, and analytically investigate its effect on the convergence round (CR) and the accuracy of the FL model. Moreover, we formulate an optimization problem that aims at minimizing the CR, and further guarantees communication fairness between the users while considering the per-device energy consumption figures and the accuracy of the realized global FL model. Monte-Carlo simulations prove the reliability of our derived analytical expressions and reveal the importance of adopting a joint optimization approach that demonstrates a significant reduction in communication latency, while taking into account user fairness in the NOMA network, improving the energy consumption figures and yielding acceptable accuracy levels when compared with several baselines.     

基于多重指标拍卖机制的车联网任务卸载策略

在5G移动边缘计算(MEC)的车联网场景中, 针对车辆任务卸载目标的选择问题, 设计了一种基于任务优先级的服务器选择方案. 综合考虑时间、能耗、成本等因素对卸载位置选择的影响, 提出了基于多重指标拍卖博弈的解决方法. 通过多重指标拍卖机制, 选择最优的MEC服务器为车辆提供任务卸载服务, 实现车辆与RSU协作的贝叶斯纳什均衡. 仿真结果表明, 该方案能在保障车辆任务卸载时间和能耗的约束条件下, 降低任务卸载的总费用, 满足多个性能指标.     

一种基于遗传算法的多边缘协同计算卸载方案

边缘计算(Edge Computing,EC)作为云计算的补充,在处理lOT设备产生的计算任务时可以保证计算的延时符合系统的要求.针对在传统卸载场景中,由于计算任务到达存在空窗期导致异地边缘云存在空闲状态,造成异地边缘云利用不充分的问题,文中提出了一种基于遗传算法的多边缘与云端协同计算卸载模型(Genetic Algo...