车载边缘计算中基于深度强化学习的协同计算卸载方案

车载边缘计算(Vehicular Edge Computing, VEC)是一种可实现车联网低时延和高可靠性的关键技术,用户将计算任务卸载到移动边缘计算(Mobile Edge Computing, MEC)服务器上,不仅可以解决车载终端计算能力不足的问题,而且可以减少能耗,降低车联网通信服务的时延。然而,高速公路场景下车辆移动性与边缘服务器静态部署的矛盾给计算卸载的可靠性带来了挑战。针对高速公路环境的特点,研究了临近车辆提供计算服务的可能性。通过联合MEC服务器和车辆的计算资源,设计并实现了一个基于深度强化学习的协同计算卸载方案,以实现在满足任务时延约束的前提下最小化所有任务时延的目标。仿真实验结果表明,相比于没有车辆协同的方案,所提方案可以有效降低时延和计算卸载失败率。     

基于负载均衡的VEC服务器联合计算任务卸载方案

在车载边缘计算(Vehicular Edge Computing,VEC)网络中,车辆计算资源受限导致无法处理海量的计算任务,需要将车载应用产生的计算任务卸载到VEC服务器上进行处理.但车辆的移动性和区域部署的差异性易导致VEC服务器负载不均衡,造成了计算卸载效率和资源利用率降低.为解决该问题,提出一种计算卸载和资源分...     

车联网中基于DDQN的边云协作任务卸载机制

面对车载终端数据计算量的爆炸式增长,计算卸载是缓解车辆资源不足的有效手段。相比于单独研究云计算或边缘计算,让两者相互协作可以实现优势互补,提高系统的整体服务质量。在车联网中,制定适应环境动态性的卸载决策存在较大困难,其中任务的紧急程度也是一个不容忽视的因素。构建一个基于软件定义网络的边云协作任务卸载架构,并设计任务优先级的度量标准,将动态环境中的任务卸载决策问题建模为马尔可夫决策过程,从而最大化由时延和成本构成的任务平均效用。为了求解任务卸载决策,提出基于双深度Q网络的任务卸载决策算法以及基于优先级的资源分配方案,并设计一种卸载比例计算方法,以保障卸载的任务量能够在通信时间内上传完成的同时最小化任务处理时延。实验结果表明,相比于全部本地、全部卸载和平均分配资源3种固定的卸载算法,该算法时延和效用性能提高了2倍以上,在车辆数目适中的情况下,任务的完成比例可以稳定保持在100%。     

基于车载以太网的任务卸载方案

现代汽车总线的电子电气(E/E)架构开始从基于CAN总线的分布式架构向通信容量更大的基于车载以太网的集中式架构发展,但车内计算资源分布不平均,集中式网络的中央设备计算能力显著高于其他边缘端设备。由于智能汽车边缘端设备的计算任务不断在增长,为应对增长的边缘端计算任务需求,降低计算延时,研究在集中式E/E架构中实现有效的计算任务卸载方案,对车载以太网的通信特点进行分析,以车载中央计算机为核心对车内域控制器的计算任务进行卸载。针对车载以太网AVB通信协议的特点,结合数据分级和整流算法获得计算卸载的延时模型,进而建立边缘计算任务延时最小化的目标优化方程,并采用改进遗传算法进行迭代求解,最终收敛求出任务卸载的最优参数。实现了在满足复杂车载条件约束条件下降低车内计算任务时延的目标,仿真实验结果表明所提方法可以有效降低车内计算任务延时,在集中式E/E架构的车内网络上实现了计算资源的充分利用。     

C‑V2X车联网中基于模拟退火算法的任务卸载与资源分配

网联车辆节点产生的不同属性的大数据流量计算任务进行传输并卸载时,通常引起通信系统中时延抖动、计算能耗与系统开销大等问题,因此,根据实际通信环境,提出一种C-V2X车联网（IoV）中基于模拟退火算法（SAA）的任务卸载与资源分配方案。首先,根据任务处理优先程度,对处理优先程度较高的任务进行协同卸载计算处理;其次,通过全局搜索最优卸载比例因子的方式,制定了一种基于SAA的任务卸载策略,且分析并优化了任务卸载比例因子;最后,在任务卸载比例因子更新过程中,将系统开销最小化问题转化为功率和计算资源分配凸优化问题,并利用拉格朗日乘子法获取最优解。通过对所提算法与本地卸载、自适应遗传算法等作比较可知,随着计算任务的数据量不断增加,自适应遗传算法比本地卸载的时延、能耗、系统开销分别降低了5.97%、49.40%、49.36%,在此基础上基于SAA的方案较自适应遗传算法的时延、能耗、系统开销再降低了6.35%、92.27%、91.7%;随着计算任务CPU周期数不断增加,自适应遗传算法比本地卸载的时延、能耗、系统开销分别降低了16.4%、49.58%、49.23%,在此基础上基于SAA的方案较自适应遗传算法的时延、能耗、系统开销再降低了19.61%、94.39%、89.88%。实验结果表明,SAA不仅能降低通信系统时延、能耗及系统开销,还可以使结果加速收敛。     

基于Stackelberg博弈的车载云计算任务卸载优化

针对车辆计算资源闲置浪费的情况,整合车辆计算资源组建车载云计算（vehicular cloud computing,VCC）范式,从而提高车辆总体资源利用率,提升车载服务质量。从经济学的角度,研究车载云计算中请求车辆和协助车辆之间的计算任务卸载定价与定量的问题。针对此问题,首先设计动态组建车载云的安全通信协议;在此基础上,利用Stackelberg博弈建模计算任务卸载分配的问题,激励协助车辆主动参与任务计算;同时设计了一种简单有效的分布式迭代算法求解最终的Stackelberg均衡状态,最小化请求车辆的服务开销并兼顾最大化协助车辆的收益。通过实验仿真,验证所提方案的有效性和可靠性。     

VEC中基于动态定价的车辆协同计算卸载方案

车载边缘计算(Vehicular Edge Computing, VEC)是移动边缘计算(Mobile Edge Computing, MEC)在车联网中的一个重要应用。在VEC中,请求服务的车辆可以通过付费的方式,将计算任务卸载到VEC服务器或者空闲计算资源丰富的服务车辆上,从而满足车辆任务对计算服务的需求。然而,对于VEC运营商来说,收益最大化是其追求的目标之一。由于系统中的计算需求和计算资源是动态变化的,因此如何在车辆协同场景下确定一个合理的定价策略是一个不容忽视的问题。针对该问题制定了一个动态定价策略,使VEC服务器和服务车辆的价格随着计算资源的供需关系而动态调整。基于此,设计了运营商收益最大化的车辆协同计算卸载方案,通过将时延约束下的VEC运营商收益最大化问题转化为多用户匹配问题,使用Kuhn-Munkres(KM)算法求得卸载结果。仿真实验表明,相比已有定价策略,该动态定价策略下VEC服务器和服务车辆的价格均可以根据计算资源供需关系动态调整,从而实现运营商收益最大化;相比已有卸载方案,该方案可以在满足任务时延约束的前提下提高运营商的收益。     

停车边缘计算：车载自组织网络中基于路边停车的任务卸载

为解决车载自组织网络(Vehicle Ad Hoc Neteorks, VANETs)中基础设施建设的不足以及路侧单元(Roadside Uints, RSUs)通信范围受限的问题,提出停车边缘计算的思想,把拥有大量闲置计算资源的路边停放车辆组织成停车簇,令停车簇充当天然边缘计算节点,在RSUs或边缘计算服务器缺失情况下,及时执行周围移动车辆的卸载任务.分析了任务的完成时间,为最大化成功完成的任务数量,设计改进的SAC(Sampling-and-Classification, SAC)算法实现执行任务的停放车辆选择和资源的分配.基于真实城市道路停车调查的模拟实验结果证明,与其他几种任务调度策略相比,本文所提策略具有较高的任务完成率和卸载率.     

基于NOMA-MEC的车联网任务卸载、迁移与缓存策略

在移动边缘计算(MEC)与非正交多路接入(NOMA)技术相结合的车联网系统中,针对用户处理计算密集型和时延敏感型任务时面临的高时延问题,提出了一种基于博弈论和Q学习的任务卸载、迁移与缓存优化策略.首先,对基于NOMA-MEC的车联网任务卸载时延、迁移时延与缓存时延进行建模;其次,采用合作博弈算法获得最优用户分组,以实现...     

基于改进SMDP的车载任务卸载决策算法

针对边缘服务器的负载过重问题,可以将路边空闲车辆以及移动车辆应用虚拟化技术整合成资源池,为时延敏感类任务提供弹性服务;由此建立了一个分组传输的通信系统模型,为降低二进制指数退避算法中的信道碰撞概率,采用基于网络车辆节点的数量来适当调整最小竞争窗口的方法;结合分配资源的时序决策特点,提出车载边缘计算系统中基于改进的半马尔科夫决策过程的计算卸载策略,在制定系统动作的最优策略时,引入带有余弦项的非线性权重因子,对立即收益和未来期望收益进行动态加权,根据贝尔曼方程进行价值迭代,实现系统长期收益的最大化;仿真结果表明,所提策略能有效降低卸载时延,提高系统吞吐量,同时系统的长期收益也有显著的提升。     

车辆边缘计算环境下任务卸载研究综述

计算密集和延迟敏感型车辆应用的出现对车辆设备有限的计算能力提出了严峻的挑战,将任务卸载到传统的云平台会有较大的传输延迟,而移动边缘计算专注于将计算资源转移到网络的边缘,为移动设备提供高性能、低延迟的服务,因此可作为处理计算密集和延迟敏感的任务的一种有效方法.同时,鉴于城市地区拥有大量智能网联车辆,将闲置的车辆计算资源充分利用起来可以提供巨大的资源和价值,因此在车联网场景下,结合移动边缘计算产生了新的计算模式——车辆边缘计算.近年来,智能网联车辆数量的增长和新兴车辆应用的出现促进了对车辆边缘计算环境下任务卸载的研究,本文对现有车辆边缘计算环境下任务卸载研究进展进行综述,首先,从计算模型、任务模型和通信模型三个方面对系统模型进行梳理、比较和分析.然后介绍了最小化卸载延迟、最小化能量消耗和应用结果质量三种常见的优化目标,并按照集中式和分布式两种不同的决策方式对现有的研究进行了详细的归类和比较.此外,本文还介绍了几种常用的实验工具,包括SUMO、Veins和VeinsLTE.最后,本文围绕卸载决策算法复杂度、安全与隐私保护和车辆移动性等方面对车辆边缘计算任务卸载目前面临的挑战进行了总结,并展望了车辆边缘计算环境下任务卸载未来的发展方向与前景.     

基于深度强化学习的车辆边缘计算任务卸载方法

车辆边缘计算允许车辆将计算任务卸载到边缘服务器,从而满足车辆爆炸式增长的计算资源需求。但是如何进行卸载决策与计算资源分配仍然是亟待解决的关键问题。并且,运动车辆在连续时间内进行任务卸载很少被提及,尤其对车辆任务到达随机性考虑不足。针对上述问题,建立动态车辆边缘计算模型,描述为7状态2动作空间的Markov决策过程,并建立一个分布式深度强化学习模型来解决问题。另外,针对离散—连续混合决策问题导致的效果欠佳,将输入层与一阶决策网络嵌套,提出一种分阶决策的深度强化学习算法。仿真结果表明,所提算法相较于对比算法,在能耗上保持了较低水平,并且在任务完成率、时延和奖励方面都具备明显优势,这为车辆边缘计算中的卸载决策与计算资源分配问题提供了一种有效的解决方案。     

面向5G车联网场景的移动任务动态卸载策略研究

由于车辆自身的高速移动性和资源有限性等特征,使得采用传统通信和计算手段的车联网场景无法满足用户日益增长的数据计算需求和体验质量需求。采用5G和边缘计算技术构建的新型车联网架构可以满足以上需求,但由于网络结构的变化,需设计适合新场景下的车辆任务通信和计算策略。针对5G车联网场景下的移动车辆任务动态卸载问题进行研究,提出了对应的动态任务分配策略和卸载调度低时延算法。车辆会根据提出的策略和算法将未完成的计算任务卸载到相应的 MEC 服务器或车辆上,并且计算结果将通过边缘服务器之间的联合通信或直接从被选择接受卸载任务的附近空闲车辆上直接返回给车主。仿真结果表明,所提出的策略和算法在优化卸载延迟方面具有良好的性能,并提高了用户体验质量。     

基于深度强化学习的双层无人机边缘卸载策略

移动边缘计算(mobile edge computing, MEC)已逐渐成为有效缓解数据过载问题的手段, 而在高人流密集的场景中, 固定在基站上的边缘服务器可能会因网络过载而无法提供有效的服务. 考虑到时延敏感型的通信需求, 双层无人机(unmanned aerial vehicle, UAV)的高机动性和易部署性成为任务计算卸载的理想选择, 其中配备计算资源的顶层无人机(top-UAV, T-UAV)可以为抓拍现场画面的底层UAV (bottom-UAV, B-UAV)提供卸载服务. B-UAV搭载拍摄装置, 可以选择本地计算或将部分任务卸载给T-UAV进行计算. 文中构建了双层UAV辅助的MEC系统模型, 并提出了一种DDPG-CPER (deep deterministic policy gradient offloading algorithm based on composite prioritized experience replay)新型计算卸载算法. 该算法综合考虑了决策变量的连续性以及在T-UAV资源调度和机动性等约束条件下优化了任务执行时延, 提高了处理效率和响应速度, 以保证现场观众对比赛的实时观看体验. 仿真实验结果表明, 所提算法表现出了比DDPG等基线算法更快的收敛速度, 能够显著降低处理延迟.     

基于QMix的车辆云计算资源动态分配方法

城市交通智能化和通信技术的进步会产生大量基于车辆的应用,但目前车辆有限的计算资源无法满足车辆应用的计算需求与延迟性约束。车辆云（VC）可以高效地调度资源,从而显著降低任务请求的延迟与传输成本。针对VC环境下任务卸载与计算资源分配问题,提出一个考虑异质车辆和异质任务的计计资源分配算法。对到达的任务构建M/M/1队列模型与计算模型,并定义一个效用函数以最大化系统整体效用。针对环境中车辆地理分布的高度动态系统变化,提出基于双时间尺度的二次资源分配机制（SRA）,使用两个不同时间尺度的资源分配决策动作,对其分别构建部分可观测马尔可夫决策过程。两个决策动作通过执行各自的策略获得的奖励进行连接,将问题建模为两层计算资源分配问题。在此基础上提出基于二次资源分配机制的多智能体算法SRA-QMix求解最优策略。仿真结果表明,与深度确定性策略梯度算法对比,该算法的整体效用值和任务完成率分别提高了70%、6%,对于QMix和MADDPG算法分别应用SRA后的任务完成率分别提高了13%与15%,可适用于动态的计算资源分配环境。     

基于软件定义网络和移动边缘计算的车联网高效任务卸载方案

随着车联网(IoV)中车辆和智能应用数目的增加使计算密集型任务激增,传统架构难以满足用户需求。为解决车联网计算资源不足且分配不均匀、应用时延需求无法满足、任务能耗成本较高的问题,结合移动边缘计算(MEC)和软件定义网络(SDN),设计了一种从宏基站到MEC服务器到车辆的车联网架构中的高效任务卸载方案,并提出一种改进的低复杂度非支配排序遗传算法,优化任务卸载成本和MEC服务器的负载均衡率。实验仿真结果表明,相比于随机卸载,NO-MEC卸载,NO-I卸载,传统NSGA、NSGA-Ⅱ卸载,GA卸载,Q-learning卸载,DQN卸载方案,所提方案有着更低的卸载成本,更优的负载均衡率,得到近似最高的系统效用,能够给车联网中的车辆用户带来更优质的网络服务。     

协同移动边缘计算分层资源配置机制

针对车联网（IoV）中存在大量的车辆卸载任务计算需求,而本地端边缘服务器运算能力有限的问题,提出一种移动边缘计算分层协同资源配置机制（HRAM）。所提算法以多层式的架构合理分配与有效利用移动边缘计算（MEC）服务器的运算资源,减少不同MEC服务器之间的数据多跳转发时延,并优化卸载任务请求时延。首先构建IoV边缘计算系统模型、通信模型、决策模型和计算模型;然后利用层次分析法（AHP）进行多因素综合考虑以确定卸载任务迁移的目标服务器;最后提出动态权值的任务路由策略,调用整体网络的通信能力以缩短卸载任务的请求时延。仿真实验结果表明,HRAM算法相较于任务卸载单层式资源分配（RATAOS）算法和任务卸载多层式资源分配（RATOM）算法,分别降低了40.16%和19.01%的卸载任务请求时延;且所提算法在满足卸载任务最大可容忍时延的前提下,能够满足更多卸载任务的计算需求。     

Securing Parked Vehicle Assisted Fog Computing With Blockchain and Optimal Smart Contract Design

Vehicular fog computing(VFC)has been envisioned as an important application of fog computing in vehicular networks.Parked vehicles with embedded computation resources could be exploited as a supplement for VFC.They cooperate with fog servers to process offloading requests at the vehicular network edge,leading to a new paradigm called parked vehicle assisted fog computing(PVFC).However,each coin has two sides.There is a follow-up challenging issue in the distributed and trustless computing environment.The centralized computation offloading without tamper-proof audit causes security threats.It could not guard against false-reporting,free-riding behaviors,spoofing attacks and repudiation attacks.Thus,we leverage the blockchain technology to achieve decentralized PVFC.Request posting,workload undertaking,task evaluation and reward assignment are organized and validated automatically through smart contract executions.Network activities in computation offloading become transparent,verifiable and traceable to eliminate security risks.To this end,we introduce network entities and design interactive smart contract operations across them.The optimal smart contract design problem is formulated and solved within the Stackelberg game framework to minimize the total payments for users.Security analysis and extensive numerical results are provided to demonstrate that our scheme has high security and efficiency guarantee.