基于深度强化学习的车辆边缘计算任务卸载方法

车辆边缘计算允许车辆将计算任务卸载到边缘服务器,从而满足车辆爆炸式增长的计算资源需求。但是如何进行卸载决策与计算资源分配仍然是亟待解决的关键问题。并且,运动车辆在连续时间内进行任务卸载很少被提及,尤其对车辆任务到达随机性考虑不足。针对上述问题,建立动态车辆边缘计算模型,描述为7状态2动作空间的Markov决策过程,并建立一个分布式深度强化学习模型来解决问题。另外,针对离散—连续混合决策问题导致的效果欠佳,将输入层与一阶决策网络嵌套,提出一种分阶决策的深度强化学习算法。仿真结果表明,所提算法相较于对比算法,在能耗上保持了较低水平,并且在任务完成率、时延和奖励方面都具备明显优势,这为车辆边缘计算中的卸载决策与计算资源分配问题提供了一种有效的解决方案。     

基于深度强化学习的移动边缘计算资源分配策略

边缘计算作为云计算技术的延伸,可通过增强边缘网络计算能力为用户提供低时延高质量服务。边缘计算中,需要将服务部署于资源受限的边缘服务器,并根据需求合理分配计算资源,以提高边缘服务器的资源利用率。因此,提出基于深度强化学习的服务资源分配方法,利用反正切函数两次映射建立计算资源分配函数,并基于真实数据集进行仿真实验。实验结果表明,该方法能够在保证低时延的情况下,合理分配计算资源。     

移动边缘计算中基于深度强化学习的任务卸载研究进展

移动边缘计算是近年出现的一种新型网络计算模式,它允许将具有较强计算能力和存储性能的服务器节点放置在更加靠近移动设备的网络边缘(如基站附近),让移动设备可以近距离地卸载任务到边缘设备进行处理,从而解决了传统网络由于移动设备的计算和存储能力弱且能量较有限,从而不得不耗费大量时间、能量且不安全地将任务卸载到远方的云平台进行处...     

基于深度强化学习的多用户边缘计算任务卸载调度与资源分配算法

移动边缘计算(Mobile Edge Computing,MEC)把计算和存储等资源部署在网络边缘以满足某些对延迟要求苛刻的应用.用户设备可以通过无线网络将计算任务整体或者部分卸载到边缘服务器执行从而降低延迟和本地耗能,进而获得良好的用户体验.现有传统优化算法在MEC卸载决策和资源分配方面是可行的,但传统优化算法并不很...     

移动边缘计算中基于深度强化学习的计算卸载调度方法

针对移动边缘计算中具有依赖关系的任务的卸载决策问题,提出一种基于深度强化学习的任务卸载调度方法,以最小化应用程序的执行时间。任务调度的过程被描述为一个马尔可夫决策过程,其调度策略由所提出的序列到序列深度神经网络表示,并通过近端策略优化(proximal policy optimization)方法进行训练。仿真实验表明,所提出的算法具有良好的收敛能力,并且在不同环境下的表现均优于所对比的六个基线算法,证明了该方法的有效性和可靠性。     

车载边缘计算中基于深度强化学习的协同计算卸载方案

车载边缘计算(Vehicular Edge Computing,VEC)是一种可实现车联网低时延和高可靠性的关键技术,用户将计算任务卸载到移动边缘计算(Mobile Edge Computing,MEC)服务器上,不仅可以解决车载终端计算能力不足的问题,而且可以减少能耗,降低车联网通信服务的时延.然而,高速公路场景下车...     

一种基于深度强化学习与概率性能感知的边缘计算环境多工作流卸载方法

移动边缘计算是一种新兴的分布式和泛在计算模式,其将计算密集型和时延敏感型任务转移到附近的边缘服务器,有效缓解了移动终端资源不足的问题,显著减小了用户与计算处理节点之间的通信传输开销.然而,如果多个用户同时提出计算密集型任务请求,特别是流程化的工作流任务请求,边缘计算环境往往难以有效地进行响应,并会造成任务拥塞.另外,受...     

基于强化学习的移动边缘计算任务卸载方法

最佳卸载策略直接影响移动计算任务卸载的时延与能耗,因此提出基于强化学习方法的移动边缘计算任务卸载方法。首先对移动设备的计算任务卸载形式展开具体分析,并基于分析结果获取计算任务卸载能量消耗、发射功率、传输速率等相关参数值,以此建立移动边缘计算任务卸载模型。最后基于建立的卸载模型结合Q-Learning算法对计算任务实施强化学习,找出计算任务的最佳卸载策略,从而实现移动边缘计算任务的实时卸载。实验结果表明,使用强化学习方法开展移动边缘计算任务卸载时,卸载能耗低、时延小。     

基于DDPG的边缘计算任务卸载和服务缓存算法

当计算任务被转移到移动边缘计算(MEC)服务器上时,通过服务缓存能够降低获取和初始化服务应用程序的实时时延和带宽成本.此外,体验质量是驱动卸载决策的关键因素,有效利用有限的计算资源能够提升用户满意度.考虑一个边缘服务器帮助移动用户执行一系列计算任务的场景,建立混合整数非线性规划问题,提出一种基于深度确定性策略梯度(DD...     

边缘计算场景下基于强化学习的应用最优部署

为有效解决城市范围内智能公共交通应用程序的布局问题,制定总代价最小化的应用布局优化策略MIN-COST,以降低应用程序部署的总代价为目标,同时满足应用程序服务延时要求。通过提出一个基于深度强化学习技术优化公交边缘应用程序部署的一般框架,可以从历史经验中学习到最优化部署方法,相对于一般启发式算法更加快速。将仿真结果与其它部署策略进行比较,验证了所提策略可以在保证服务时延的基础上有效降低应用程序服务总代价。     

Deep reinforcement learning-based resource allocation and seamless handover in multi-access edge computing based on SDN

Knowledge and Information Systems - With the access devices that are densely deployed in multi-access edge computing environments, users frequently switch access devices when moving, which causes...     

A mechanism for network resource allocation and task offloading in mobile edge computing and network engineering

At present, most of the resource allocation methods in mobile edge computing allocate computing resources according to the time order in which task requests are calculated and unloaded, without considering the priority of tasks in practical applications. According to the computing requirements in such cases, a priority task-oriented resource allocation method is proposed. According to the average processing time of the task execution, the corresponding priority for task is given. The tasks with different priorities are weighted to allocate computing resources, which not only ensures that the high-priority tasks obtain sufficient computing resources, but also reduces the total time and energy consumption to complete the calculation of all tasks, thus improving the quality of service. The experimental results show that the proposed method can achieve better performance.     

协同移动边缘计算分层资源配置机制

针对车联网（IoV）中存在大量的车辆卸载任务计算需求,而本地端边缘服务器运算能力有限的问题,提出一种移动边缘计算分层协同资源配置机制（HRAM）。所提算法以多层式的架构合理分配与有效利用移动边缘计算（MEC）服务器的运算资源,减少不同MEC服务器之间的数据多跳转发时延,并优化卸载任务请求时延。首先构建IoV边缘计算系统模型、通信模型、决策模型和计算模型;然后利用层次分析法（AHP）进行多因素综合考虑以确定卸载任务迁移的目标服务器;最后提出动态权值的任务路由策略,调用整体网络的通信能力以缩短卸载任务的请求时延。仿真实验结果表明,HRAM算法相较于任务卸载单层式资源分配（RATAOS）算法和任务卸载多层式资源分配（RATOM）算法,分别降低了40.16%和19.01%的卸载任务请求时延;且所提算法在满足卸载任务最大可容忍时延的前提下,能够满足更多卸载任务的计算需求。     

移动边缘计算环境下的动态资源分配策略

在通讯设备爆炸式增长的时代,移动边缘计算作为5G通讯技术的核心技术之一,对其进行合理的资源分配显得尤为重要。移动边缘计算的思想是把云计算中心下沉到基站部署(边缘云),使云计算中心更加靠近用户,以快速解决计算资源分配问题。但是,相对于大型的云计算中心,边缘云的计算资源有限,传统的虚拟机分配方式不足以灵活应对边缘云的计算资源分配问题。为解决此问题,提出一种根据用户综合需求变化的动态计算资源和频谱分配算法(DRFAA),采用"分治"策略,并将资源模拟成"流体"资源进行分配,以寻求较大的吞吐量和较低的传输时延。实验仿真结果显示,动态计算资源和频谱分配算法可以有效地降低用户与边缘云之间的传输时延,也可以提高边缘云的吞吐量。     

基于边缘计算的新型任务卸载与资源分配策略

针对移动边缘计算（MEC）中密集型任务卸载时，系统开销较大和延时抖动明显的问题，提出一种新型资源分配策略。首先在系统时延约束下，分析了系统任务执行开销与终端设备的资源分配机制；其次建立了基于计算卸载和任务分配的联合凸优化目标；最后采用拉格朗日乘子法进行迭代更新得到最优解。仿真结果表明，所提任务卸载与资源分配方案在保证用户服务质量的同时降低了任务执行开销，并有效提升了MEC系统性能。     

Service placement strategy for joint network selection and resource scheduling in edge computing

The Journal of Supercomputing - In the edge computing, service placement refers to the process of installing service platforms, databases, and configuration files corresponding to computing tasks...     

无线供能协作计算网络中的时延最小化资源分配方案

在单专用能量站为多个用户无线供能的场景下,为缩短任务处理时延,设计了一种新型多用户协作计算方案。建立了关于匹配决策和资源分配的优化问题,在用户间一对一匹配情况下提出了一种基于交替优化和匈牙利算法的高性能求解方案和一种基于重构线性化方法的低复杂度求解方案;针对一对多匹配情况提出了一种改进的贪婪算法。实验结果表明,在用户间一对一匹配时所提方案能够较对比方案降低最多12.6%的任务处理时延;一对多匹配情况下所提方案节省了5%的任务处理时延,即所提方案能有效保障用户端的时延需求。     

Energy-aware allocation for delay-sensitive multitask in mobile edge computing

With lower network latency and powerful hardware, mobile edge computing (MEC) is effective for computation-intensive and delay-sensitive tasks. The rising energy and low-latency demands of mobile applications for MEC pose challenges to task allocation. In this work, we consider computation offloading in MEC that is composed of a set of mobile devices, each with multiple tasks to offload to a nearby MEC server, with both single and multiple access points (APs). With multiple APs deployed, each mobile device can directly communicate with one or more APs, and their tasks can offload to different MEC servers that are within direct communication range. By considering binary computation offloading mode and limited subchannels, we formulate the multitask allocation problem as an integer programming problem, with the objective of minimizing the total energy consumption of all mobile devices while meeting deadline requirements. To solve this complicated problem, we propose efficient algorithms for single and multiple APs, and analyze related properties, including the approximation ratio and complexity. Experiments show that the algorithm can find high-quality solutions in a short time.

     

改进GA的边缘计算任务卸载与资源分配策略

针对现有边缘计算计算卸载算法存在的延迟较大且负载不均衡的问题,提出一种移动边缘计算中基于改进遗传算法的计算卸载与资源分配算法.基于提出的移动边缘计算网络构建系统模型,其中包括能耗、平均服务延迟、执行时间以及负载均衡模型.以能耗、延迟、负载均衡最小化为优化目标,利用改进的遗传算法进行求解,其中采用染色体一维表现形式、交叉和变异算子提高算法的性能.利用iFogSim和Google集群对所提算法进行模拟仿真实验,结果表明,算法种群数量和最大迭代次数的合理值分别是60和25,所提算法得到的计算卸载和资源分配策略在能耗、负载均衡、延迟和网络使用率方面的表现均优于其它算法.