面向异构工业任务高并发计算卸载的深度强化学习算法

进入工业4.0时代,大规模互联分布式智能工业设备产生了海量的具有时延敏感和计算负载差异的异构工业任务,终端侧有限的计算能力难以支持任务的实时高效处理.通过工业无线网络将任务卸载到网络边缘侧服务器进行多接入边缘计算成为解决终端侧算力受限问题的一种有效手段.然而,工业无线网络有限的时频资源难以支持大规模分布式工业设备的高并发任务卸载.本文充分考虑异构工业任务高并发计算卸载中有限时频资源约束和建模难的问题,提出一种基于深度强化学习的动态优先级并发接入算法(Deep Reinforcement Learning-based Concurrent Access Algorithm with Dynamic Priority,CADP DRL).该算法首先分析异构工业任务的时延敏感性和计算负载时变性,为工业设备分配不同的优先级,动态地改变工业设备接入信道进行计算卸载的概率.然后,利用Markov决策过程形式化动态优先级高并发计算卸载问题,并采用深度强化学习方法建立高维状态空间下状态到动作的映射关系.针对动态优先级和并发卸载的多目标决策问题,设计了包含优先级奖励和卸载奖励的复合奖励函数.为保证训练数据的独立同分布,同时提高算法收敛速度,提出了带经验权重的经验回放方法.对比实验结果表明,CADP DRL能够快速收敛,实时响应,在实现最小卸载冲突的情况下为高优先级工业设备提供最高的成功卸载概率保证,性能优于slotted-Aloha、DQN、DDQN和D3QN算法.     

MEC中卸载决策与资源分配的深度强化学习方法

在移动边缘计算（MEC）服务器计算资源有限且计算任务具有时延约束的情况下,为缩短任务完成时间并降低终端能耗,提出针对卸载决策与资源分配的联合优化方法。在多用户多服务器MEC环境下设计一种新的目标函数以构建数学模型,结合深度强化学习理论提出改进的Nature Deep Q-learning算法Based DQN。实验结果表明,在不同目标函数中,Based DQN算法的优化效果优于全部本地卸载算法、随机卸载与分配算法、最小完成时间算法和多平台卸载智能资源分配算法,且在新目标函数下优势更为突出,验证了所提优化方法的有效性。     

Wi-Fi网络下多AP协作边缘计算资源分配策略

近年来, AR/VR、在线游戏、4K/8K超高清视频等计算密集且时延敏感型应用不断涌现, 而部分移动设备受自身硬件条件的限制, 无法在时延要求内完成此类应用的计算, 且运行此类应用会带来巨大的能耗, 降低移动设备的续航能力. 为了解决这一问题, 本文提出了一种Wi-Fi网络多AP (access point)协作场景下边缘计算卸载和资源分配方案. 首先, 通过遗传算法确定用户的任务卸载决策. 随后, 利用匈牙利算法为进行任务卸载的用户分配通信资源. 最后, 根据任务处理时延限制, 为进行任务卸载的用户分配边缘服务器计算资源, 使其满足任务处理时延限制要求. 仿真结果表明, 所提出的任务卸载与资源分配方案能够在满足任务处理时延限制的前提下有效降低移动设备的能耗.     

基于深度Q网络的多目标任务卸载算法

在移动边缘计算（MEC）中,计算资源和电池容量有限的移动设备（MD）可卸载自身计算密集型应用到边缘服务器上执行,这样不仅可以提高MD计算能力,也能降低能耗。然而,不合理的任务卸载决策不但会延长应用完成时间,而且会大量增加能耗,进而降低用户体验。鉴于此,首先分析MD的移动性和任务间的顺序依赖关系,建立动态MEC网络下的以应用完成时间和能源消耗最小为优化目标的多目标任务卸载问题模型;然后,设计求解该问题的马尔可夫决策过程（MDP）模型,包括状态空间、动作空间和奖励函数,并提出基于深度Q网络（DQN）的多目标任务卸载算法（MTOA-DQN）,该算法采用一条轨迹作为经验池的最小单元来改进原始的DQN算法。在多种测试场景下,MTOA-DQN的性能在累积奖励和Cost方面均优于三种对比算法（基于分解的多目标进化算法（MOEA/D）、自适应的DAG任务调度算法（ADTS）和原始的DQN算法）,验证了该算法的有效性和可靠性。     

基于深度Q网络的多目标任务卸载算法

在移动边缘计算（MEC）中,计算资源和电池容量有限的移动设备（MD）可卸载自身计算密集型应用到边缘服务器上执行,这样不仅可以提高MD计算能力,也能降低能耗。然而,不合理的任务卸载决策不但会延长应用完成时间,而且会大量增加能耗,进而降低用户体验。鉴于此,首先分析MD的移动性和任务间的顺序依赖关系,建立动态MEC网络下的以应用完成时间和能源消耗最小为优化目标的多目标任务卸载问题模型;然后,设计求解该问题的马尔可夫决策过程（MDP）模型,包括状态空间、动作空间和奖励函数,并提出基于深度Q网络（DQN）的多目标任务卸载算法（MTOA-DQN）,该算法采用一条轨迹作为经验池的最小单元来改进原始的DQN算法。在多种测试场景下,MTOA-DQN的性能在累积奖励和Cost方面均优于三种对比算法（基于分解的多目标进化算法（MOEA/D）、自适应的DAG任务调度算法（ADTS）和原始的DQN算法）,验证了该算法的有效性和可靠性。     

基于深度强化学习的多数据中心一体化调度优化

多数据中心任务调度策略的目的是把计算任务分配到各个数据中心的不同服务器上,以促进资源利用率和能效的提升,为此提出了基于深度强化学习的多数据中心一体化调度策略。所提策略分为数据中心选择和数据中心内部任务分配两个阶段。在多数据中心选择阶段,整合算力资源以提高总体资源利用率,首先采用具有优先经验回放的深度Q网络（PER-DQN）在以数据中心为节点的网络中获取到达各个数据中心的通信路径;然后计算资源使用成本和网络通信成本,并依据这两个成本之和最小的原则选择最优的数据中心。在数据中心内部任务分配阶段,首先在所选数据中心内部,划分计算任务并遵循先到先服务（FCFS）原则将任务添加到调度队列中;然后结合计算设备状态和环境温度,采用基于双深度Q网络（Double DQN）的任务分配算法获得最优分配策略,以选择服务器执行计算任务,避免热点的产生,并降低制冷设备的能耗。实验结果表明,基于PER-DQN的数据中心选择算法相较于计算资源优先（CRF）、最短路径优先（SPF）路径选择方法的平均总成本分别下降了3.6%、10.0%;基于Double DQN的任务部署算法相较于较轮询调度（RR）、贪心调度（Gree...     

一种基于深度强化学习与概率性能感知的边缘计算环境多工作流卸载方法

移动边缘计算是一种新兴的分布式和泛在计算模式,其将计算密集型和时延敏感型任务转移到附近的边缘服务器,有效缓解了移动终端资源不足的问题,显著减小了用户与计算处理节点之间的通信传输开销。然而,如果多个用户同时提出计算密集型任务请求,特别是流程化的工作流任务请求,边缘计算环境往往难以有效地进行响应,并会造成任务拥塞。另外,受任务负载、电力供给、通信能力的实时变化等不利因素的影响,边缘服务器本身的性能总是处于波动和变化中,从而为保证任务执行效能和用户感知服务效率带来了挑战。针对上述问题,文中提出了一种基于深度Q网络(DQN)与概率性能感知机制的边缘计算环境多工作流调度方法。首先对边缘云服务器的历史性能数据进行概率分析,然后利用获得的性能概率分布数据驱动DQN模型,不断迭代优化,生成多工作流的卸载策略。在实验验证环节,基于边缘服务器位置数据集、性能测试数据和多个科学工作流模板,在反映不同系统负载水平的多个场景下进行了模拟实验。实验结果表明,所提方法在多工作流执行效率方面明显优于传统方法。     

移动边缘计算不确定性任务持续卸载及资源分配方法

移动边缘计算场景中任务的不确定性增加了任务卸载及资源分配的复杂性和难度.鉴于此,提出一种移动边缘计算不确定性任务持续卸载及资源分配方法.首先,构建一种移动边缘计算不确定性任务持续卸载模型,通过基于持续时间片划分的任务多批次处理技术应对任务的不确定性,并设计多设备计算资源协同机制提升对计算密集型任务的承载能力.其次,提出一种基于负载均衡的自适应策略选择算法,避免计算资源过度分配导致信道拥堵进而产生额外能耗.最后,基于泊松分布实现了对不确定任务场景模型的仿真,大量实验结果表明时间片长度减小能够降低系统总能耗.此外,所提算法能够更有效地实现任务卸载及资源分配,相较于对比算法,最大可降低能耗11.8%.     

基于改进深度强化学习的三维环境路径规划

提出一种改进深度强化学习算法(NDQN),解决传统Q-learning算法处理复杂地形中移动机器人路径规划时面临的维数灾难。提出一种将深度学习融于Q-learning框架中,以网络输出代替Q值表的深度强化学习方法。针对深度Q网络存在严重的过估计问题,利用更正函数对深度Q网络中的评价函数进行改进。将改进深度强化学习算法与DQN算法在同样的三维环境下进行仿真实验,从最优路径长度、损失函数值、得到稳定的奖励值、收敛速度等方面进行对比,改进深度强化学习算法比DQN算法得到很大的改善,说明改进的算法比DQN算法寻得了更优的策略。     

基于改进深度强化学习的边缘计算服务卸载算法

在边缘计算（EC）网络中,针对边缘节点计算资源和存储空间有限的问题,提出一种基于改进深度强化学习（DRL）的边缘计算服务卸载（ECSO）算法,以降低节点处理时延和提高服务性能。具体来说,将边缘节点服务卸载问题转化为资源受限的马尔可夫决策过程（MDP）,利用DRL算法解决边缘节点的请求状态转移概率难以精确预测的问题;考虑到边缘节点执行缓存服务的状态动作空间过大,定义新的动作行为替代原有动作,并依据提出的动作筛选算法得到最优动作集合,以改进计算动作行为奖励值的过程,进而大幅度降低动作空间大小,提高算法训练的效率以及收益。仿真实验结果表明,对比原深度Q网络（DQN）算法、邻近策略优化（PPO）算法以及传统的最流行（MP）算法,ECSO算法的总奖励值分别提升了7.0%、12.7%和65.6%,边缘节点服务卸载时延分别降低了13.0%、18.8%和66.4%,验证了算法的有效性,说明ECSO能有效提升边缘计算服务的卸载性能。     

一种基于综合匹配度的边缘计算系统任务调度方法

边缘计算模式满足数据的实时和低功耗处理需求,是缓解当前网络数据洪流实时处理问题的有效方法之一.但边缘设备资源的异构与多样性给任务的调度与迁移带来极大的困难与挑战.目前,边缘计算任务调度研究主要集中在调度算法的设计与仿真,这些算法和模型通常忽略了边缘设备的异构性和边缘任务的多样性,不能使多样化的边缘任务与异构的资源能力深...     

移动边缘计算中基于Lyapunov的任务卸载与资源分配算法

移动边缘计算（MEC）通过将计算和存储资源部署在无线网络边缘,使得用户终端可将计算任务卸载到边缘服务器进行处理,从而缓解终端设备资源受限与高性能任务处理需求之间的冲突。但随着任务卸载规模的不断增加,执行任务所产生的功耗急剧上升,严重影响了MEC系统的收益。建立任务队列动态调度模型,以队列上溢概率为约束构建最大化系统平均收益的资源优化模型。考虑到资源优化问题为不同时隙下的耦合问题,运用Lyapunov优化理论设计一种基于单时隙的资源分配算法,将优化问题转化为用户本地计算资源分配、功率和带宽资源分配以及MEC服务器计算资源分配3个子问题并分别进行求解。仿真结果表明,该算法在满足用户QoS需求的同时能够有效提高MEC系统的时间平均收益。     

面向边缘计算的Storm边缘节点调度优化方法

边缘计算有高实时性和大数据交互处理的需求,边缘异构节点间的调度时耗长、通信时延高以及负载不均衡是影响边缘计算性能的核心问题,传统的云计算平台难以满足新的要求。文中研究了在边缘计算环境下Storm边缘节点的调度优化方法,建立了面向边缘计算的Storm任务卸载调度模型。针对拓扑任务在边缘异构节点间的实时动态分配问题,提出了一种启发式动态规划算法(Inspire Dynamic Programming,IDP),通过改变Storm的Task实例的排序分配方式以及Task实例和Slot任务槽的映射关系实现全局的优化调度;同时,针对拓扑任务的并发度受限于JVM栈深度的缺陷,提出了一种基于蝙蝠算法的调度策略。实验结果表明,与Storm调度算法相比,所提算法在边缘节点CPU利用率指标上平均提升了约60%,在集群的吞吐量指标上平均提升了约8.2%,因此能够满足边缘节点之间的高实时性处理要求。     

面向优先级任务的移动边缘计算资源分配方法

目前移动边缘计算中的资源分配方法,多数按照任务请求计算卸载的时间顺序分配计算资源,未考虑实际应用中任务存在优先级的问题。针对此类情况下的计算需求,提出一种面向优先级任务的资源分配方法。根据任务平均处理价值赋予其相应的优先级,对不同优先级的任务进行计算资源加权分配,在保证高优先级任务获取充足计算资源的同时,减少完成所有任务计算的总时间及能耗,从而提高服务质量。仿真结果表明,与平均分配、按任务数据量分配和本地计算方法相比,该方法的计算时延分别降低83.76%、15.05%和99.42%,能耗分别降低84.78%、17.37%和87.69%。     

Online optimization for scheduling preemptable tasks on IaaS cloud systems

In Infrastructure-as-a-Service (IaaS) cloud computing, computational resources are provided to remote users in the form of leases. For a cloud user, he/she can request multiple cloud services simultaneously. In this case, parallel processing in the cloud system can improve the performance. When applying parallel processing in cloud computing, it is necessary to implement a mechanism to allocate resource and schedule the execution order of tasks. Furthermore, a resource optimization mechanism with preemptable task execution can increase the utilization of clouds. In this paper, we propose two online dynamic resource allocation algorithms for the IaaS cloud system with preemptable tasks. Our algorithms adjust the resource allocation dynamically based on the updated information of the actual task executions. And the experimental results show that our algorithms can significantly improve the performance in the situation where resource contention is fierce.     

基于SAC的多服务移动边缘计算中任务卸载和资源配置算法

多服务移动边缘计算网络环境中的不同服务的缓存要求、受欢迎程度、计算要求以及从用户传输到边缘服务器的数据量是随时间变化的。如何在资源有限的边缘服务器中调整总服务类型的缓存子集,并确定任务卸载目的地和资源分配决策,以获得最佳的系统整体性能是一个具有挑战性的问题。为了解决这一难题,首先将优化问题转换为马尔可夫决策过程,然后提出了一种基于软演员—评论家（soft actor-critic,SAC）的深度强化学习算法来同时确定服务缓存和任务卸载的离散决策以及上下带宽和计算资源的连续分配决策。算法采用了将多个连续动作输出转换为离散的动作选择的有效技巧,以应对连续—离散混合行动空间所带来的关键设计挑战,提高算法决策的准确性。此外,算法集成了一个高效的奖励函数,增加辅助奖励项来提高资源利用率。广泛的数值结果表明,与其他基线算法相比,提出的算法在有地减少任务的长期平均完成延迟的同时也具有良好的稳定性。     

基于改进灰狼优化算法的边缘计算任务调度方法

针对边缘计算在离散制造业数据处理过程中存在的时延和资源消耗大的问题,提出了一种基于改进灰狼优化（IGWO）算法的边缘计算任务调度方法。该方法通过对非线性收敛因子以及动态权重的改进,提高了灰狼算法的优化速度和精度,有效降低了终端设备和边缘端的资源损耗以及任务处理的时延。基于不同数据任务量下的处理时延与资源消耗实验,证明了所提模型的有效性,与3种主流任务调度算法相比,数据处理资源消耗和时延最低。将边缘计算任务调度与智能寻优算法相结合并运用到离散制造业,可以提高设备任务的处理速度、降低能耗,为离散制造业智能化转型提供借鉴。     

基于DDPG的边缘计算任务卸载和服务缓存算法

当计算任务被转移到移动边缘计算（MEC）服务器上时,通过服务缓存能够降低获取和初始化服务应用程序的实时时延和带宽成本。此外,体验质量是驱动卸载决策的关键因素,有效利用有限的计算资源能够提升用户满意度。考虑一个边缘服务器帮助移动用户执行一系列计算任务的场景,建立混合整数非线性规划问题,提出一种基于深度确定性策略梯度（DDPG）的算法来联合优化服务缓存位置、计算卸载决策和资源分配,从而提高用户对服务的体验质量,最大化用户使用计算资源所节约的成本。仿真结果表明,该算法在提高用户体验质量和节约成本方面较使用无缓存策略、随机选择策略和无缓存随机选择策略的算法性能更优。