基于深度强化学习的边云协同任务卸载策略

为降低应用程序执行的时延和能耗,针对移动边缘计算环境,提出一种边云协同场景下基于深度强化学习的任务卸载策略。通过建立边云协同架构下的网络模型、通信模型及计算模型,以最小化时延和能耗为系统目标,设计基于深度强化学习的DQN卸载策略,将每个用户产生的任务独立高效地放置在本地、服务器或者云端进行计算,并将计算结果与其它方法进行比较。实验结果表明,相较其它基线算法,该方法能更有效减少任务执行的开销,得到更优的卸载策略。     

基于DQN的无人驾驶任务卸载策略

无人驾驶汽车由于其有限的电池寿命和计算能力,难以在保证续航的前提下满足一些时延敏感任务或密集任务的处理需求。为解决该问题,在移动边缘计算（mobile edge computing,MEC）的背景下,提出了一种基于深度Q网络（deep Q-network,DQN）的无人驾驶任务卸载策略。首先,定义了一个基于任务优先级的车—边—云协同任务卸载模型,其需要通过联合优化车辆计算能力与任务卸载策略以获取系统最小延迟和能耗。由于该问题是个混合整数非线性规划问题,所以分两步对其进行求解—通过数学推导得出了最优车辆计算能力的解析解,之后在其数值固定条件下,基于DQN算法获得了任务最佳卸载策略。最后,综合SUMO、PyTorch和Python等工具建立了仿真模型,比较了DQN算法和其他三种算法在任务负载、MEC服务器计算能力以及能耗权重系数变化情况下的性能,实验结果验证了所提策略的可行性和优越性。     

基于用户激励的共享单车调度策略

针对共享单车的调度问题,在考虑预算限制、用户最大步行距离限制、用户时空需求以及共享单车分布动态变化的情况下,提出一种用户激励下的共享单车调度策略,以达到提高共享单车平台长期用户服务率的目的。该调度策略包含任务生成算法、预算分配算法和任务分配算法。在任务生成算法中,使用长短期记忆（LSTM）网络预测用户未来的单车需求量;在预算分配算法中,采用深度策略梯度（DDPG）算法来设计预算分配策略;任务分配完预算后,需要将任务分配给用户执行,因此在任务分配算法中使用贪心匹配策略来进行任务分配。基于摩拜单车的数据集进行实验,并把所提策略分别与无预算限制的调度策略（即平台不受预算限制,可以使用任意金钱激励用户将车骑行至目标区域）、贪心的调度策略、卡车拖运下的调度策略以及未进行调度的情况进行对比。实验结果表明,与贪心调度策略和卡车托运下的调度策略相比,用户激励下的共享单车调度策略能有效提高共享单车系统中的用户服务率。     

无人机辅助移动边缘计算中的任务卸载算法

无人机（UAV）灵活机动、易于部署，可以辅助移动边缘计算（MEC）帮助无线系统提高覆盖范围和通信质量，但UAV辅助MEC系统研究中存在计算延迟需求和资源管理等挑战。针对UAV为地面多个终端设备提供辅助计算服务的时延问题，提出一种基于双延迟深度确定性策略梯度（TD3）的时延最小化任务卸载算法（TD3-TOADM）。首先，将优化问题建模为在能量约束下的最小化最大计算时延的问题；其次，通过TD3-TOADM联合优化终端设备调度、UAV轨迹和任务卸载比来最小化最大计算时延。仿真实验分析结果表明，与分别基于演员-评论家（AC）、深度Q网络（DQN）以及深度确定性策略梯度（DDPG）的任务卸载算法相比，TD3-TOADM得到的计算时延减小了8.2%以上。可见TD3-TOADM能获得低时延的最优卸载策略，具有较好的收敛性和鲁棒性。     

基于深度Q网络的多目标任务卸载算法

在移动边缘计算（MEC）中,计算资源和电池容量有限的移动设备（MD）可卸载自身计算密集型应用到边缘服务器上执行,这样不仅可以提高MD计算能力,也能降低能耗。然而,不合理的任务卸载决策不但会延长应用完成时间,而且会大量增加能耗,进而降低用户体验。鉴于此,首先分析MD的移动性和任务间的顺序依赖关系,建立动态MEC网络下的以应用完成时间和能源消耗最小为优化目标的多目标任务卸载问题模型;然后,设计求解该问题的马尔可夫决策过程（MDP）模型,包括状态空间、动作空间和奖励函数,并提出基于深度Q网络（DQN）的多目标任务卸载算法（MTOA-DQN）,该算法采用一条轨迹作为经验池的最小单元来改进原始的DQN算法。在多种测试场景下,MTOA-DQN的性能在累积奖励和Cost方面均优于三种对比算法（基于分解的多目标进化算法（MOEA/D）、自适应的DAG任务调度算法（ADTS）和原始的DQN算法）,验证了该算法的有效性和可靠性。     

基于深度Q网络的多目标任务卸载算法

在移动边缘计算（MEC）中,计算资源和电池容量有限的移动设备（MD）可卸载自身计算密集型应用到边缘服务器上执行,这样不仅可以提高MD计算能力,也能降低能耗。然而,不合理的任务卸载决策不但会延长应用完成时间,而且会大量增加能耗,进而降低用户体验。鉴于此,首先分析MD的移动性和任务间的顺序依赖关系,建立动态MEC网络下的以应用完成时间和能源消耗最小为优化目标的多目标任务卸载问题模型;然后,设计求解该问题的马尔可夫决策过程（MDP）模型,包括状态空间、动作空间和奖励函数,并提出基于深度Q网络（DQN）的多目标任务卸载算法（MTOA-DQN）,该算法采用一条轨迹作为经验池的最小单元来改进原始的DQN算法。在多种测试场景下,MTOA-DQN的性能在累积奖励和Cost方面均优于三种对比算法（基于分解的多目标进化算法（MOEA/D）、自适应的DAG任务调度算法（ADTS）和原始的DQN算法）,验证了该算法的有效性和可靠性。     

基于DDPG的边缘计算任务卸载和服务缓存算法

当计算任务被转移到移动边缘计算（MEC）服务器上时,通过服务缓存能够降低获取和初始化服务应用程序的实时时延和带宽成本。此外,体验质量是驱动卸载决策的关键因素,有效利用有限的计算资源能够提升用户满意度。考虑一个边缘服务器帮助移动用户执行一系列计算任务的场景,建立混合整数非线性规划问题,提出一种基于深度确定性策略梯度（DDPG）的算法来联合优化服务缓存位置、计算卸载决策和资源分配,从而提高用户对服务的体验质量,最大化用户使用计算资源所节约的成本。仿真结果表明,该算法在提高用户体验质量和节约成本方面较使用无缓存策略、随机选择策略和无缓存随机选择策略的算法性能更优。     

计算资源受限的移动边缘计算服务器收益优化策略

移动边缘计算（MEC）服务器通过向用户提供计算资源获得收益。对MEC服务器而言,如何在计算资源受限的情况下提高自身收益至关重要,为此提出一种通过优化计算任务执行次序提高MEC服务器收益的策略。首先,将MEC服务器收益最大化问题建模为以任务执行次序为优化变量的优化问题;然后提出了一种基于分支定界法的算法求解任务执行次序。仿真结果表明,采用所提算法获得的MEC服务器平均收益分别比大任务优先（LTF）算法、低延迟任务优先（LLTF）算法和先到先服务（FCFS）算法提高了11%、14%和21%。在保证卸载用户服务质量（QoS）同时,所提策略可以显著提高服务器的收益。     

基于两阶段迭代优化的空天观测资源协同任务规划方法

为提高空天观测资源协同观测能力,基于分而治之框架,提出一种两阶段迭代优化方法以解决空天观测资源协同任务规划问题.第1阶段,根据观测机会和冲突度构造适应度函数,基于适应度将任务分配到合适的子规划中心;第2阶段,子规划中心根据分配到的任务进行资源调度,得到各类观测资源的观测计划,并将资源观测方案和观测收益反馈给第1阶段.第1阶段再根据第2阶段的反馈结果,结合禁忌表策略,对任务分配方案进行迭代调整和更新,直到生成近似最优或满意的任务分配方案和资源观测方案.为验证所提出方法的有效性,开展大量仿真实验.实验结果表明,与最大权重最先分配算法、基于适应度的任务分配算法、基于资源优先度的任务分配算法相比,所提出方法在任务收益率方面提高了2.40%sim14.14%.研究成果可为空天观测资源传感网络的协同管控提供技术支持.     

基于有向无环图的成本-时间优化调度算法

网格计算环境下,基于有向无环图（DAG）的成本-时间优化调度算法运用经济规律把网格用户的任务映射到网格资源中运行。OGS算法考虑了任务间的优先关系,使得任务完成时间最小,但没考虑到在网格环境中所需的成本。Nimrod/G模型中提出基于时间和成本限制下的优化调度算法（DBC）考虑了时间和成本,但没考虑任务间的优先关系。本文综合考虑了成本-时间因素以及任务间的优先关系,在不增加完成时间的基础上,把任务映射到价格便宜的机器上,提出了基于有向无环图的成本-时间优化调度算法。通过仿真表明,相对OGS算法,该算法减少了所需成本。     

基于DQN的多类型拦截装备复合式反无人机任务分配方法

针对当前反无人系统无法有效压制无人机的问题,使用多种拦截装备构建一种新的反无人机方法.传统多目标优化算法无法解决动态的任务分配问题,对此,提出一种基于深度Q网络(DQN)的多类型拦截装备复合式反无人机任务分配模型. DQN模块对任务分配问题进行初期决策.为了提高算法收敛速度和学习效率,该方法未采用下一时刻的状态来预测Q值,而是采用当前时刻的状态来预测Q值,消除训练过程中Q值过估计的影响.之后采用进化算法对决策结果进行优化,输出多个拦截方案.以国内某机场跑道周围区域开阔地为防护对象,构建反无人机系统的任务分配仿真环境,仿真结果验证了所提出方法的有效性.同时,将DQN与Double DQN方法相比,所提出改进DQN算法训练的智能体表现更为精确,并且算法的收敛性和所求解的表现更为优异.所提出方法为反无人机问题提供了新的思路.     

虚拟计算环境中的多机群协同调度算法

基于虚拟计算环境的核心机理,提出由自主调度单元、域调度共同体、元调度执行体为核心的多机群协同系统框架.剖析多机群任务并发运行性能模型,设计了多机群协同调度算法框架,提出最大空闲节点优先、最小网络拥塞优先、最小异构因子优先与最小异构空闲节点优先4种启发式资源选择策略.实验验证了协同调度模型与算法在任务集完成时间与系统平均利用率的测度上的有效性.     

多处理器单调速率任务分配算法性能评价

多处理器任务分配调度算法是一类经典实时调度算法，然而目前研究在如何根据任务集特征选择任务分配算法方面少见指导性原则，不利于提高多处理器任务分配算法的可调度率及使用尽可能少的处理器达到最优调度结果。基于两种多处理器任务调度策略的比较，本文给出划分策略下的多处理器RM调度的可调度条件和任务分配算法夏分析。仿真结果表明，各任务分配算法所需处理器数与任务集总利用率成正比。同时，分析总结出各算法适用范围及如何根据任务集利用率选择合适算法的指导原则。最后结果还表明，实际算法性能与理论性能界存在差异。     

MEC中卸载决策与资源分配的深度强化学习方法

在移动边缘计算（MEC）服务器计算资源有限且计算任务具有时延约束的情况下,为缩短任务完成时间并降低终端能耗,提出针对卸载决策与资源分配的联合优化方法。在多用户多服务器MEC环境下设计一种新的目标函数以构建数学模型,结合深度强化学习理论提出改进的Nature Deep Q-learning算法Based DQN。实验结果表明,在不同目标函数中,Based DQN算法的优化效果优于全部本地卸载算法、随机卸载与分配算法、最小完成时间算法和多平台卸载智能资源分配算法,且在新目标函数下优势更为突出,验证了所提优化方法的有效性。     

面向优先级用户的移动边缘计算任务调度策略

随着移动终端处理的数据量及计算规模不断增加,为降低任务处理时延、满足任务的优先级调度需求,结合任务优先级及时延约束,提出了基于任务优先级的改进min-min调度算法（task priority-based min-min,TPMM）。该算法根据任务的处理价值及任务的数据量计算任务的优先级,结合任务截止时间、服务器调度次数制定资源匹配方案,解决了边缘网络中服务器为不同优先级的用户进行计算资源分配的问题。仿真实验结果表明,该算法可以均衡服务器利用率,并有效降低计算处理的时延,提高服务器在任务截止处理时间内完成任务计算的成功率,相比min-min调度算法,TPMM算法最多可降低78.45%的时延,提高80%的计算成功率;相比max-min调度算法,TPMM算法最多可降低80.15%的时延并提高59.7%的计算成功率;相比高优先级（high priority first,HPF）调度算法,TPMM算法最多降低59.49%的时延,提高57.7%的计算成功率。     

软件定义网络架构下基于流调度代价的数据中心网络拥塞控制路由算法

针对传统数据中心网络极易发生拥塞的问题,提出了在软件定义网络（SDN）的架构下设计基于流调度代价的拥塞控制路由算法加以解决。首先,进行拥塞链路上的大小流区分,并对所有大流的各条等价路径进行路径开销权重的计算,选择权重最小的路径作为可用调度路径;然后,使用调度后路径开销变化量和流占用带宽比例来共同定义流调度代价;最终选择调度代价最小的流进行调度。仿真结果表明,所提算法能在网络发生拥塞时降低了拥塞链路上的负荷,并且与仅进行流路径选择的拥塞控制算法相比,提高了链路利用率,减少了流传输时间,使得网络链路资源得到更好的利用。     

智能建筑室内环境分布式可计算WSN任务调度研究

针对智能建筑室内环境下并行计算的动态任务调度问题,构建了基于分布式CPS思想的无线传感器网络(WSN)模型,并分别设计了基于可计算复杂性的任务分配策略和基于动态调度算法的任务调度策略。通过先将任务分配成若干个子任务,采用多带图灵机输入任务,由合适的计算节点进行计算,形成有向无环图,再按调度优先级排列任务,形成任务调度序列表,依序处理任务,从而达到了将任务分配、调度和执行相结合的目的。实验结果表明该策略可有效减少智能建筑室内环境分布式可计算WSN分布运行时任务之间的通讯时间和等待时间,同时提高了任务调度的成功率,最终优化系统的运行效率。     

空间众包任务的路径动态调度方法

空间众包用于解决带时空约束的线下众包任务,近几年得到了快速发展。任务调度是空间众包的重要研究方向,难点在于调度过程中任务和工作者的动态不确定性。为了高效地进行任务路径动态调度,提出了同时考虑任务和工作者的不确定性的空间众包任务路径动态调度方法,该方法进行了3方面的改进。首先,扩展了调度需要考虑的因素,除了考虑新增任务的时空属性不确定性之外,还考虑了新增工作者的交通方式和时空属性的不确定性。其次,对调度策略进行改进,通过使用聚合调度策略,对动态新增任务先进行聚合处理,随后再进行任务分配和路径优化,相比传统非聚合调度计算时间显著减少。最后,对调度算法进行改进,基于传统遗传算法,将任务分配和路径优化操作迭代进行,相比先进行任务分配再进行路径优化的调度算法,提高了获取最优结果的准确性。此外,文中设计并实现了基于真实地图导航的空间众包任务路径动态调度模拟平台,并基于该平台验证了所提方法的有效性。     

基于生产函数的效用优化云计算资源调度算法

针对云数据中心资源利用率低,云服务提供商收益低等问题,提出一种基于生产函数的云服务提供商收益最大化同时兼顾用户满意度的资源调度算法;该算法将资源调度分两阶段处理,首先合理规划云服务器所有资源,最优化配置资源,然后结合用户请求,云服务代理从资源池选择配置好的资源并分配资源给用户,通过两阶段的算法实现,解决了云数据中心资源利用率低,云服务提供商收益低等问题;最后通过与基于博弈的效用优化算法比较,仿真结果表明,该调度算法具有更好的性能。     

基于流调度选择的DCN动态负载均衡算法

针对数据中心网络(data center network,DCN)动态调度导致的负载不均衡问题,提出了基于流调度选择的动态负载均衡(dynamic load balancing based on flow scheduling selection,DLBFSS)算法。该算法首先计算拥塞链路上各条大流的等价最短路径,并删除不满足流带宽需求的路径;然后计算剩余路径的可用吞吐量,选择可用吞吐量最大的路径作为最优调度路径;最后根据大流的带宽和最优路径的负载定义调度的拥塞概率,将拥塞概率作为大流调度选择的依据。实验结果表明,与传统ECMP（equal-cost multi-path）路由和现有大流调度算法相比,DLBFSS能够减小网络时延,提高流的带宽利用率,保证了更好的负载均衡。