基于MAS协同的动态资源优化调度策略研究*

目前,围绕着网格中的资源调度方法,虽然已提出了各种调度算法,但是都不能很好地适应网格环境下的自治性、动态性、分布性和异构性等特征。针对动态计算网格资源调度问题,基于多智能体协同技术和市场博弈机制,对计算网格资源分配技术进行了深入研究,提出了能够反映供求关系的基于计算经济机制的网格资源调度模型,建立了消费者的效用函数,给出了资源调度的动态博弈算法。仿真实验说明资源利用率比传统算法好,整个资源的供需合理、负载均衡。     

Kubernetes异构资源细粒度调度策略的设计与实现

在异构资源环境中高效利用计算资源是提升任务效率和集群利用率的关键。Kuberentes作为容器编排领域的首选方案,在异构资源调度场景下调度器缺少GPU细粒度信息无法满足用户自定义需求,并且CPU/GPU节点混合部署下调度器无法感知异构资源从而导致资源竞争。综合考虑异构资源在节点上的分布及其硬件状态,提出一种基于Kubernetes的CPU/GPU异构资源细粒度调度策略。利用设备插件机制收集每个节点上GPU的详细信息,并将GPU资源指标提交给调度算法。在原有CPU和内存过滤算法的基础上,增加自定义GPU信息的过滤,从而筛选出符合用户细粒度需求的节点。针对CPU/GPU节点混合部署的情况,改进调度器的打分算法,动态感知应用类型,对CPU和GPU应用分别采用负载均衡算法和最小最合适算法,保证异构资源调度策略对不同类型应用的正确调度,并且在CPU资源不足的情况下充分利用GPU节点的碎片资源。通过对GPU细粒度调度和CPU/GPU节点混合部署情况下的调度效果进行实验验证,结果表明该策略能够有效进行GPU调度并且避免资源竞争。     

无线通信网络链路资源分布式智能调度算法

为高效调度无线通信网络内抗干扰链路资源,降低网络干扰,提高网络容量,本文提出了以考虑干扰环境为前提的分布式智能调度算法,并进行了仿真分析,结果表明,分布式智能调度算法可确保实时操作性,网络容量性能良好;迭代次数明显少于粒子群算法,且不受网络规模扩大影响;基于不同卷积核,分布式智能调度算法于不同感知范围内都可快速准确学习...     

一种基于蚁群算法的网格任务调度方法

网格资源具有动态变化,广域分布及系统异构的特性,如何分配调度这些资源成为网格计算研究领域一个重要研究课题。国内外在网格任务调度研究上已经做了大量工作,但是这些算法大多是基于计算网格的,不能很好的适应服务网格环境下存在任务相关性的调度,同时在适应网格的动态性、异构性上也存在不足。针对目前网格调度机制存在的问题,提出了一种基于蚁群算法的服务网格任务动态调度方法,仿真实验结果表明该算法具有较好的性能和自适应性。     

面向边缘计算的Storm边缘节点调度优化方法

边缘计算有高实时性和大数据交互处理的需求,边缘异构节点间的调度时耗长、通信时延高以及负载不均衡是影响边缘计算性能的核心问题,传统的云计算平台难以满足新的要求。文中研究了在边缘计算环境下Storm边缘节点的调度优化方法,建立了面向边缘计算的Storm任务卸载调度模型。针对拓扑任务在边缘异构节点间的实时动态分配问题,提出了一种启发式动态规划算法(Inspire Dynamic Programming,IDP),通过改变Storm的Task实例的排序分配方式以及Task实例和Slot任务槽的映射关系实现全局的优化调度;同时,针对拓扑任务的并发度受限于JVM栈深度的缺陷,提出了一种基于蝙蝠算法的调度策略。实验结果表明,与Storm调度算法相比,所提算法在边缘节点CPU利用率指标上平均提升了约60%,在集群的吞吐量指标上平均提升了约8.2%,因此能够满足边缘节点之间的高实时性处理要求。     

基于强化学习的智能I/O调度算法

利用机器学习方法解决存储领域中若干技术难题是目前存储领域的研究热点之一。强化学习作为一种以环境反馈作为输入、自适应环境的特殊的机器学习方法,能通过观测环境状态的变化,评估控制决策对系统性能的影响来选择最优的控制策略,基于强化学习的智能RAID控制技术具有重要的研究价值。本文针对高性能计算应用特点,将机器学习领域中的强化学习技术引入RAID控制器中,提出了基于强化学习的智能I/O调度算法RL-scheduler,利用Q-学习策略实现了面向并行应用的自治调度策略。RL-scheduler综合考虑了调度的公平性、磁盘寻道时间和MPI应用的I/O访问效率,并提出多Q-表交叉组织方法提高Q-表的更新效率。实验结果表明,RL-scheduler缩短了并行应用的平均I/O服务时间,提高了大规模并行计算系统的I/O吞吐率。     

计算网格中基于时间均衡的并行粗粒度任务调度算法

考虑网格资源异构、自治、动态等特性,讨论本地用户具有强占优先权情况下的任务调度问题,提出了TBBS(Time-Balancing Based Scheduling Algorithm)算法.建立调度优化模型,以期望完成时间最小为目标选择执行任务的最佳资源组合.以时间均衡策略将任务分解并调度到资源上执行,减少了子任务同步时因等待而产生的延时,获得较好的并行计算性能.采用重复调度策略,适应计算网格中资源的特性.     

一种批优化调度策略的实时异构系统的集成动态调度算法

针对实时异构多任务调度的特点,提出了软、硬实时任务形式化描述非精确计算的统一任务模型,在此基础上,提出了一种基于批优化调度策略的实时异构系统的集成动态调度算法.该算法以启发式搜索为基础,引入软实时任务服务质量降级策略,在每次扩充当前局部调度时,按制定的规则选取一批任务,计算其在各处理器上运行的目标函数,采用指派问题解法对任务优化分配.模拟实验表明,该算法与同类算法相比,提高了调度成功率.     

基于Spark的分布式大数据机器学习算法

对于大数据而言,机器学习技术是不可或缺的;对于机器学习而言,大规模的数据可以提升模型的精准度。然而复杂的机器学习算法从时间和性能上都急需分布式内存计算这种关键技术。Spark分布式内存计算可以实现算法的并行操作,有利于机器学习算法处理大数据集。因此本文提出在Spark分布式内存环境下实现非线性机器学习算法,其中包括多层可变神经网络、BPPGD SVM、K-means,并在实现的基础上进行数据压缩、数据偏向抽样或者数据加载等方面的优化。为了实现充分配置资源批量运行脚本,本文也实现SparkML调度框架来调度以上优化算法。实验结果表明,优化后的3种算法平均误差降低了40%,平均时间缩短了90%。     

物联网环境下具有顺序约束关系的静态任务表调度算法

针对物联网异构调度环境下并行计算的静态任务调度问题,提出了一种基于最早完成时间策略改变调度顺序的表调度算法HDPTS。该算法针对现有表调度算法在调度前不能准确地确定调度顺序的问题,在IHEFT算法的基础上添加了一个动态优先级调度策略,当节点的前驱任务都已经完成调度任务时,就改变该节点的调度优先级。任务优先级的计算在所有前驱任务到达这个任务的最晚完成时间与所有资源上最大可以使用时间之间取最大值的基础上,同时考虑到分配到各个资源上的任务对后继任务的影响和资源上的负载情况,以及上行权重的计算值和对出口任务的影响,使得优先级计算更加合理,能够根据任务分配动态合理改变任务调度顺序。通过随机生成一个算例进行测试,结果表明HDPTS比IHEFT、HEFT在调度长度方面减少14.29%;对大量随机产生的特定结构的有向无环图(DAG)进行测试,测试结果显示HDPTS算法比IHEFT、HEFT和LDCP算法更有效。     

云计算资源的动态随机扰动的粒子群优化策略

云计算环境中的资源具有动态性和异构性,大规模任务资源分配的目标是最小化完成时间和资源占用,同时具有尽可能好的负载均衡,这是一个非确定性多项式（NP）问题。借鉴智能群体算法的优点,提出基于改进的粒子群优化（PSO）算法构建混合式群体智能调度策略——动态随机扰动的PSO策略（DRDPSO）。首先,将PSO的惯性权重常数修改为变量,实现对求解过程收敛速度的合理控制;其次,缩小每次迭代的搜索范围,在保留候选最优集合的前提下减少无效搜索;然后,引入选择操作,筛选出优质个体并传递到下一代;最后,设计随机扰动,提高候选解的多样性,在一定程度上避免了局部最优陷阱。在CloudSim平台上进行了两类仿真测试,结果表明,处理同构任务时,在大部分情况下DRDPSO的指标都优于模拟退火遗传算法（SAGA）和遗传算法（GA）+PSO算法,总执行时间比SAGA减少13.7%~37.0%,比GA+PSO减少13.6%~31.6%;其资源耗费比SAGA减少9.8%~17.1%,比GA+PSO减少0.6%~31.1%;其迭代次数比SAGA减少15.7%~60.2%,比GA+PSO减少1.4%~54.7%;其负载均衡度比SAGA减小8.1%~18.5%,比GA+PSO减少2.7%~15.3%,且波动幅度最小。处理异构任务时,三种算法表现出相似的规律：CPU型任务的总执行时间最多,混合型任务次之,IO型任务最少,DRDPSO的综合指标最好,较为适合处理多种类型的异构任务,而GA+PSO算法适合快速求解混合型任务,SAGA则适合快速求解IO型任务。所提DRDPSO在处理较大规模的同构和异构任务时,能够较为明显地缩短总的任务执行时间,不同程度地提高资源利用率,并适当兼顾计算节点的负载均衡。     

分布式训练异构任务调度算法研究

分布式机器学习中的工作结点在训练过程中经常需要处理异构任务,但任务发布者可能无法根据有效的先验知识确定边缘服务器集群中哪些是处于训练状态的工作结点。针对边缘服务器集群无法同时满足训练性能与服务质量最大化的问题,对异构任务调度算法进行了研究。首先在集群资源约束下分析了分布式训练收敛性能的影响因素;其次建立了最大化训练性能的优化目标;最后转化为多维多选择背包问题进行求解。仿真结果表明,所提异构任务调度算法能够在保证服务质量的同时,最大化分布式训练性能。     

云计算中基于共享机制和群体智能优化算法的任务调度方案

为了提高云计算中虚拟机(VM)的利用率并降低任务的完成时间,提出了一种融合共享机制的混合群智能优化算法,实现云任务的动态调度。首先,将虚拟机调度编码为蜜蜂、蚂蚁和遗传个体。然后,利用人工蜂群算法(ABC)、蚁群算法(ACO)和遗传算法(GA)分别在各自邻域内寻找最优解。最后,通过一个共享机制使3种算法定期交流各自搜索到的解,并将获得的最佳解作为当前最优解进行下一次迭代过程,以此来加速算法收敛并提高收敛精度。通过CloudSim进行了一个云任务调度的仿真实验,结果表明提出的混合算法能够合理有效地调度任务,在任务完成时间和稳定性方面具有优越的性能。     

基于多QoS属性的分类优化调度算法

实现用户的服务质量（Qos）是网格计算中力求达到的重要目标,网格资源的分布性、异构性、动态性等特征使网格环境下以服务质量为指导的资源调度成为一个复杂的问题,尤其是在用户的任务具有多种QoS属性的情况下。该文利用经济模型研究网格QoS控制的资源分配问题。以效用最大化为目标通过综合效用函数量化服务质量,设计了在时间和费用受限情况下对任务进行分类的优化调度算法,该调度算法满足用户多QoS属性。仿真实验显示了该算法的有效性。     

求解不相关并行机调度问题的十进制多目标灰狼算法

针对不相关并行机调度问题,面向降低能源消耗和减少完工时间的目标,提出一种更高效的基于十进制整数编码的多目标灰狼算法.求解时,采用将资源配置与作业排序相结合的十进制整数编码方式,设计了针对多目标离散调度问题的两阶段位置更新机制.同时引入了N S GA-Ⅱ的精英保留策略,提高了算法的寻优能力,应用最大迭代次数停止准则结束循环并保留最优解.最后,通过数值实验与有代表性的前沿算法进行仿真对比,以验证所提算法的可行性与有效性.     

一种异构环境下的基于MapReduce任务调度改进机制

针对在异构环境下采用现有MapReduce任务调度机制可能出现各计算节点间数据迁移和系统资源分配难以管理的问题, 提出一种动态的任务调度机制来改善这些问题。该机制先根据节点的计算能力按比例放置数据, 然后通过资源预测方法估计异构环境下MapReduce任务的完成时间, 并根据完成时间计算任务所需的资源。实验结果表明, 该机制提高了异构环境下任务的数据本地性比例, 且能动态地调整资源分配, 以保证任务在规定时间内完成, 是一种有效可行的任务调度机制。     

基于强化学习的卫星网络资源调度机制

与传统同步轨道通信卫星(GEO)相比,以SpaceX、Starlink、O3b等为代表的新一代中低轨卫星互联网星座具备广域覆盖、全时空互联、多星协同等显著优势,已成为当今世界各国研究的焦点之一。传统卫星资源调度方法主要研究单颗GEO卫星下的资源调度问题,难以满足以多星协同、联合组网、海量用户为特征的低轨卫星星座的资源调度需求。为此,构建了基于用户满意度的多星协同智能资源调度模型,提出了一种基于强化学习的卫星网络资源调度机制IRSUP。IRSUP针对用户服务定制的个性化需求,设计了用户服务偏好智能优化模块;针对多星资源联合优化难题,设计了基于强化学习的智能调度模块。模拟仿真结果表明:IRSUP能有效提高资源调度合理性、链路资源利用率和用户满意度等指标,其中业务容量提升30%～60%,用户满意度提升一倍以上。     

Xen虚拟机资源调度优化算法

针对Xen虚拟化平台中虚拟机资源分配不合理的问题,提出了两种资源调度优化算法,即细粒度优化算法和粗粒度优化算法.细粒度优化算法主要解决单个物理节点上虚拟机资源分配不合理问题,能够根据物理节点上运行的各虚拟机的资源利用情况来调整资源分配量,适当增加利用率较高的虚拟机的资源,减少资源利用率低的虚拟机的资源,从而优化资源分配,提高资源利用效率,避免不必要的虚拟机迁移.粗粒度优化算法是针对集群中多个物理节点之间虚拟机负载不均衡问题而提出的.该算法结合粒子群优化技术,选择将集群系统中热点物理机上的部分虚拟机迁移到最适合的冷点物理机上,从而避免高载物理机宕机.实验结果表明,这两种资源调度优化算法能够有效解决虚拟机资源分配不合理的问题,具有较好的适用性和应用前景.     

云计算环境下资源调度系统设计与实现

在云计算环境下,对开放的网络大数据库信息系统中的数据进行优化调度,提高数据资源的利用效率和配置优化能力;传统的资源调度算法采用资源信息的自相关匹配方法进行资源调度,当数据传输信道中的干扰较大及资源信息流的先验数据缺乏时,资源调度的均衡性不好,准确配准度不高;提出一种基于云计算资源负载均衡控制和信道自适应均衡的资源调度算法,并进行调度系统的软件开发和设计;首先构建了云计算环境下开放网络大数据库信息资源流的时间序列分析模型,采用自适应级联滤波算法对拟合的资源信息流进行滤波降噪预处理,提取滤波输出的资源信息流的关联维特征,通过资源负载均衡控制和信道自适应均衡算法实现资源调度改进;仿真结果表明,采用资源调度算法进行资源调度系统的软件设计,提高了资源调度的信息配准能力和抗干扰能力,计算开销较小,技术指标具有优越性。