云计算环境下多DAG调度的资源分配进化算法

现有多DAG调度研究主要在多个DAG共享资源调度的时间最小化、公平性最大化、吞吐量最大化等问题方面提出了相关的解决方案,然而,现有的方法还不能很好地解决云计算环境下多DAG共享资源调度的资源分配优化问题.为此,首先分析讨论了一组多DAG共享云计算资源调度中的多DAG数量、属性结构分布特点与资源需求量之间的关系,并在此基础上提出了基于资源需求强度预测变异方法的进化算法EFRD,有效地解决了云计算环境下多DAG共享资源调度的资源分配优化问题,既保证了多DAG的调度执行时间最小化,也避免了资源的浪费.实验表明,EFRD算法能够有效地收敛到最优解.     

一种基于DAG的网络流量调度器

在如今的数据中心中,各种分布式任务往往会对各种不同的资源进行竞争,特别是网络资源.如果没有有效的网络调度,那么这种竞争就会降低整个数据中心的运行效率.以往的网络资源调度研究由于忽视了任务里计算与网络需求之间的具体关系,对于任务性能的提升十分有限.因此,旨在探索如何通过网络调度来缩短数据中任务的完成时间(job completion time, JCT),从而提升数据中心的整体效率.通过对基于有向无环图(directed acyclic graph, DAG)的分布式任务的深度分析,发现可以在降低它们的网络占用的同时,却不影响它们的JCT.根据这个发现,提出了一个利用计算图来加速任务执行的网络调度器JIT.为了实现JIT,首先将调度问题建模成为一个整数线性规划问题(integer linear programming, ILP),然后证明了这个ILP可以通过一个等价的线性规划模型(linear programming, LP)来快速求解.此外,通过一些合理的简化,将求解时间降低到了1s.与其他调度器的比较实验结果说明了JIT可以取得1.55倍的整体加速效果,从而有效提升数据中心的工作效率.     

基于量子粒子群优化的DAG并行任务调度研究*

任务调度是网络并行计算系统的核心问题之一。在有向无环图(DAG)描述问题的基础上,提出了一种进行并行任务调度的量子粒子群优化算法。首先对DAG并行任务调度问题作出定义,并给出了优化问题的目标;然后分别讨论了问题的编码表示、解码方案、位置向量的计算方法、离散问题连续化、算法的总体流程等;最后给出算法的仿真实验情况及分析,实验结果表明,该算法有良好的全局寻优性能和快捷的收敛速度,调度效果优于遗传算法和粒子群优化算法。     

基于异构Flink集群的节点优先级调度策略

Flink流处理系统默认的任务调度策略在一定程度上忽略了集群异构和节点可用资源,导致集群整体负载不均衡。研究分布式节点的实时性能和集群作业环境,根据实际作业环境的异构分布情况,设计结合异构Flink集群的节点优先级调整方法,以基于Ganglia可扩展分布式集群资源监控系统的集群信息为依据,动态调整适应当前作业环境的节点优先级指数。基于此提出Flink节点动态自适应调度策略,通过实时监测节点的异构状况,并在任务执行过程中根据实时作业环境更新节点优先级指数,为系统任务找到最佳的执行节点完成任务分配。实验结果表明,相比于Flink默认的任务调度策略,基于节点优先级调整方法的自适应调度策略在WorldCount基准测试中的运行时间约平均减少6%,可使异构Flink集群在保持集群低延迟的同时,节点资源利用率和任务执行效率更高。     

基于选择性复制前驱任务的DAG调度算法

针对异构环境下相关任务的静态调度问题,以最小化调度长度为主要目标,结合表调度与基于复制的调度思想提出了选择性任务复制调度算法.在任务调度过程中,利用处理器的空闲时间,通过有选择地复制能提前当前任务开始执行时间的父任务来减少任务之间信息传递的通信延迟,有利于后续任务的及时调度,从而缩短整个任务图的并行完成时间.实验结果表明,文中算法在通信量比较大的情况下在时间上优于复杂度相同的HEFT,HNDP及DDS算法,且随着任务图中通信时间/计算时间比值的增加,其优越性也越来越明显.     

异构Spark集群数据倾斜修正调度策略

异构Spark集群存在木桶效应,不合理的并行度导致任务分配与工作节点计算能力的适配性较差,进而影响集群计算效率和资源利用率。针对这一问题,首先建立模型,分析数据分布、并行度参数和节点任务分配的耦合关系,提出算法的优化目标,设计异构Spark集群的数据倾斜修正调度策略DSCS,包括并行度预估算法、数据倾斜修正算法和异构节点任务分配算法。预估算法对并行度进行先期设定,数据倾斜修正算法根据首个计算阶段的统计信息进行数据重新划分和并行度修正,由异构节点任务分配算法对集群不同计算能力的工作节点进行合理的任务分配,从而提高数据计算量与节点计算能力的适配性,优化Spark集群的整体性能。实验结果表明：在不同作业类型、不同数据集条件下,算法均取得了一定的性能提升,并能有效减少工作节点外存溢写的概率。     

基于直接后继节点完成时间的异构调度算法

分布式环境下的异构计算系统（HCS）是大数据时代进行数据密集型计算不可或缺的,一个有效的任务调度算法可以提高整个异构计算系统的效率。在对异构环境下的任务调度进行有向无环图（DAG）建模的基础上,提出基于直接后继节点完成时间的异构调度算法（HSFT）。在计算开销和通信开销差异度较大的异构环境中,考虑两者之间的平衡,采用更为合理的以计算均值与标准方差的乘积和通信权值与任务节点出度的比值作为优先权值计算方法,并在考虑最快完成时间（EFT）的基础上,将直接后继节点完成时间（SFT）用于处理器分配策略。实验结果表明,HSFT在不增加算法时间复杂度的情况下,比HEFT、SDBATS、PEFT等算法有更短的调度长度（makespan）、更优的调度长度比和效率。     

故障场景下的边缘计算DAG任务重调度方法

边缘计算将计算和存储资源部署在靠近数据源的网络边缘,并高效调度用户卸载的任务,从而极大地提升了用户的服务体验(Quality of Experience,QoE).但是,边缘计算缺乏可靠的基础设施保护,服务器节点或通信链路的突发故障可能会导致服务失败.为此,建立了边缘计算中的计算节点和通信链路故障模型,并针对依赖型用户任务的调度,提出了资源故障场景下的任务重调度算法DaGTR(Dependency-aware Greedy Task Rescheduling).DaGTR包括两种子算法,即DaGTR-N和DaGTR-L,分别用于处理节点和链路故障事件.DaGTR能够感知任务的数据依赖关系,并基于贪心方法对所有受故障影响的用户任务进行重调度,以保证每个任务的成功执行.仿真结果显示,所提算法能够有效避免节点或链路故障导致的任务失败,提高了资源故障情况下任务的成功率.     

异构分布式环境下多DAG工作流的混合调度策略

关于多个DAG工作流在异构分布式环境下调度的研究近来有了新的进展,也解决了一些问题,但现阶段还没有考虑和解决根据不同类型DAG的需求按优先级进行分类,以及对不同时间到达的多个不同优先级DAG进行调度的问题.为解决这些问题,针对各用户对DAG工作流的QoS需求的不同,在对不同用户的DAG工作流进行优先级划分的基础上,首先提出了一种新的调度模型,并改进了已有的公平调度算法,解决在不同时间上被提交的具有相同优先级的多个DAG工作流之间调度的公平性问题.为了提高资源利用率和高优先级DAG尽可能小地受低优先级DAG的影响,又提出了一种适用于多个不同优先级DAG之间调度的Backfill算法.在新的系统模型和这两种算法的基础上,提出了一种混合调度策略.实验结果表明,这种混合调策略能够兼顾不同时间到达的多个不同类型DAG调度需求和资源利用率的改善.另外,通过实验发现了关于两个DAG调度所特有的"拖尾"规律,具有进一步研究和应用的价值.     

异构Hadoop集群下的负载自适应反馈调度策略

随着基于Hadoop平台的大数据技术的不断发展和实践的深入,Hadoop YARN资源调度策略在异构集群中的不适用性越发明显。一方面,节点资源无法动态分配,导致优势节点的计算资源浪费、系统性能没有充分发挥;另一方面,现有的静态资源分配策略未考虑作业在不同执行阶段的差异,易产生大量资源碎片。基于以上问题,提出了一种负载自适应调度策略。监控集群执行节点和提交作业的性能信息,利用实时监控数据建模、量化节点的综合计算能力,结合节点和作业的性能信息在调度器上启动基于相似度评估的动态资源调度方案。优化后的系统能够有效识别集群节点的执行能力差异,并根据作业任务的实时需求进行细粒度的动态资源调度,在完善YARN现有调度语义的同时,可作为子级资源调度方案架构在上层调度器下。在Hadoop 2.0上实现并测试该策略,实验结果表明,作业的自适应资源调度策略显著提高了资源利用率,集群并发度提高了2到3倍,时间性能提升了近10%。     

在异构系统上基于权重和复制的调度算法

动态电压和频率扩展技术（DVFS）的发展使异构系统可以实现低功耗,然而DVFS通过降低处理器的执行频率来降低功耗,大大增加了处理器临时故障风险,应用的可靠性受到极大威胁。针对先前算法在任务调度过程中容易出现调度失败的问题,提出一种基于权重和复制的调度算法（SAWR）,以在异构系统上完成应用调度,满足并行应用的可靠性目标,同时降低系统功耗。仿真结果表明,与先前的算法相比,所提算法可以实现良好的性能。     

基于DAG图解-重构的机群系统静态调度算法

机群系统静态任务调度是NP-完全问题,通常的算法是通过一些启发式算法得到多项式次优 解.该文提出的图解-子图重构算法实现了对分布在有向无环图(directed acyclic graph, 简称DAG)上的并行任务的快速有效调度.该算法的复杂性为O(log^|V|×(|V|+| E|)),采用递归方法实现了对任务图的有效分解和子图重构,生成任务群,完成任务调度,并 且初步实现了对处理机的优化.通过实例分析以及与其他启发式调度算法的性能比较,证明该 算法是一种快速、有效、可     

经济模式下基于有向无环图的优化调度算法设计

Buyya提出的费用-时间优化算法运用经济规律把网格用户的任务映射到网格资源,但没有考虑任务间的优先关系。本文综合考虑时间、费用以及任务间的优先关系等诸多QoS需求,提出了基于有向无环图的优化调度算法。通过仿真实例,论证了该算法的优越性。     

基于主机性能度量的异构集群作业调度算法

传统经典作业度算法在集群应用中实现简单、执行效率高,但在异构集群环境下由于缺乏在线节点运行状态动态反馈能力和负载均衡能力,降低了计算资源利用率和系统吞吐率.为解决上述问题,设计了一种在异构集群环境下基于主机性能度量的作业负载均衡调度算法,该算法通过收集集群中在线节点的状态信息和作业响应时间遴选出可信节点集合,计算出各可...     

异构分布式系统中一种新型主副版本调度算法

针对异构分布式系统中处理器数量相对较少时优先级约束条件带来的副版本调度易失败问题，提出一种新型高可靠性主副版本调度算法（HRPB）。任务模型以有向无环图（DAG）表示，该算法共计调度主、副两个版本的任务。在任务优先级排序阶段，根据任务执行时间及截止时限来制定新指标平均最晚开始时间（ALST）进行排序；在任务处理器分配阶段，采取多一重备份策略以解决处理器数量相对较少时优先级约束条件带来的副版本调度易失败问题，并且改进了副版本调度时的可靠性指标计算方法。通过随机生成DAG图进行算法仿真测试，实验结果表明，HRPB比eFRD具有更优的副版本调度成功率、更高的系统可靠性。     

基于有向无环图的成本-时间优化调度算法

网格计算环境下,基于有向无环图（DAG）的成本-时间优化调度算法运用经济规律把网格用户的任务映射到网格资源中运行。OGS算法考虑了任务间的优先关系,使得任务完成时间最小,但没考虑到在网格环境中所需的成本。Nimrod/G模型中提出基于时间和成本限制下的优化调度算法（DBC）考虑了时间和成本,但没考虑任务间的优先关系。本文综合考虑了成本-时间因素以及任务间的优先关系,在不增加完成时间的基础上,把任务映射到价格便宜的机器上,提出了基于有向无环图的成本-时间优化调度算法。通过仿真表明,相对OGS算法,该算法减少了所需成本。     

异构集群系统中实时通信信号处理调度算法

当宽带大容量数据采集进入并行计算机网络后,通过集群计算方式对强衰弱通信信号实现高增益、低延时处理,达到有效实时解译通信数据的目的。提出了一种新的动态启发式调度算法——MDS算法。该算法综合考虑任务的时间要求、系统吞吐率和负载均衡。在任务的截止期较短的情况下,MDS算法仍能保证任务具有较高的调度成功率;同时在满足任务截止期的条件下系统具有较高的吞吐率并达到负载均衡。通过实验测试,分析了一些任务参数对MDS算法的影响,并与其他算法进行了比较。实验结果表明,MDS算法优于其他算法。     

基于平滑轮询的DVB-RCS时隙调度

将平滑轮询调度算法(SRR)应用于DVB-RCS卫星网络的时隙调度中,实现了回传信道卫星终端(RCST)用户获得的时隙位置在调度表中均匀分布。首先按权值降序对RCST用户排序,采用向量来表示权值的二进制编码。以这些权值向量作为行向量来表示权值矩阵,同时根据权值向量的维数来构造权值扩展序列。结合权值矩阵,通过遍历权值扩展序列来确定RCST用户的调度顺序。仿真结果表明与轮询(RR)调度算法相比,基于SRR的时隙调度算法缩小了业务包时延的变化范围,降低了包时延标准差。     

LSA_IT:一种In-Tree任务图的分层调度算法

In-Tree任务图可用来求解归并排序、求和等分治问题的并行。针对该类任务图,提出了一种分层调度算法——LSA_IT。它对任务图逐层调度。调度中,根据优先级,保证任务的最优前驱被优先调度,并在不影响调度长度的同时,将任务尽可能地调度到其已调度兄弟所在处理器上。实验表明,与TDS、DCP、MCP算法相比,LSA_IT的调度性能最优。     

基于EDA多任务流的调度算法研究

针对高性能计算环境下的多个电子设计自动化(EDA)任务流调度问题,提出一种启发式公平调度算法L-Fairness.在准备队列选择待调度任务时,L-Fairness算法结合任务滞后度、完成度和剩余完成时间确定任务优先级,保证多个任务流中任务的公平调度,同时将license数量及其类型作为处理器选择的依据,满足EDA多任务...