一种基于DAG的MapReduce任务调度算法

Hadoop已成为研究云计算的基础平台,MapReduce是其大数据分布式处理的计算模型。针对异构集群下MapReduce数据分布、数据本地性、作业执行流程等问题,提出一种基于DAG的MapReduce调度算法。把集群中的节点按计算能力进行划分,将MapReduce作业转换成DAG模型,改进向上排序值计算方法,使其在异构集群中计算更精准、任务的优先级排序更合理。综合节点的计算能力与数据本地性及集群利用情况,选择合理的数据节点分配和执行任务,减少当前任务完成时间。实验表明,该算法能合理分布数据,有效提高数据本地性,减少通信开销,缩短整个作业集的调度长度,从而提高集群的利用率。     

一种基于模糊聚类的网格DAG任务图调度算法

针对网格环境中,任务调度的目标系统具有规模庞大、分布异构和动态性等特点,提出一种基于模糊聚类的网格异构任务调度算法.以往的很多调度算法需要在调度的每一步遍历整个目标系统,虽然能够获得较小的makespan,但是无疑增加了整个调度的Runtime.定义了一组刻画处理单元综合性能的特征,利用模糊聚类方法对目标系统(处理单元网络)进行预处理,实现了对处理单元网络的合理划分,使得在任务调度时能够较准确地优先选择综合性能较好的处理单元聚类,从而缩小搜索空间,大量减少任务调度时选择处理单元的时间耗费.此外,就绪任务优先级的构造既隐含考虑了关键路径上节点的执行情况对整个程序执行的影响,又考虑了异构资源对任务执行的影响.实验及性能分析比较的结果表明,定义的处理器特征能够实现对处理器网络的合理划分,而且随着目标系统规模的增大,所提出的算法优越性越来越明显.     

基于MapReduce工作流优化器的研究

对MapReduce工作流的优化主要是通过对MapReduce栈的优化实现的。针对MapReduce工作流的优化问题,首先,提出相关概念;其次,介绍MapReduce工作流基于成本的优化过程;然后,通过实例阐述MapReduce工作流中的数据流依赖和资源依赖关系。基于此,提出3种MapReduce工作流优化器,并对其进行端对端的评估。最后,通过实验评估工作流优化器的优化开销并对比分析了这3种工作流优化器。     

基于选择性复制前驱任务的DAG调度算法

针对异构环境下相关任务的静态调度问题,以最小化调度长度为主要目标,结合表调度与基于复制的调度思想提出了选择性任务复制调度算法.在任务调度过程中,利用处理器的空闲时间,通过有选择地复制能提前当前任务开始执行时间的父任务来减少任务之间信息传递的通信延迟,有利于后续任务的及时调度,从而缩短整个任务图的并行完成时间.实验结果表明,文中算法在通信量比较大的情况下在时间上优于复杂度相同的HEFT,HNDP及DDS算法,且随着任务图中通信时间/计算时间比值的增加,其优越性也越来越明显.     

网格工作流的动态贪心调度算法

有向无环图描述的工作流时间费用优化问题是计算网格中的基本难题之一。针对该问题提出一种网格工作流的动态贪心调度算法(DGS-GW)。按用户提交的截止时间和偏好因子建立数学模型,利用DGS-GW求解该模型的次优解。实验结果证明了该算法的有效性。     

异构系统中改进的遗传调度算法

针对以往调度算法无法准确反映任务的优先级的问题,提出一种改进的遗传调度算法.将任务的ranku属性值应用于染色体的构造方法中,即根据ranku属性值降序排列得到染色体的任务序列,使重要任务优先获得调度,从而得到优质的初始种群,为遗传算法提供合适的迭代起点.实验结果表明,该算法能有效提高初始种群的质量,获得更好的调度性能.     

一种异构计算环境下基于复制的调度算法

提出了一种异构环境下的基于复制的调度算法（TDNH）,并与同为异构环境下的HEFT算法进行了比较,结果证明TDNH算法减小了时间跨度。最后通过实验证明了TDNH算法能够得到比较好的结果。     

基于代价优化的云工作流调度改进PSO算法

云计算可以通过即付即用的方式向用户工作流提供资源。为了解决资源服务代价异构环境下的云工作流任务调度代价问题,提出一种基于改进粒子群算法的云工作流任务调度算法WSA-IPSO。通过综合考虑任务的执行代价和依赖任务间发生数据传输时的通信代价,算法将总代价优化问题形式化为有向无环图DAG中的任务调度模型,并提出基于改进粒子群算法的优化模型对其进行求解。通过改进传统粒子群算法的粒子速度更新策略和惯性权重更新策略,算法可以以更快的收敛速度得到代价最小化的调度方案。通过仿真实验,与MCT算法及标准粒子群算法进行性能比较。实验结果表明,WSA-IPSO算法在降低总代价、任务分布的负载均衡以及算法收敛性方面比较同类算法均表现出更好的性能。     

ACOSA：一种基于MapReduce的启发式调度算法

Hadoop是近几年发展起来的专为处理大数据的平台,是开源分布式数据处理框架,在大数据处理方面具有低成本、高效性、可靠性、可扩展性和可伸缩性等优点。针对Hadoop平台中现有的MapReduce调度算法,论文提出了一种新型的基于ACO和SA算法的组合优化算法—ACOSA算法。经过模拟实验验证,ACOSA算法缩短了任务完成的时间,平衡了各节点之间的负载。     

异构环境下MapReduce动态任务调度技术研究

针对MapReduce在异构环境下各节点性能不均衡,导致整体计算效率低下的问题进行了研究。为此,从节点与任务两方面入手,提出了一种将节点性能量化并排序与将任务按相似度划分相结合的算法。该方法首先根据历史日志以及实时回传的日志信息将节点按照性能高低排序;然后根据任务执行完成的信息,将其与新任务进行比对得到相似度,从而推测出新任务的执行时间,执行时间长的认为是复杂的任务;最后进行动态调度,使高性能节点处理更复杂的任务。在随机生成数据集上的实验结果表明,所提出的动态调度算法与默认调度算法相比,数据集为20G大小时执行速度提高27.4%,数据集为100G大小时执行速度提高了74.1%。     

基于贪心策略的网格工作流费用优化算法*

针对有向无环图描述的截止期约束下的网格工作流费用优化问题,提出了基于贪心策略的网格工作流费用优化算法GSA-GW(greedy scheduling algorithm for grid workflow)和IGSA-GW(improved GSA-GW)。算法首先在当前分配下将截止期转换为各任务的全局时间浮差,各任务再在全局时间浮差的限制下按照两种贪心策略选择备选资源替换原有分配。实验结果证明,两算法能较好地优化工作流费用,提高工作流调度效率。     

DAG分割模型下的云工作流调度策略

为了优化云工作流调度的经济代价和执行效率,提出一种基于有向无循环图（DAG）分割的工作流调度算法PBWS。以工作流调度效率与代价同步优化为目标,算法将调度求解过程划分为三个阶段进行：工作流DAG结构分割、分割结构调整及资源分配。工作流DAG结构分割阶段在确保任务间执行顺序依赖的同时求解初始的任务分割图;分割结构调整阶段以降低执行跨度为目标,在不同分割间对任务进行重分配;资源分配阶段旨在选择代价最高效的任务与资源映射关系,确保资源的总空闲时间最小。利用五种科学工作流DAG模型对算法进行了仿真实验。结果表明。PBWS算法仅以较小的执行跨度为开销,极大降低了工作流执行代价,实现了调度效率与调度代价的同步优化,其综合性能是优于同类型算法的。     

基于排队网络的多优先级MapReduce作业调度算法

MapReduce是一个能够对大规模数据进行分布式处理的框架,目前被各个领域广泛应用。在提供MapReduce服务的集群中,如何保证不同优先级用户的截止时间限定是MapReduce作业调度问题的一个挑战。针对这一问题,提出了一个基于排队网络的多优先级作业调度算法（MPSA）。首先分析和归纳了基于MapReduce模型的算法,提出了三种常见模式,采用Jackson排队网络对基于MapReduce模型的算法建立了数学模型,应用该网络模型可以求出不同优先级队列对资源的需求;随后使用AR(1)模型进行预测,使算法可以动态地适应不同的用户访问量;利用二分查找算法,分步计算出不同优先级在map阶段和reduce阶段分配的槽位数;最后实现了在MapReduce模型中应用的实时调度算法。实验结果表明,与传统的FIFO和公平调度算法相比,本文提出的算法在用户到达率和任务规模变化的情况下,可以更加有效地满足不同优先级用户的截止时间限定。     

异构环境下增强的自适应MapReduce调度算法

针对Hadoop默认调度算法和异构环境下LATE调度算法的不足,在SAMR调度算法的基础上提出了一种增强的自适应MapReduce调度算法。该算法记录了每个节点的历史信息,采用K-means聚类算法动态地调整阶段进度值以找到真正需要启动备份的落后任务。实验结果表明,增强自适应的MapReduce调度算法在提高任务执行时间的估算误差以及准确识别慢任务方面具有一定的有效性。     

基于IFOA-GA任务调度算法在云计算MapReduce模型中的研究

针对传统的云计算任务调度算法存在效率低、利用率不高的问题,采用改进的果蝇算法（improved fruit fly optimization algorithm,IFOA）和遗传算法（genetic algorithm,GA）融合的算法用于处理任务调度。首先,将任务调度转换为DAG（directed acyclic graph,DAG）并通过Kruskal算法将任务调度顺序进行化简;其次,针对果蝇算法的种群采用正交数组和量化技术进行初始化,对果蝇算法边界进行处理,对探索步长进行动态调整,并使用GA算法对个体选择进行选择处理;最后,将融合后生成的算法IFOA-GA用于仿真平台中的云计算任务调度,相对于IGA、IFOA,IPSO算法在QoS的四个指标对比中具有一定的优势,说明IFOA-GA算法能够有效地提高云计算调度效率。     

一种云工作流任务调度能效优化算法

工作流任务执行时带来的高能耗不仅会增加云资源提供方的经济成本,而且会降低云系统的可靠性。为了满足截止时间的同时,降低工作流执行能耗,提出一种工作流能效调度算法CWEES。算法将能效优化调度划分为三个阶段：初始任务映射、处理器资源合并和任务松驰。初始任务映射旨在通过任务自底向上分级排序得到任务调度初始序列,处理器资源合并旨在通过重用松驰时间合并相对低效率的处理器,降低资源使用数量,任务松驰旨在为每个任务重新选择带有合适电压/频率等级的最优目标资源,在不违背任务顺序和截止时间约束前提下降低工作流执行总能耗。通过随机工作任务模型对算法的性能进行了仿真实验分析。结果表明,CWEES算法不仅资源利用率更高,而且可以在满足截止时间约束下降低工作流执行能耗,实现执行效率与能耗的均衡。     

基于延迟调度策略的Reduce调度优化算法

在大规模的Hadoop集群中,良好的任务调度策略对提高数据本地性、减小网络传输开销、减少作业执行时间以及提高集群的作业吞吐量都有着重要的影响。本文针对Hadoop架构中Reduce任务的数据本地性较低问题,提出了一种基于延迟调度策略的Reduce任务调度优化算法,通过提高Reduce任务的数据本地性来减少作业执行时间以及提高作业吞吐量,该算法在Hadoop架构的Early Shuffle阶段,使用多级延迟调度策略来提高Reduce任务的数据本地性。最后重写原生公平调度器代码实现了该调度算法,并与原生公平调度器进行了对比实验分析,实验结果表明该算法明显减少了作业执行时间,提高了集群的作业吞吐量。     

基于服务质量的云工作流调度优化算法

为满足云工作流实例的多样化需求,根据工作流的特点和云环境中资源部署结构,建立多服务质量指标的云工作流调度模型。对蚁群算法进行改进,解决其收敛速度慢、易陷入局部最优等缺点。利用用户对服务质量不同程度的偏好,引入云任务优先次序启发式规则,提出一种基于服务质量的云工作流调度算法(SPACO)。在Cloud Sim平台上,对云工作流调度模型和算法进行仿真分析,将仿真结果与基本蚁群算法(ACO)、改进的蚁群算法(PACO)进行比较,其结果表明该算法能缩短执行时间、降低能耗成本,验证了该模型的可行性和算法的有效性。     

CPU-GPU异构多核系统的动态任务调度算法

CPU-GPU异构多核系统对计算密集型的应用加速效果显著而得到广泛应用,但该系统易出现负载均衡问题。针对此问题,本文提出了一种CPU-GPU异构多核系统的动态任务调度算法。该算法充分利用CPU的线程资源和GPU的计算资源,准确测量CPU和GPU的计算能力,从而动态调整分配到CPU和GPU上的数据块大小,减小负载的总执行时间,提高系统加速比。实验结果表明,该算法使得系统加速比提高34%~103%。