基于任务分类的延迟调度算法

MapReduce已经成为主流的海量数据处理模式,任务调度作为其关键环节已受到业界广泛关注。针对已有的延迟调度算法存在的问题,即建立在任务都是短任务的理论假设有一定限制,当节点处理不同长度的任务时算法性能严重下降和基于静态的等待时间阈值不能适应不同用户的作业需求,提出了一种基于任务分类的延迟调度算法。该算法通过给不同长度的任务设置不同的等待时间阈值,以适应不同作业的响应需求。通过分析各动态参数,根据所建任务模型调整任务的等待时间阈值。仿真验证该算法在响应时间及负载均衡性方面优于已有的延迟调度算法。     

基于动态等待时间阈值的延迟调度算法

针对已有的延迟调度算法存在的两个问题,即建立在节点会很快空闲的理论假设下有一定限制,当节点不会很快空闲时算法性能严重下降和基于静态的等待时间阈值不能适应云计算数据中心动态的负载变化及不同用户作业的需求,提出了一种基于动态等待时间阈值的延迟调度算法(dynamic waiting time delay scheduling,DWTDS)。该算法通过给无本地数据节点设置节点最大等待时间,以适应节点不会很快空闲的情况;通过分析数据中心各动态参数,根据概率模型调整作业的等待时间阈值。实验验证该算法在响应时间及负载均衡性方面优于已有的延迟调度算法。     

基于优先级的Three-Queue调度算法研究

针对Hadoop平台上调度算法存在的不足,提出了一种改进的调度算法———Triple-Queue算法。在充分考虑数据的本地性后,Triple-Queue算法设计了一种改进的优先级计算模型,以有效地区分用户作业的等级,同时又保证一定程度的公平性,进而减小作业执行时间,避免系统资源浪费。实验结果表明,随着数据量的提高,该算法执行效率明显提高,同时能够较好地解决数据本地性问题。     

基于任务备份的云计算容错调度算法

云计算所提供的服务面向庞大的用户群,随着节点规模的扩大、任务执行时间的增长,云计算的故障率越来越高。为此,提出基于任务备份的云计算容错调度算法。将任务映射到含有该任务输入数据且负载最小的节点,根据云计算的安全等级将任务进行备份,并重新调度失败任务。仿真实验结果表明,该算法具有较好的容错性,任务调度成功率达到99%。     

基于延迟任务云资源调度方法的研究

基于云任务的动态延迟到达,到达时间具有随机性,进行任务分配到虚拟机执行的仿真模拟。仿真任务是基于排队论的指数分布到达方式,虚拟机的处理速度存在差异。实验思路是高优先级尽可能早的执行,同时避免低优先级任务饿死的思路,并定义了一个消费量作为对比点,对比基于一定等待的调度与贪心调度的差异。通过设置动态等待时间的设置来进行实验,同时测试多组输入数据减少样本的偶然性。对比分析各种数据,验证实验的有效性。并通过CloudSim进行云仿真实验模拟。     

基于模拟退火的Map Reduce调度算法

在计算能力作业调度算法的基础上,提出一种基于模拟退火的Map Reduce作业调度算法.利用带记忆功能的模拟退火算法选择最优作业,从而避免陷入局部最优解.在Hadoop平台上的实验结果表明,该算法能减少所有作业的运行时间以及每个作业的等待响应时间,具有较高的作业调度效率及用户满意度.     

基于任务延迟的云计算资源调度算法研究

云计算是基于互联网发展起来的新型计算模式,对网际间各个节点的计算能力达到了充分利用;为了提高用户对云计算的使用效率,一般要为用户任务进行合理的全局资源调度和本地资源调度;对于全局资源调度,提出了一种改进的DAG图方法,充分考虑了任务撤销后对全局资源调度的影响;对于本地资源调度,提出了一种基于任务延迟的资源调度方法,充分考虑了立即调度不能执行时,如何合理地配置本地计算资源和等待时间的问题;实验结果表明,提出的方法能较好地提高全局资源调度和本地资源调度的效能。     

MapReduce在Hadoop平台下作业调度算法的改进和实现

该文在Hadoop实现的MapReduce架构基础上,分析了现有的三种作业调度算法,针对当前算法没有考虑服务器负载状况和数据本地性差的缺点,提出了基于可变长度队列的公平调度算法(FSVQ),该算法分析了空闲节点率,并通过采取等待的办法满足考虑数据本地性。实验证明该算法可增加服务器集群的工作效率,减少网络延迟,具有实际的应用意义。     

Hadoop作业调度本地性的研究与优化

作为开源云计算平台的核心技术之一,Map Reduce作业处理框架及其作业调度算法,对整个系统的性能起着至关重要的作用,而数据本地性是衡量作业调度算法好坏的一个重要标准,首先本文介绍和分析了Map Reduce基本原理,Map Reduce作业处理机制和Map Reduce作业调度机制及其在数据本地性方面表现出的优缺点等相关内容。其次,针对原生作业调度算法在数据本地性考虑不周全的问题,结合数据预取技术的可行性与优势,通过引入资源预取技术设计并实现一种基于资源预取的Hadoop Map Reduce作业调度算法,使作业执行效率更高。     

异构环境下自适应Reduce任务调度算法的研究*

在异构环境下的MapReduce编程模型中,Reduce任务的调度存在随机性,通常在分配任务时既没有考虑数据本地性,也没有考虑计算节点对当前任务的计算能力。针对以上问题,提出一种异构环境下自适应Reduce任务调度算法(SARS),该算法首先根据Reduce任务的输入数据分布选择所含数据量最大的机架;在选择计算节点的过程中,结合节点所含任务的数据量、节点的计算能力和当前节点的忙碌状态来选出任务的执行节点。最后实验结果表明,SARS算法减少了Reduce任务执行时的网络开销,同时也减少了Reduce任务的执行时间。     

一种基于两级DAG模型的MapReduce工作流异构调度算法

MapReduce编程模型被广泛应用于大数据处理平台,而一个有效的任务调度算法对模型的运行效率至关重要。将MapReduce工作流的Map和Reduce阶段分别拆解为若干个有先后序限定关系的作业,每个作业再拆解为多个任务。之后基于计算集群的可用资源和任务异构性,构建面向作业和任务的2级有向无环图(DAG)模型,同时提出基于2级优先级排序的异构调度算法2-MRHS。算法的第1阶段进行优先级排序,即对作业和任务分别进行优先权值计算,再汇总得到任务的调度队列;第2阶段进行任务分配,即基于最快完成时间将每个任务所包含的数据块子任务分配给最适合的计算结点。采用大批量随机生成的DAG模型进行实验,结果表明与其他相关算法相比,本文算法有更短的调度长度(makespan)且更加稳定。     

基于Logistic回归模型的Hadoop本地任务调度优化算法*

当一个工作节点有多个本地任务可执行时,默认情况下,调度器都是按照任务被发现的先后顺序来进行执行,效率低下。针对于此,为了优化对本地任务的调度,提出了基于Logistic回归模型的Hadoop本地任务调度优化算法。首先,选取定义与任务相关的特征向量,然后基于Logistic回归的机器学习方式得到各向量的作用权值,将任务进行优先级排序,并通过过载规则不断更新模型。通过实验证明,提出的算法在改善map 任务的数据本地性的同时,降低了作业运行时间。     

MapReduce delay scheduling with deadline constraint

MapReduce programming paradigm has been widely applied to solve large‐scale data‐intensive problems. Intensive studies of MapReduce scheduling have been carried out to improve MapReduce system performance. Delay scheduling is a common way to achieve high data locality and system performance. However, inappropriate delays can lead to low system throughput and potentially break the original job priority constraints. This paper proposes a deadline‐enabled delay (DLD) scheduling algorithm that optimizes job delay decisions according to real‐time resource availability and resource competition, while still meets job deadline constraints. Experimental results illustrate that the resource availability estimation method of DLD is accurate (92%). Compared with other approaches, DLD reduces job turnaround time by 22% in average while keeping a high locality rate (88%).Copyright © 2013 John Wiley & Sons, Ltd.     

A new multi-objective bi-level programming model for energy and locality aware multi-job scheduling in cloud computing

How to reduce power consumption of data centers has received worldwide attention. By combining the energy-aware data placement policy and locality-aware multi-job scheduling scheme, we propose a new multi-objective bi-level programming model based on MapReduce to improve the energy efficiency of servers. First, the variation of energy consumption with the performance of servers is taken into account; second, data locality can be adjusted dynamically according to current network state; last but not least, considering that task-scheduling strategies depend directly on data placement policies, we formulate the problem as an integer bi-level programming model. In order to solve the model efficiently, specific-design encoding and decoding methods are introduced. Based on these, a new effective multi-objective genetic algorithm based on MOEA/D is proposed. As there are usually tens of thousands of tasks to be scheduled in the cloud, this is a large-scale optimization problem and a local search operator is designed to accelerate convergent speed of the proposed algorithm. Finally, numerical experiments indicate the effectiveness of the proposed model and algorithm.     

基于排队网络的多优先级MapReduce作业调度算法

MapReduce是一个能够对大规模数据进行分布式处理的框架,目前被各个领域广泛应用。在提供MapReduce服务的集群中,如何保证不同优先级用户的截止时间限定是MapReduce作业调度问题的一个挑战。针对这一问题,提出了一个基于排队网络的多优先级作业调度算法（MPSA）。首先分析和归纳了基于MapReduce模型的算法,提出了三种常见模式,采用Jackson排队网络对基于MapReduce模型的算法建立了数学模型,应用该网络模型可以求出不同优先级队列对资源的需求;随后使用AR(1)模型进行预测,使算法可以动态地适应不同的用户访问量;利用二分查找算法,分步计算出不同优先级在map阶段和reduce阶段分配的槽位数;最后实现了在MapReduce模型中应用的实时调度算法。实验结果表明,与传统的FIFO和公平调度算法相比,本文提出的算法在用户到达率和任务规模变化的情况下,可以更加有效地满足不同优先级用户的截止时间限定。     

基于粒子群优化算法的多核处理器任务调度研究

针对多核处理器在调度多个任务时效率不高的问题,提出了一种基于粒子群优化算法的嵌入式多核多线程系统任务调度算法,用来找寻任务调度过程中的最优解,以求取任务的最短完成时间。在算法中通过针对多核多线程任务模型而选择粒子群算法的适应度函数,综合利用局部最优极值和全局最优极值的优势,优化了粒子群算法中存在的过早收敛问题,使算法具有较高的收敛效率。实验结果表明,与基于遗传算法的多核多线程任务调度算法相比,该算法能更快的找到最优解。     

基于复合策略的平行非同类机调度问题研究

对n类不同的独立任务在m个不同机器上加工的多任务平行非同类机的加工调度问题进行了探讨，提出了一种基于指派与调度的复合策略的算法，最后用实例进行了排序。通过与文献中的实例比较，证明该方法具有一定的优越性。     

Hadoop平台中一种Reduce负载均衡贪心算法

MapReduce是目前广泛应用的并行计算框架,是Hadoop平台的重要组成部分。主要包括Map函数和Reduce函数。Map函数输出key-value键值对作为Reduce的输入,由于输入的动态性,不同主机上的Reduce处理的输入量存在不均衡性。如何解决Reduce的负载均衡是优化MapReduce的一个重要研究方向。本文首先对整体数据进行抽样,通过适量的样本分析数据,达到较小的代价获得可靠的key分布;然后,提出贪心算法代替Hadoop平台默认的hash算法来划分数据,实现Reduce负载均衡。本文所提贪心算法主要思想是根据抽样数据,求取所有key频次的和对于Reduce节点数量的平均值,然后依次为每一个Reduce分配一个接近平均值的负载,从而达到整体的负载均衡。模拟实验表明,本文所提算法与默认的hash分区算法相比,运行时间节约10.6%,达到更好的负载均衡。