Hadoop平台中MapReduce调度算法研究

MapReduce是一种新型的并行计算框架,在计算速度,容错性,可靠性等方面具有优势,因此得到了广泛的商业应用与科学研究。而调度算法作为MapReduce的核心组成部分,它的优劣成为了直接影响MapReduce性能的关键因素,因而得到了很大的关注。在介绍和分析MapReduce并行计算模型的基础上,介绍了几种相关的模型改进,并基于Hadoop平台,重点研究了MapReduce的常用调度算法及改进算法。通过对比分析,就MapReduce未来的发展进行了进一步的探讨,为其调度算法的改进提供有效的方法。     

基于MapReduce集群的加权公平队列调度算法研究

该文针对Hadoop自带的MapReduce调度器的不足,提出了具有优先级和权重的公平调度算法.算法可以清楚地区分出用户服务的等级,同时又保证一定程度的公平性,保证不至于被少量高优先级用户占有系统绝大部分资源.同时可以更好的实现数据的本地性,提高系统的整体效率和并行度,从而减小相应时间,避免节点闲置,浪费系统资源.     

Hadoop平台下基于截止时间限制的动态调度算法的研究

为了满足有截止时间限制的MapReduce作业的需求,提出一种基于截止时间限制的动态调度算法（DCDS）。该算法实时监控作业运行状况,并对作业运行时间进行动态估算,从而确定作业优先级;对于时间紧迫的作业,可通过抢占策略来保证在用户要求的截止时间内完成。实验结果表明,与Hadoop平台现有的调度算法相比,该算法不仅能满足作业截止时间的要求,也提高了系统资源的利用率和吞吐量。     

MapReduce在Hadoop平台下作业调度算法的改进和实现

该文在Hadoop实现的MapReduce架构基础上,分析了现有的三种作业调度算法,针对当前算法没有考虑服务器负载状况和数据本地性差的缺点,提出了基于可变长度队列的公平调度算法(FSVQ),该算法分析了空闲节点率,并通过采取等待的办法满足考虑数据本地性。实验证明该算法可增加服务器集群的工作效率,减少网络延迟,具有实际的应用意义。     

多资源公平调度器在Hadoop 中的实现

目前Hadoop的作业调度算法都是将系统中的多类资源抽象成单一资源,分配给作业的资源均是节点资源中固定大小的一部分,称为插槽。这类基于插槽的算法没有考虑到系统多资源的差异性,忽略了不同类型作业对资源的不同需求,因此导致系统在吞吐量和平均作业完成时间上性能低下。本文研究了多资源环境下公平调度算法在Hadoop中的实现,设计了一种多资源公平调度器MFS(Multi-resource Fair Scheduler)。MFS采用了DRF(Dominant Resource Fairness)调度思想,使用需求向量来描述作业对各类资源的需求,并按照需求向量中各资源的大小给作业分配资源。MFS能更加充分有效地使用系统的各类资源,并能满足不同类型作业对资源的不同需求。实验表明相比于基于插槽的Fair Scheduler与Capacity Scheduler,MFS提高了系统的吞吐量,降低了平均作业完成时间。     

Hadoop平台下计算能力调度算法的改进与实现

在计算能力调度算法中没有全面考虑各资源特征的分配是否满足作业多样的服务要求,提出一种基于优先级的计算能力加权调度算法,根据作业的优先级以及提交时间等因素来计算作业的权重。依据作业的权重对作业队列进行排序并分配空闲的slot给队首的作业,从而避免调度陷入局部最优也能更好地满足作业的多样性服务要求。在搭建的Hadoop平台上进行实验表明,改进后的算法能较均衡地分配系统资源减少一些作业的等待时间,并且运行全部作业的用时有所减少。     

基于蚁群算法的Hadoop调度算法研究

为有效提高Hadoop集群作业调度的效率,提出一种基于蚁群算法的自适应作业调度的方案,有效利用蚁群算法正反馈的优势特点,使Hadoop作业调度器更高效地对任务进行分配,提高整体架构的作业性能。实验结果表明,该算法能够很好的平衡资源负载,减少任务的完成时间,提高系统处理任务的性能。     

Hadoop平台下的动态调度算法

目前,云计算环境具有动态、异构和海量多类型任务并发等特征,随着集群规模不断增大、用户QoS不断增多,现有调度算法越来越难以适应动态变化的环境及满足用户的需求。针对Hadoop平台下现有调度器不能根据作业运行状态和资源使用情况进行动态调整的问题,提出了Hadoop下基于作业分类的动态调度算法。该算法在使用朴素贝叶斯分类算法对队列中作业进行分类的过程中,根据各个作业的类型,预先设定类别权值,将队列中的作业分类,并引入效用函数,根据用户提交时的预期完成时间QoS和作业完成情况估算其作业完成时间,实现动态设置作业优先级。实验表明,使用提出的算法不仅能有效减少 作业的分类时间,而且能明显提高 动态性和用户QoS。     

风电场数据中心Hadoop云平台作业调度算法研究

风电场数据中心包含状态监测、数据采集等实时类作业和非实时类作业,采用C/S结构存在资源利用率不平衡、管理与维护成本高等缺点。设计了一种基于Hadoop云平台的数据中心架构;针对开源Hadoop平台现有FIFO调度器不能满足实时监测系统要求,在原有FIFO调度器的基础上,设计了一种双队列的作业调度器,综合考虑作业的截止时间和优先级来进行作业调度决策,实验结果表明,与FIFO调度器相比,双队列的作业调度器在集群负载较大时能够表现出较好的性能,保证实时类作业能够优先执行,为风电机组的安全运行提供保障。     

Hadoop平台下改进的LATE调度算法

对Hadoop平台下的MapReduce现有的调度器进行分析研究。针对LATE调度算法在分配节点执行落后任务的备份任务时的不足,结合Hadoop集群的异构性和工作负载的特殊性,在LATE调度算法的基础上提出了一种改进的LATE调度算法。对该算法进行实验和性能分析,表明该算法在完成时间和负载均衡方面有很大改进。     

使用确定随机Petri网对Hadoop公平调度的建模和性能分析

由于Hadoop能在同一时间处理多个用户提交的不同作业的多个任务,这使得用传统的方法对其进行建模和性能分析变得十分困难.为了解决这个问题,基于马尔可夫排队模型M/MMDP/C/K建立了一个随机Petri网(SPN)模型和一个确定随机Petri网(DSPN)模型来分别描述Hadoop调度中的数据状态和作业公平调度.通过设置DSPN中的使动谓词和随机开关来建模Hadoop公平调度和YARN公平调度.使用嵌入的马尔可夫链模型来分析单用户情景,而在分析多用户情景时则引入分解和迭代技术来减小模型的状态空间,从而避免产生状态爆炸问题.研究侧重于Hadoop中作业调度的平均性能,仅通过求解提出的分析模型,就可以对比和分析服务质量(QoS)的一些关键指标,如平均吞吐量、平均队列长度和平均时延.采用Matlab进行仿真:当每秒到达任务数大于等于20时,YARN算法的数据积压和平均时延明显少于公平算法;当每秒到达任务数大于等于30时,YARN算法的平均吞吐量明显高于公平算法.实验结果表明,YARN公平算法能够减少平均处理和排队等待时间,在平均吞吐量、平均队列长度和平均时延上明显优于公平算法.     

Hadoop云平台MapReduce模型优化研究

针对Hadoop平台MapReduce分布式计算模型运行机制中的顺序制约而产生的计算资源浪费问题,从提高平台中每个执行节点的细粒度并行数据处理角度出发,结合Java共享内存多线程编程技术,对该模型进行了优化,提出一种MapReduce+OpenMP粗细粒度相结合的分布式并行计算模型。并在由四个节点组成的Hadoop集群环境下对不同规模大小的出租车GPS轨迹数据分析处理,验证该模型的性能和效率,实验结果证明MapReduce+OpenMP分布式并行计算模型确实能够提高针对大数据集的计算效率,是对Hadoop平台大数据分析处理模型有效的完善和优化。     

基于Logistic回归模型的Hadoop本地任务调度优化算法*

当一个工作节点有多个本地任务可执行时,默认情况下,调度器都是按照任务被发现的先后顺序来进行执行,效率低下。针对于此,为了优化对本地任务的调度,提出了基于Logistic回归模型的Hadoop本地任务调度优化算法。首先,选取定义与任务相关的特征向量,然后基于Logistic回归的机器学习方式得到各向量的作用权值,将任务进行优先级排序,并通过过载规则不断更新模型。通过实验证明,提出的算法在改善map 任务的数据本地性的同时,降低了作业运行时间。     

Hadoop下基于统计最优的资源调度算法

云计算集群中的资源存在异构和节点稳定性问题.异构资源的计算能力不同会导致较突出的作业任务同步问题,而某个节点的不稳定状态会使运行于该节点的任务大量备份或重新计算.针对上述两问题将严重影响集群作业的执行进度,在Hadoop平台下利用统计方法,提出一种资源调度算法,对计算资源较少的节点和不稳定状态的节点进行标志并降权,让集群尽可能调度资源较好的稳定节点.实验结果表明,该算法能够在一定程度上减少作业的周转时间,提高集群的效率和吞吐量.     

基于公平调度算法的分布式系统负载均衡研究

负载均衡是提高分布式系统性能的重要技术,同时也是系统高可用性、可扩展性、冗余性的必然要求.针对分布式系统任务调度不均衡问题,在分析和建立系统仿真和任务调度模型的基础上,提出了一种基于公平指标的任务调度负载均衡算法,推导出在多节点条件下的任务分配方法,并在此模型下改进了基于公平指标的负载均衡算法.最后,在Linux平台下,进行了仿真实验和性能比较.实验结果表明,该算法是有效的,它可以有效地提高分布式系统的性能和效率.     

基于Hadoop集群的加权循环算法的研究

调度问题是目前云计算研究中的热点问题,其目的是研究如何协同云计算资源,使其能最大化利用.Hadoop是目前流行的开源云计算平台.针对Hadoop自带的作业调度算法的不足,研究和实现了基于优先级的加权循环算法.该算法能够区分用户服务等级,保证系统资源不被服务等级高的用户长时间占有,保证系统资源得到合理的利用.最后,对该算法进行实验及性能分析,验证该算法能够提高系统的整体效率和减少了相应时间,避免资源浪费.     

基于Hadoop平台的个性化新闻推荐系统的设计

为使互联网用户快捷地查找所需信息,个性化推荐系统的优势得到了体现和运用。该系统设计的目的是为广大网民在浏览新闻时提供一个个性化的新闻推荐系统,实现对新闻数据的协同过滤推荐处理。系统利用Hadoop的MapReduce模型实现并行快速地聚类海量新闻数据,大大提高了数据处理的速度,聚类使得新闻之间的相似度得以体现,再利用不同的协同过滤算法实现个性化的新闻推荐。