Hadoop作业调度本地性的研究与优化

作为开源云计算平台的核心技术之一,Map Reduce作业处理框架及其作业调度算法,对整个系统的性能起着至关重要的作用,而数据本地性是衡量作业调度算法好坏的一个重要标准,首先本文介绍和分析了Map Reduce基本原理,Map Reduce作业处理机制和Map Reduce作业调度机制及其在数据本地性方面表现出的优缺点等相关内容。其次,针对原生作业调度算法在数据本地性考虑不周全的问题,结合数据预取技术的可行性与优势,通过引入资源预取技术设计并实现一种基于资源预取的Hadoop Map Reduce作业调度算法,使作业执行效率更高。     

Hadoop平台中作业调度算法分析与改进研究

针对传统云计算作业调度中简单优先级设置的不足,首先对作业调度进行研究并提出了基于用户服务等级协议(SLA)的作业分级机制。该设计基于Qo S约束的多优先级作业调度算法,在算法中利用云用户作业中的偏好程度来设计优先级值计算函数Priority,在作业调度时可以使较高等级的云用户和具有较高优先级的作业优先得到任务的执行,通过上述方式可以较好地保证云计算环境下的服务质量。     

一种改进的 Hadoop 多用户作业调度方法

针对目前 Hadoop 作业调度方法服务水平不高、资源利用率低的问题,提出了一种改进的 Hadoop 多用户作业调度算法。分析了 Hadoop 现行调度算法存在的不足,提出了基于服务质量（QoS）的作业选择量化和基于遗传算法的任务选择均衡化的方法,最后采用 Hadoop 平台对算法进行了仿真。仿真结果表明,该资源调度方法提高了作业的服务质量,实现了资源的合理调度。     

基于调度器的Hadoop性能优化方法研究

为了提高Hadoop调度器的调度性能,缩短Hadoop集群的任务整体响应时间,提出了一种基于CPU占用率的动态调度改进算法.首先对Hadoop传统的性能优化方法进行了对比,指出其存在问题的关键是缺乏动态性和灵活性.在此基础上,深入分析Hadoop默认任务调度模型,提出了一种以CPU占用率作为负载指标,在循环分配任务时根据反馈的负载指标判断节点负载情况的算法,动态适应负载变化.实验结果表明,该算法在Hadoop集群中,能有效提高集群性能.     

基于Hadoop的三队列作业调度算法

Hadoop集群单队列作业调度会产生短作业等待、资源利用率低的问题;采用多队列调度可兼顾公平、提高执行效率,但会带来手工配置参数、资源互占、算法复杂等问题。针对上述问题,提出三队列作业调度算法,利用区分作业类型、动态调整作业优先级、配置共享资源池、作业抢占等设计,达到平衡作业需求、简化一般作业调度流程、提升并行执行能力的目的。对短作业占比高,各作业占比均衡以及一般作业为主,偶尔出现长、短作业三种情况与先进先出(FIFO)算法进行了对比实验,结果三队列算法的运行时间均比FIFO算法要少。实验结果表明,在短作业聚集时,三队列算法的执行效率提升并不显著;但当各种作业并存且分布均衡时,效果很明显,这符合了算法设计时短作业优先、一般作业简化流程、兼顾长作业的初衷,提高了作业整体执行效率。     

基于学习方式对Hadoop作业调度的改进研究

随着并行计算、分布式计算和网格计算技术的发展,云计算作为一种新的模型被提出来,发展极为迅速。Hadoop作为一个开源的云计算系统,得到了广泛的运用。作业调度是Hadoop平台的核心问题之一,通过对Hadoop中已有调度算法的了解和分析后,基于学习的方式,利用过去的节点历史记录和作业属性来不断地改进作业调度;应用了基于特征加权的朴素贝叶斯分类器算法来改进任务的分配调度,并通过实验进行了验证,结果表明它对任务分配调度执行效率有一定的提高。     

MapReduce在Hadoop平台下作业调度算法的改进和实现

该文在Hadoop实现的MapReduce架构基础上,分析了现有的三种作业调度算法,针对当前算法没有考虑服务器负载状况和数据本地性差的缺点,提出了基于可变长度队列的公平调度算法(FSVQ),该算法分析了空闲节点率,并通过采取等待的办法满足考虑数据本地性。实验证明该算法可增加服务器集群的工作效率,减少网络延迟,具有实际的应用意义。     

一种云计算资源的多目标优化的调度方法

云计算通过虚拟化技术将基础设施硬件资源虚拟化,以动态可缩放的方式提供给用户。云计算基础设施规模不断增加导致资源调度系统负载不均衡,从而造成资源浪费等问题。提出多目标优化资源调度策略和相应的算法,试图同时满足多个资源调度优化目标,如减少资源浪费,降低服务等级约定(SLA)违背率、保持系统负载均衡等。通过仿真实验,验证了多目标优化资源调度的策略能够在多个相互冲突的目标之间实现最优权衡。     

多目标柔性作业调度的优化研究

针对以生产周期、生产成本、设备利用率为目标的柔性作业调度问题,基于混合遗传算法提出了一种新的优化求解方法。首先建立了该类问题的调度模型,基于工序编码的染色体决定了工序调度的优先级;利用无量纲的标准化处理方法统一目标量纲;然后,利用层次分析法将多目标问题转化为单目标问题,同时为了保证算法的收敛性,在基本遗传算法框架的基础上集成了禁忌搜索算法,从而延缓或避免了早熟收敛的发生。最后通过实验仿真,证明提出的方法可以有效解决该类多目标柔性作业调度问题。     

多机种保障加油作业优化调度系统研究

为了提高多机种保障加油作业的效能,在分析多机种保障特点、加油作业过程的基础上,利用计算机技术、优化技术、网络技术、无线数字通讯技术、嵌入式控制系统及北斗定位技术,研究、设计了多机种保障加油作业优化调度系统的模块、功能及信息网络,实现了多机种保障加油作业的优化调度。提出的设计方案可用于整个多机种保障的调度系统设计中,应用前景十分广阔。     

风电场数据中心Hadoop云平台作业调度算法研究

风电场数据中心包含状态监测、数据采集等实时类作业和非实时类作业,采用C/S结构存在资源利用率不平衡、管理与维护成本高等缺点。设计了一种基于Hadoop云平台的数据中心架构;针对开源Hadoop平台现有FIFO调度器不能满足实时监测系统要求,在原有FIFO调度器的基础上,设计了一种双队列的作业调度器,综合考虑作业的截止时间和优先级来进行作业调度决策,实验结果表明,与FIFO调度器相比,双队列的作业调度器在集群负载较大时能够表现出较好的性能,保证实时类作业能够优先执行,为风电机组的安全运行提供保障。     

Hadoop下基于统计最优的资源调度算法

云计算集群中的资源存在异构和节点稳定性问题.异构资源的计算能力不同会导致较突出的作业任务同步问题,而某个节点的不稳定状态会使运行于该节点的任务大量备份或重新计算.针对上述两问题将严重影响集群作业的执行进度,在Hadoop平台下利用统计方法,提出一种资源调度算法,对计算资源较少的节点和不稳定状态的节点进行标志并降权,让集群尽可能调度资源较好的稳定节点.实验结果表明,该算法能够在一定程度上减少作业的周转时间,提高集群的效率和吞吐量.     

Hadoop云平台下基于资源预估的作业调度算法

为解决Hadoop云平台下作业无法满足时间约束的问题,提出一种基于资源预估的作业调度算法。通过建立资源预估模型计算作业所需资源,然后结合作业间的资源竞争关系对完成时间进行判定,最后根据作业的数据本地性改进延迟调度策略。实验结果表明,本文算法能够满足作业对时间约束的需求,提升系统的资源利用率。     

一种基于能耗优化的云计算系统任务调度方法

服务器执行任务产生的能耗是云计算系统动态能耗的重要组成部分。为降低云计算系统任务执行的总能耗,提出了一种基于能耗优化的最早完成时间任务调度方法,建立了服务器动态功率计算模型,基于动态功率的服务器执行能耗模型,以及云计算系统的能耗优化模型。调度策略根据任务的截止时间要求和在不同服务器上的执行能耗,选择不同的调度算法,以获得最小任务执行总能耗。实验结果证明,提出的任务调度方法,能够较好地满足任务截止时间的要求,降低云计算系统任务执行的总能耗。     

基于服务质量的云工作流调度优化算法

为满足云工作流实例的多样化需求,根据工作流的特点和云环境中资源部署结构,建立多服务质量指标的云工作流调度模型。对蚁群算法进行改进,解决其收敛速度慢、易陷入局部最优等缺点。利用用户对服务质量不同程度的偏好,引入云任务优先次序启发式规则,提出一种基于服务质量的云工作流调度算法(SPACO)。在Cloud Sim平台上,对云工作流调度模型和算法进行仿真分析,将仿真结果与基本蚁群算法(ACO)、改进的蚁群算法(PACO)进行比较,其结果表明该算法能缩短执行时间、降低能耗成本,验证了该模型的可行性和算法的有效性。     

膜计算改进粒子群优化算法的云资源调度

云计算环境下的资源合理调度是当前的研究热点,针对粒子群优化算法的不足,引入膜计算理论,提出一种基于膜计算改进粒子群优化算法的云资源调度算法（PSO-MC）。对云资源调度问题进行分析,建立云资源调度的目标函数,受到膜计算的启发,将粒子放入膜中,主膜内粒子进行精细化局部寻优,辅助膜内的粒子进行全局搜索,通过膜区域之间信息传递搜索结果,找到云资源调度问题的最优解,在CloudSim平台对算法进行仿真实验。结果表明,PSO-MC算法减少了任务的平均完成时间,提高了任务处理的效率,使云计算资源调度更加合理。     

云中截止时间动态分配的工作流调度成本优化算法

现如今,如何在满足截止时间约束的前提下降低工作流的执行成本,是云中工作流调度的主要问题之一。三步列表调度算法可以有效解决这一问题。但该算法在截止时间分配阶段只能形成静态的子截止时间。为方便用户部署工作流任务,云服务商为用户提供了的三种实例类型,其中竞价实例具有非常大的价格优势。为解决上述问题,提出了截止时间动态分配的工作流调度成本优化算法(S-DTDA)。该算法利用粒子群算法对截止时间进行动态分配,弥补了三步列表调度算法的缺陷。在虚拟机选择阶段,该算法在候选资源中增加了竞价实例,大大降低了执行成本。实验结果表明,相较于其他经典算法,该算法在实验成功率和执行成本上具有明显优势。综上所述,S-DTDA算法可以有效解决工作流调度中截止时间约束的成本优化问题。     

Hadoop平台下基于截止时间限制的动态调度算法的研究

为了满足有截止时间限制的MapReduce作业的需求,提出一种基于截止时间限制的动态调度算法（DCDS）。该算法实时监控作业运行状况,并对作业运行时间进行动态估算,从而确定作业优先级;对于时间紧迫的作业,可通过抢占策略来保证在用户要求的截止时间内完成。实验结果表明,与Hadoop平台现有的调度算法相比,该算法不仅能满足作业截止时间的要求,也提高了系统资源的利用率和吞吐量。     

IaaS公有云平台调度模型研究

抽象出IaaS公有云平台的服务模型,基于排队论对平台服务模式、队列长度、调度服务器设置等进行了优化分析。在此基础上提出一种基于IaaS平台需求向量的调度模型,根据需求与可用资源的匹配度从平台管理的物理机集合中筛选出可用的宿主机,若一次性无法找到符合要求的宿主机,平台调度算法结合虚拟机迁移操作,对物理资源进行重新分配,在实现平台资源利用率最大化的同时,保障了平台的可用性。将该算法应用在自主研发的云计算平台上,实验结果验证了该算法的可行性。