Hadoop集群环境下集成抢占式调度策略的本地性调度算法设计

在Hadoop集群环境下本地性调度算法是提高数据本地性的算法。本地性调度算法的调度策略的本质是提高数据本地性,减少网络传输开销,避免阻塞。但是由于Map任务的完成时间不同,Reduce任务存在的等待现象影响了作业的平均完成时间,使得作业的完成时间增加,进而引起系统的性能参数不佳。因此提出在保留原算法数据本地性要求的基础上集成可抢占式的调度方法。在Reduce任务等待时,挂起该任务并释放资源给其他Map任务,当Map任务完成到一定程度后,重新调度Reduce任务。基于上述调度策略设计了集成抢占式策略的本地性调度。为了对改进的算法进行验证,通过实验对本地性调度算法和集成抢占式本地性调度算法进行比较。实验结果表明,在相同数据上,集成抢占式本地性调度算法的平均完成时间有明显的降低。     

Hadoop作业调度本地性的研究与优化

作为开源云计算平台的核心技术之一,Map Reduce作业处理框架及其作业调度算法,对整个系统的性能起着至关重要的作用,而数据本地性是衡量作业调度算法好坏的一个重要标准,首先本文介绍和分析了Map Reduce基本原理,Map Reduce作业处理机制和Map Reduce作业调度机制及其在数据本地性方面表现出的优缺点等相关内容。其次,针对原生作业调度算法在数据本地性考虑不周全的问题,结合数据预取技术的可行性与优势,通过引入资源预取技术设计并实现一种基于资源预取的Hadoop Map Reduce作业调度算法,使作业执行效率更高。     

MapReduce在Hadoop平台下作业调度算法的改进和实现

该文在Hadoop实现的MapReduce架构基础上,分析了现有的三种作业调度算法,针对当前算法没有考虑服务器负载状况和数据本地性差的缺点,提出了基于可变长度队列的公平调度算法(FSVQ),该算法分析了空闲节点率,并通过采取等待的办法满足考虑数据本地性。实验证明该算法可增加服务器集群的工作效率,减少网络延迟,具有实际的应用意义。     

抢占阈值调度算法的分析与研究

本文详细论述了应用于静态优先级实时系统的抢占阈值调度算法。描述了算法实现和任务集合可调度性判定公式的推导,分析了算法的性能特点,阐述了抢占阈值调度是静态优先级嵌入式实时系统开发中调度算法的合适选择。     

Hadoop平台下基于加权轮转算法的改进任务调度算法

为提高Hadoop作业调度的效率,增加云平台的吞吐率,提出了一种基于Hadoop云计算平台的作业调度算法。该算法在加权轮转调度算法的基础上,针对MapReduce的运行特点,增加了改进map任务本地性调度的因素,使得作业调度仍然保持了相对的公平性,并通过提高轮转周期内的map任务数据本地性,减少了任务的执行时间。实验结果证明,该调度算法与加权轮转调度算法相比,较好地提高了任务本地执行的比例,缩短了云计算系统内作业的总执行时间。     

基于Hadoop的三队列作业调度算法

Hadoop集群单队列作业调度会产生短作业等待、资源利用率低的问题;采用多队列调度可兼顾公平、提高执行效率,但会带来手工配置参数、资源互占、算法复杂等问题。针对上述问题,提出三队列作业调度算法,利用区分作业类型、动态调整作业优先级、配置共享资源池、作业抢占等设计,达到平衡作业需求、简化一般作业调度流程、提升并行执行能力的目的。对短作业占比高,各作业占比均衡以及一般作业为主,偶尔出现长、短作业三种情况与先进先出(FIFO)算法进行了对比实验,结果三队列算法的运行时间均比FIFO算法要少。实验结果表明,在短作业聚集时,三队列算法的执行效率提升并不显著;但当各种作业并存且分布均衡时,效果很明显,这符合了算法设计时短作业优先、一般作业简化流程、兼顾长作业的初衷,提高了作业整体执行效率。     

同构Hadoop集群环境下改进的延迟调度算法

在Hadoop框架下计算资源和数据资源可以在不同物理位置的特点产生本地化问题。延迟调度算法的产生旨在解决本地化问题, 此算法根据任务待处理数据的物理位置作为作业的计算节点, 调度任务至目标节点。但是可能出现同一作业中若干任务集中运行在某一计算节点, 导致作业达不到理想的并行效果。针对原有的延迟调度算法, 提出延迟一容量调度算法, 允许部分任务选择非本地化节点作为原延迟调度算法中任务的目标计算节点, 以提高作业的响应时间与增加作业的并行程度。最后通过实验对比分析, 改进后的算法在执行效率和并行效果明显优于原延迟调度算法。     

Hadoop平台下计算模型中调度策略的研究

针对Hadoop平台下默认调度算法FIFO、计算能力调度算法以及公平调度算法在调度过程中遵守严格的队列顺序,导致一些任务被调度到不满足数据本地性节点上的问题,提出一个基于本地性的调度算法——延时调度。该算法在维护公平性原则的同时,当一个被调度的作业无法启动一个本地的任务时,让这个任务等待一小段时间,调度其他作业先执行。实验结果表明,此调度算法缩短了作业平均响应时间,有效增加了集群系统的吞吐量,提高了集群资源利用率。     

Hadoop集群作业的调度算法

Hadoop集群作业调度算法一直都是社区中讨论最热门的话题之一,当前有大量的设计与实现围绕着它展开。作业调度算法已经作为Hadoop实现中一个可插拔的组件,这也为大家能够对它进行更深入的探索打开了方便之门。     

异构Hadoop环境下的实时作业调度算法

为提升Hadoop集群在异构环境下处理硬实时作业的性能,提出一种基于历史进度自动调整作业优先级的调度算法（HAPS）。该算法实时监控作业进度信息,对作业进度率进行指数平滑预测,计算作业剩余执行时间,动态估算作业空闲时间。并据此实时更新作业队列中作业的优先级顺序,优先调度空闲时间小的作业。实验结果表明,HAPS有效地提高了异构环境下硬实时作业的执行成功率。     

基于蚁群算法的Hadoop调度算法研究

为有效提高Hadoop集群作业调度的效率,提出一种基于蚁群算法的自适应作业调度的方案,有效利用蚁群算法正反馈的优势特点,使Hadoop作业调度器更高效地对任务进行分配,提高整体架构的作业性能。实验结果表明,该算法能够很好的平衡资源负载,减少任务的完成时间,提高系统处理任务的性能。     

一种时分簇调度算法的实现

无线传感器网络是一种典型的资源受限系统,研究信道和时隙在内的资源分配方法,对提高网络性能保障服务质量具有重要意义。为解决智慧医疗系统中传感网络结构不固定,服务质量无法保障问题,构建了一种非平衡的簇树结构,采用可避免碰撞、保证传输时延的时分簇调度算法进行传输任务的分配,将资源分配结果在TinyOS系统中进行实现,并采用CC2530平台进行验证。为便于修改数据流参数,使调度的结果更加直观,设计了图形用户界面。结果表明这种时分簇调度算法可以保证非平衡结构无线传感网络通信质量,为大规模簇树网络提供有效的服务保障。     

浅析网格环境中的任务调度算法

网格系统由大量异构资源组成,具有复杂、动态和自治等特点。高效的调度算法可以充分利用网格系统和处理能力,从而提高应用程序的性能。本文提出Segment Qos Min-Min RR任务调度算法,平衡了负载,提高了任务的完成时间和平均等待时间。     

气象环境下的云计算调度算法

针对气象计算的特点,提出气象计算的云模型,在这个模型之上,提出气象云计算（Weather Cloud）的启发式调度算法。调度算法对气象作业按照时间紧迫型、CPU紧迫型、内存紧迫型和硬盘空间紧迫型进行分类,计算资源综合紧迫指数,相应地赋予不同调度优先权限。与CMMS（Cloud Min min Scheduling）、AFCFS（Adaptive First Come First Service）、Fair的调度算法对比表明,Weather Cloud的调度算法不但减少了计算的等待时间,而且增加了完成的指令数量。     

事务密集型环境下的工作流自适应调度算法

针对事务密集型工作流系统的特性,提出一种工作流动态自适应调度算法――预演算调度算法。在该算法中每个工作流应用都会进行初始化计算以产生一个可执行节点的优先级序列,从而保证不同运行环境下每个流程实例的执行代价与传输代价最小。实验结果表明,在事务密集型环境中该算法具有较好的运行效率。     

异构环境下改进的LATE调度算法

针对异构环境下LATE算法在选择备份任务及执行节点时的不足,提出一个改进的IR-LATE调度算法。算法通过计算为剩余完成时间最长、最需要备份的慢任务启动备份,并将其按负载不同进行分类,结合轮询算法,将备份任务分配到负载最小且成功/负载比高的节点上执行。实验结果表明,该算法与LATE算法比较,有效的将作业完成时间缩短了30%左右,提高了执行效率,进而促进系统的负载均衡。     

一种视频服务器集群的动态反馈调度算法

目前采用集群技术是实现大规模视频服务的主要手段.本文在通过分析Linux服务器集群系统(LVS)的特点,视频服务器集群系统的负载调度研究中,针对请求的服务时间变化大的特点,提出一种动态反馈负载平衡算法,它结合内核中的加权连接调度算法,根据动态反馈回来的负载信息来调整服务器的权值,从而有效地解决服务器间的负载不平衡问题,提高了系统的吞吐率,使整个集群的综合负载率随规模增大而呈平滑增长.     

一种并行扫描计算局部调度算法

为了解决优先级调度算法的可扩展性问题,本文设计并实现了一种局部的深度优先扫描算法(PDFHDS)。该算法在计算初始优先级和计算最终优先级时,对每个结点只遍历一次,在这一次遍历中只访问该结点的全部直接前驱,避免了在PDFDS算法中每修改一个结点的优先级就要访问其全部前驱结点的情况,减少了一部分计算开销,消息传递过程使用单向传递,只向前邻处理器传递有多级外部后继的网格点信息,而不传递只具有一级外部后继的网格点信息,节省了通信开销。从实验数据可知,虽然在处理器个数少的时候性能比不上DFHDS算法,但对于多处理器的情况,PDFDS算法的性能可以比DFHDS算法的提高50%,甚至更多。     

网格环境下一种QoS感知的批调度算法

网格环境下,批调度以系统吞吐率为调度目标,未能考虑用户的服务质量(QoS)要求.本文在传统的批调度算法中加入对任务完成时限的考虑,提出了一种QoS感知的批调度算法.仿真结果表明,在保持系统吞吐率不变的情况下,该算法与传统批调度算法相比,任务按时完成比率有明显提高.同时,该算法对任务执行时间的预测误差也具有良好的适应性.