基于延迟调度策略的Reduce调度优化算法

在大规模的Hadoop集群中,良好的任务调度策略对提高数据本地性、减小网络传输开销、减少作业执行时间以及提高集群的作业吞吐量都有着重要的影响。本文针对Hadoop架构中Reduce任务的数据本地性较低问题,提出了一种基于延迟调度策略的Reduce任务调度优化算法,通过提高Reduce任务的数据本地性来减少作业执行时间以及提高作业吞吐量,该算法在Hadoop架构的Early Shuffle阶段,使用多级延迟调度策略来提高Reduce任务的数据本地性。最后重写原生公平调度器代码实现了该调度算法,并与原生公平调度器进行了对比实验分析,实验结果表明该算法明显减少了作业执行时间,提高了集群的作业吞吐量。     

一种基于DAG的MapReduce任务调度算法

Hadoop已成为研究云计算的基础平台,MapReduce是其大数据分布式处理的计算模型。针对异构集群下MapReduce数据分布、数据本地性、作业执行流程等问题,提出一种基于DAG的MapReduce调度算法。把集群中的节点按计算能力进行划分,将MapReduce作业转换成DAG模型,改进向上排序值计算方法,使其在异构集群中计算更精准、任务的优先级排序更合理。综合节点的计算能力与数据本地性及集群利用情况,选择合理的数据节点分配和执行任务,减少当前任务完成时间。实验表明,该算法能合理分布数据,有效提高数据本地性,减少通信开销,缩短整个作业集的调度长度,从而提高集群的利用率。     

Hadoop集群环境下集成抢占式调度策略的本地性调度算法设计

在Hadoop集群环境下本地性调度算法是提高数据本地性的算法。本地性调度算法的调度策略的本质是提高数据本地性,减少网络传输开销,避免阻塞。但是由于Map任务的完成时间不同,Reduce任务存在的等待现象影响了作业的平均完成时间,使得作业的完成时间增加,进而引起系统的性能参数不佳。因此提出在保留原算法数据本地性要求的基础上集成可抢占式的调度方法。在Reduce任务等待时,挂起该任务并释放资源给其他Map任务,当Map任务完成到一定程度后,重新调度Reduce任务。基于上述调度策略设计了集成抢占式策略的本地性调度。为了对改进的算法进行验证,通过实验对本地性调度算法和集成抢占式本地性调度算法进行比较。实验结果表明,在相同数据上,集成抢占式本地性调度算法的平均完成时间有明显的降低。     

Hadoop平台下基于加权轮转算法的改进任务调度算法

为提高Hadoop作业调度的效率,增加云平台的吞吐率,提出了一种基于Hadoop云计算平台的作业调度算法。该算法在加权轮转调度算法的基础上,针对MapReduce的运行特点,增加了改进map任务本地性调度的因素,使得作业调度仍然保持了相对的公平性,并通过提高轮转周期内的map任务数据本地性,减少了任务的执行时间。实验结果证明,该调度算法与加权轮转调度算法相比,较好地提高了任务本地执行的比例,缩短了云计算系统内作业的总执行时间。     

Hadoop集群环境下本地性调度算法改进

Hadoop集群环境下本地性调度算法是提高数据本地性的算法。算法本质是提高数据本地性,减少数据传输时间,减少集群的网络I/O,提高资源利用率。由于调度算法采用FIFO方式,当前作业数据量大时将影响其他紧急性高的作业响应时间,降低系统性能。本文提出一种新的调度策略,即在保证原算法数据本地性的前提下,集成静态优先级的抢占调度策略。实验结果表明,在相同的数据集上,采用集成静态优先级抢占的调度策略,优先级高的作业响应时间较优先级低的作业响应时间减少。     

MapReduce在Hadoop平台下作业调度算法的改进和实现

该文在Hadoop实现的MapReduce架构基础上,分析了现有的三种作业调度算法,针对当前算法没有考虑服务器负载状况和数据本地性差的缺点,提出了基于可变长度队列的公平调度算法(FSVQ),该算法分析了空闲节点率,并通过采取等待的办法满足考虑数据本地性。实验证明该算法可增加服务器集群的工作效率,减少网络延迟,具有实际的应用意义。     

Hadoop作业调度本地性的研究与优化

作为开源云计算平台的核心技术之一,Map Reduce作业处理框架及其作业调度算法,对整个系统的性能起着至关重要的作用,而数据本地性是衡量作业调度算法好坏的一个重要标准,首先本文介绍和分析了Map Reduce基本原理,Map Reduce作业处理机制和Map Reduce作业调度机制及其在数据本地性方面表现出的优缺点等相关内容。其次,针对原生作业调度算法在数据本地性考虑不周全的问题,结合数据预取技术的可行性与优势,通过引入资源预取技术设计并实现一种基于资源预取的Hadoop Map Reduce作业调度算法,使作业执行效率更高。     

基于Logistic回归模型的Hadoop本地任务调度优化算法*

当一个工作节点有多个本地任务可执行时,默认情况下,调度器都是按照任务被发现的先后顺序来进行执行,效率低下。针对于此,为了优化对本地任务的调度,提出了基于Logistic回归模型的Hadoop本地任务调度优化算法。首先,选取定义与任务相关的特征向量,然后基于Logistic回归的机器学习方式得到各向量的作用权值,将任务进行优先级排序,并通过过载规则不断更新模型。通过实验证明,提出的算法在改善map 任务的数据本地性的同时,降低了作业运行时间。     

基于优先级的Three-Queue调度算法研究

针对Hadoop平台上调度算法存在的不足,提出了一种改进的调度算法———Triple-Queue算法。在充分考虑数据的本地性后,Triple-Queue算法设计了一种改进的优先级计算模型,以有效地区分用户作业的等级,同时又保证一定程度的公平性,进而减小作业执行时间,避免系统资源浪费。实验结果表明,随着数据量的提高,该算法执行效率明显提高,同时能够较好地解决数据本地性问题。     

一种MapReduce实时调度算法设计及实现

MapReduce是云计算中重要的批数据处理框架,多任务共享MapReduce机群并满足任务实时性要求是调度算法急需解决的问题。提出两阶段实时调度算法,将调度划分为任务间调度和任务内调度。对于任务间调度,使用抽样法和经验值法确定子任务执行时间,利用该参数建立资源分配模型,动态确定任务优先级进行调度;对于子任务使用延迟调度策略进行调度,保证计算的本地性。实验结果显示,两阶段实时调度算法相比公平调度算法和FIFO算法,在保证吞吐量的同时能够满足任务实时性要求。     

一个基于全局竞标机制的网格调度系统

通过对性能驱动型网格调度系统的分析,指出了其不足之处,继而提出并实现了全局调度和本地调度相结合的基于全局竞标机制的网格调度系统.实验证明,该系统能够在用户指定的时间约束内完成作业,并获得较优的执行代价,降低作业的运行成本.     

基于NOW的运行时增量式集中式调度（NRICS）及其实现

提出并实现了一种基于NOW的运行时增量式集中式调度（runtime incremental conccentrated scheduling on NOW,NRICS）方法,该方法具有以下特点：运行时调度、增量式调度、集中式调度、结点间并行式负载交互。NRICS中,在一个阶段中由于对各任务的粒度和各结点执行能力估计不足所造成的负载失衡将在下一个阶段中得到改进和纠正,从而使各结点的负载不断趋于平衡。该方法具有良好的可伸缩性,文末给出了部分实验结果。     

基于适应策略的迭代学习调度

适应调度是一种基于状态/性能反馈的定性控制方法．适应调度知识完成从状态到 调度规则的映射，与制造系统配置、生产任务构成、调度目标函数密切相关，并随调度问题 的改变而改变，具有较强的针对性．采用迭代学习方法，根据具体调度问题自动修正适应调 度知识，提高系统运行性能；另一方面，由于引入了调度目标函数，使生产管理者最关心的 性能得到优化，最大限度满足生产管理者的生产目标．仿真实验结果验证了这一方法的有效 性．     

基于复合代理体（Agent）的纺纱车间调度系统研究

毛纺企业的纺纱车间生产调度问题是一种复杂的Flowshop调度问题，针对这类问题， 本文提出采用Flowshop复合代理体（FSCA）求解的方案，其中使用了GA算法．在讨论了FSCA 的结构、实现和详细调度算法的基础上，通过纺纱车间调度实例研究说明了使用FSCA解决Fl owshop调度问题的有效性．     

基于算法组合的人员排班方法研究

排班问题是现实生活中的常见问题.从国内某货航实际情况出发,提出了一种初步排班流程.首先采用线性规划建立班制,再依据班制用贪心算法构建班制串矩阵,以回溯方法将具体班填入班制串,进行微调后完成排班.实验表明了排班方法的合理性.     

基于资源角色分类的密集计算网格作业管理

对密集计算网格的资源进行角色分类，采用了基于作业优先级和资源优先级的作业调度算法，设计和实现了网格作业管理模块，为用户提供了一个有效的网格资源的使用方法，实现了对网格资源的优化使用，为网格用户提供了更好的网格资源服务共享。     

实时数据库的定时调度策略

本文针对目前实时系统中优先级调度的不足,提出了一种新的定时调度的事务调度方法。该方法能以系统时钟的最小量度精确地实现事务的定时调度。它与传统的优先级调度方法结合使用,可以更好地满足事务的截止期。本文还讨论了实现该策略的一些问题。     

基于遗传算法的MES热轧型钢生产计划调度系统的研究

针对热轧型钢企业生产计划调度的约束复杂、易延误交货期、寻求最优解困难等问题,提出生产计划调度系统的结构功能设计方案,选用改进的批决策批调度策略建立计划调度模型,并利用遗传算法求解生产调度计划。以某热轧型钢企业设计实现的制造执行系统为依托,研究生产计划调度系统的执行情况,通过不同的订单数据以及不同的计划编制方法进行模拟计算和结果比较,验证了该改进型批决策与批调度模型的解可降低设备调度、节省生产时间、减少交货延误,以此来指导热轧型钢的生产可切实提高企业生产效率。     

基于网格计算框架的Web信息提取系统的研究

大规模Web信息提取是面向Internet非规范知识处理中的一个典型问题.以网格计算框架为实现平台,设计了分层的网格应用系统架构,针对Web信息提取中链接分析和信息提取功能,描述了面向一般网格计算框架的资源调度与编程模型.最后结合Web信息提取系统的实验结果,给出了网格应用系统的评价标准.     

一种基于PGRM结构的负载分布策略

本文首先介绍一种基于并行图重写模型的并行图重写机ＰＧＲＭ。在此基础上提出一种新的任务分布策略。目标是以基于多线程的负载分布策略，减少系统的通讯开销，缩短响应时间并且使派生的任务有合理的计算粒度。本文提出的策略是一种融合分布式与集中式两种控制机制的一种混合策略。实验测试结果表明这种分布策略在多ＴＲＡＮＳＰＵＴＥＲ构成的分布存储多机系统上具有高效性和实用性。