Hadoop平台下基于加权轮转算法的改进任务调度算法

为提高Hadoop作业调度的效率,增加云平台的吞吐率,提出了一种基于Hadoop云计算平台的作业调度算法。该算法在加权轮转调度算法的基础上,针对MapReduce的运行特点,增加了改进map任务本地性调度的因素,使得作业调度仍然保持了相对的公平性,并通过提高轮转周期内的map任务数据本地性,减少了任务的执行时间。实验结果证明,该调度算法与加权轮转调度算法相比,较好地提高了任务本地执行的比例,缩短了云计算系统内作业的总执行时间。     

云环境下Hadoop平台的作业调度算法

云计算的研究和应用将有一片广阔的前景,详细研究和分析了Hadoop平台架构和核心原理,研究了Hadoop现有的典型作业调度算法,并针对算法存在需要预先配置的问题,提出了基于朴素贝叶斯分类的作业调度算法,通过仿真实验,可以看出改进的算法具备了良好的学习能力,性能良好,可以减轻管理员的负担,提高管理效率,减少人工错误的可能性.     

改进人工鱼群算法在Hadoop作业调度算法的应用

在分析Hadoop缺省及改进的作业调度算法基础上,引入群智能算法,设计了基于改进人工鱼群算法的Hadoop作业调度算法.采用随机键方式对待分配任务进行编码,以任务总执行时间作为启发函数,并引入吞食行为和跳跃行为改进人工鱼群算法,以达到进一步改善作业调度算法性能的目的.实验结果表明,改进后的人工鱼群作业调度算法在异构环境下可以提高系统性能,降低运行时间.     

一种改进的 Hadoop 多用户作业调度方法

针对目前 Hadoop 作业调度方法服务水平不高、资源利用率低的问题,提出了一种改进的 Hadoop 多用户作业调度算法。分析了 Hadoop 现行调度算法存在的不足,提出了基于服务质量（QoS）的作业选择量化和基于遗传算法的任务选择均衡化的方法,最后采用 Hadoop 平台对算法进行了仿真。仿真结果表明,该资源调度方法提高了作业的服务质量,实现了资源的合理调度。     

云计算环境下基于时间期限和预算的调度算法

现有的云计算作业调度算法研究较少考虑时间期限和预算对作业调度策略的影响.针对动态变化的云计算环境下,具有时间期限和预算双重约束的用户需求优化问题,提出一种改进的云计算调度算法,设计权值计算模型、预算评价模型和权值更新模型,通过动态调节作业权值和最小资源槽数来控制集群对资源的分配.在Hadoop平台上进行实验,结果表明,该算法能减少作业响应时间,并且可在满足用户对时间期限和预算的需求基础上,最大化云计算集群中运行的作业数,提高不同用户在时间和预算需求上的公平性.     

基于Hadoop集群的加权循环算法的研究

调度问题是目前云计算研究中的热点问题,其目的是研究如何协同云计算资源,使其能最大化利用.Hadoop是目前流行的开源云计算平台.针对Hadoop自带的作业调度算法的不足,研究和实现了基于优先级的加权循环算法.该算法能够区分用户服务等级,保证系统资源不被服务等级高的用户长时间占有,保证系统资源得到合理的利用.最后,对该算法进行实验及性能分析,验证该算法能够提高系统的整体效率和减少了相应时间,避免资源浪费.     

基于云计算Hadoop异构集群的并行作业调度算法

针对Hadoop异构集群中计算和数据资源的不一致分布所导致的调度性能较低的缺点,设计了一种基于Hadoop集群和改进Late算法的并行作业调度算法;首先,介绍了基于Hadoop框架和Map-Reduce模型的调度原理,然后,在经典的Late调度算法的基础上,对Map任务和Reduce任务的各阶段执行时间进度比例进行存储和更新,为了进一步地提高调度效率,将慢任务迁移到本地化节点或离数据资源较近的物理节点上,并给了基于改进Late算法的作业调度流程;为了验证文中方法,在Hadoop集群系统上测试,设定1个为Jobtracker主控节点和7个为TaskTracker节点,实验结果表明文中方法能实现异构集群的作业调度,且与其它方法比较,具有较低的预测误差和较高的调度效率。     

Hadoop作业调度本地性的研究与优化

作为开源云计算平台的核心技术之一,Map Reduce作业处理框架及其作业调度算法,对整个系统的性能起着至关重要的作用,而数据本地性是衡量作业调度算法好坏的一个重要标准,首先本文介绍和分析了Map Reduce基本原理,Map Reduce作业处理机制和Map Reduce作业调度机制及其在数据本地性方面表现出的优缺点等相关内容。其次,针对原生作业调度算法在数据本地性考虑不周全的问题,结合数据预取技术的可行性与优势,通过引入资源预取技术设计并实现一种基于资源预取的Hadoop Map Reduce作业调度算法,使作业执行效率更高。     

基于延迟调度策略的Reduce调度优化算法

在大规模的Hadoop集群中,良好的任务调度策略对提高数据本地性、减小网络传输开销、减少作业执行时间以及提高集群的作业吞吐量都有着重要的影响。本文针对Hadoop架构中Reduce任务的数据本地性较低问题,提出了一种基于延迟调度策略的Reduce任务调度优化算法,通过提高Reduce任务的数据本地性来减少作业执行时间以及提高作业吞吐量,该算法在Hadoop架构的Early Shuffle阶段,使用多级延迟调度策略来提高Reduce任务的数据本地性。最后重写原生公平调度器代码实现了该调度算法,并与原生公平调度器进行了对比实验分析,实验结果表明该算法明显减少了作业执行时间,提高了集群的作业吞吐量。     

基于Hadoop一种移动云计算本地化调度算法的研究

移动云计算将云计算的概念引入到移动互联网中。在对移动终端和云计算进行研究的基础上,针对移动终端请求计算量小、并发性高、用户实时性要求高的特点,提出一种基于Hadoop的移动云计算本地化调度算法。同时针对实际应用场景可能出现的热点数据问题,给出改进方案。实验结果表明改进后的本地化调度算法能够缩短系统响应时间,提高系统的吞吐率。     

Hadoop平台下自响应故障感知的检测技术研究实现

当今云计算环境下,Hadoop已经成为大数据处理的事实标准。然而云计算具有大规模、高复杂和动态性的特点,容易导致故障的发生,影响Hadoop上运行的作业。虽然Hadoop具有内置的故障检测和恢复机制,但云环境中不同节点负载大小的变化,被调度的作业仍然导致失败。针对此问题提出自响应故障感知的检测调度方法,对异构环境负载能力的不同,而做出服务器快节点和慢节点的判断,把作业分配调度到合适的节点上执行,调整任务决策来尽可能的防止任务失败的发生。最后在Hadoop框架下与基本调度器进行实验性能比较,结果显示该方法减少作业失败率最高达19%,并缩短了作业执行时间,同时也减少CPU和内存的使用。     

Hadoop平台的多队列作业调度优化方法研究

对Hadoop平台的作业调度算法进行了研究, 提出了支持作业类型区分的多队列调度优化算法。优化算法支持根据节点当前的负载情况分配不同类型的作业, 以提高节点的资源利用率; 允许作业队列的资源在闲置时被其他作业队列占用; 在原作业队列需要时可以被即时回收, 即回收过程支持任务抢占; 采用共享队列列表和非共享队列列表的逻辑划分来防止乒乓效应。Hadoop平台的性能测试结果表明, 优化算法相比系统默认算法在作业调度的执行效率、执行平稳性等方面都有了显著的提升。     

基于加速收敛蜂群算法的资源感知调度器

为了能有效处理海量数据,进行关联分析、商业预测等,Hadoop分布式云计算平台应运而生。但随着Hadoop的广泛应用,其作业调度方面的不足也显现出来,现有的多种作业调度器存在参数设置复杂、启动时间长等缺陷。借助于人工蜂群算法的自组织性强、收敛速度快的优势,设计并实现了能实时检测Hadoop内部资源使用情况的资源感知调度器。相比于原有的作业调度器,该调度器具有参数设置少、启动速度快等优势。基准测试结果表明,该调度器在异构集群上,调度资源密集型作业比原有调度器快10%~20%左右。     

一种基于Hadoop的动态树增量更新方法

为适应真实环境中数据量大、流程复杂、计算密集的数据挖掘需求,提高传统树增量更新挖掘效率,改变已有算法的串行执行方式,提出一种基于Hadoop的动态树增量更新方法。介绍云计算、模型与执行流程等基本概念,针对现有Hadoop平台中任务调度的随机分配策略,设计一种动态云平台中的资源调度与分配算法,以期达到成本消耗的最小化,给出树增量更新挖掘算法以及2个并行算法（DeleteFreqTree和FindNewTree）,完成树数据的增量挖掘工作。实验结果表明,该并行算法有效可行,具有高效性与良好的扩展率,能够对海量树数据进行更新挖掘。     

Cloud data analysis using a genetic algorithm‐based job scheduling process

Data analysis plays a major role in different research applications that require a large volume of data. Cloud computing can provide computer processing resources and device‐to‐device data sharing based on user requirements. The main goal of cloud computing is to allow users and enterprise of varying capabilities to store and process data in an efficient way and to access and distribute resources. However, a crucial problem in cloud computing is job scheduling for numerous users. Prior to the implementation of job scheduling, jobs must be categorized according to degree of criticalness, privacy and time required. Based on the experimental results, the combination of tasks was successfully determined by the processor. In heterogeneous multiprocessor systems, customized job scheduling is highly critical for obtaining optimal job performance. In this paper, an evolutionary genetic algorithm was used for obtaining better results in job scheduling, thereby improving performance in the cloud system in this regard. The genetic algorithm‐based job scheduling process introduced minimizes the investment in time through effective allocation of user requests in order to enhance the overall efficiency of the system.     

基于模拟退火的Map Reduce调度算法

在计算能力作业调度算法的基础上,提出一种基于模拟退火的Map Reduce作业调度算法.利用带记忆功能的模拟退火算法选择最优作业,从而避免陷入局部最优解.在Hadoop平台上的实验结果表明,该算法能减少所有作业的运行时间以及每个作业的等待响应时间,具有较高的作业调度效率及用户满意度.     

基于Hadoop的车辆调度算法优化及应用

随着互联网技术的快速发展,各行各业所产生的信息数据也在以指数级的速度增长.传统的车辆调度算法已经不能够很好地解决车辆调度问题中出现的实时性,大规模等问题.因此,本文构建了一种基于Hadoop的动态车辆调度并行智能优化算法.该算法以传统遗传算法为基础,通过改善遗传算法全局优化能力弱和收敛于局部次优解的问题,并利用Hadoop平台的并行计算机制对传统遗传算法进行改进,使其能够有效应对大规模、快速响应的车辆调度.数值计算结果表明：基于Hadoop的车辆调度算法能够有效提升传统调度算法的优化性能,在处理大规模车辆调度问题时具有良好的加速比.     

同构Hadoop集群环境下改进的延迟调度算法

在Hadoop框架下计算资源和数据资源可以在不同物理位置的特点产生本地化问题。延迟调度算法的产生旨在解决本地化问题, 此算法根据任务待处理数据的物理位置作为作业的计算节点, 调度任务至目标节点。但是可能出现同一作业中若干任务集中运行在某一计算节点, 导致作业达不到理想的并行效果。针对原有的延迟调度算法, 提出延迟一容量调度算法, 允许部分任务选择非本地化节点作为原延迟调度算法中任务的目标计算节点, 以提高作业的响应时间与增加作业的并行程度。最后通过实验对比分析, 改进后的算法在执行效率和并行效果明显优于原延迟调度算法。     

改进蚁群算法的云计算任务调度方法

针对蚁群算法在云计算任务调度问题求解过程存在的不足,以找到最佳的云计算任务调度方案为目标,提出了一种基于改进蚁群算法的云计算任务调度方法.首先对当前云计算任务调度研究现状进行分析,并对问题进行了具体描述,然后采用蚁群算法对云计算任务调度问题进行求解,并针对标准蚁群算法缺陷进行改进,最后在CloudSim平台对该方法的性能进行测试.结果表明,改进蚁群算法可以找到较好的云计算任务问题调度方案,加快云计算任务完成速度,具有一定的实际应用价值.