共查询到16条相似文献,搜索用时 69 毫秒
1.
针对目前层级队列作业调度算法中资源占比高的作业执行效率低的问题,提出一种资源匹配最大集算法。该算法分析作业特征,引入完成度、等待时间、优先级、重调度次数为紧迫值因子,优先考虑资源占比高或等待时间长的作业,以改善作业公平性;采用双队列结构在可用资源总量内优先选择高紧迫值作业,在不同资源占比作业集比较中选择作业数最大集,以实现调度平衡。在与最大最小公平(Max-min fairness)算法的实例对比中发现,该算法可降低作业集平均等待时间、提高资源利用率。实验对比结果表明,该算法可将不同资源占比的单一类型作业集执行时间缩短18.73%,其中资源占比高的作业执行时间缩短27.26%;在混合型作业集中对应的执行时间可分别缩短22.36%与30.28%。所提算法能有效减少资源占比高作业的等待,提高作业整体执行效率。 相似文献
2.
为有效提高Hadoop集群作业调度的效率,提出一种基于蚁群算法的自适应作业调度的方案,有效利用蚁群算法正反馈的优势特点,使Hadoop作业调度器更高效地对任务进行分配,提高整体架构的作业性能。实验结果表明,该算法能够很好的平衡资源负载,减少任务的完成时间,提高系统处理任务的性能。 相似文献
3.
4.
5.
Hadoop是一种开源可靠的分布式计算框架,而MapReduce是处理超大规模数据集的编程模型.鉴于Ha-doop内置的调度器不能很好地处理类别不同且有截止时间的作业的调度,提出了一种基于作业类别和截止时间的作业调度算法.作业分为CPU密集型和I/O密集型,并根据截止时间设置优先级来实现作业的调度.实验结果表明,该算法在充分利用集群的CPU和磁盘I/O的同时,能满足作业的截止期需求,当同一时间段内截止时间相近时算法达到最优,当某一队列中作业截止时间均比另一种队列短时,算法效率最低. 相似文献
6.
为了满足有截止时间限制的MapReduce作业的需求,提出一种基于截止时间限制的动态调度算法(DCDS)。该算法实时监控作业运行状况,并对作业运行时间进行动态估算,从而确定作业优先级;对于时间紧迫的作业,可通过抢占策略来保证在用户要求的截止时间内完成。实验结果表明,与Hadoop平台现有的调度算法相比,该算法不仅能满足作业截止时间的要求,也提高了系统资源的利用率和吞吐量。 相似文献
7.
8.
Hadoop集群作业的调度算法 总被引:1,自引:0,他引:1
Hadoop集群作业调度算法一直都是社区中讨论最热门的话题之一,当前有大量的设计与实现围绕着它展开。作业调度算法已经作为Hadoop实现中一个可插拔的组件,这也为大家能够对它进行更深入的探索打开了方便之门。 相似文献
9.
本文概述了常用队列调度算法的实现机制,并举例说明了在特定的网络环境中如何应用QoS队列调度算法。 相似文献
10.
调度问题是目前云计算研究中的热点问题,其目的是研究如何协同云计算资源,使其能最大化利用.Hadoop是目前流行的开源云计算平台.针对Hadoop自带的作业调度算法的不足,研究和实现了基于优先级的加权循环算法.该算法能够区分用户服务等级,保证系统资源不被服务等级高的用户长时间占有,保证系统资源得到合理的利用.最后,对该算法进行实验及性能分析,验证该算法能够提高系统的整体效率和减少了相应时间,避免资源浪费. 相似文献
11.
12.
风电场数据中心包含状态监测、数据采集等实时类作业和非实时类作业,采用C/S结构存在资源利用率不平衡、管理与维护成本高等缺点。设计了一种基于Hadoop云平台的数据中心架构;针对开源Hadoop平台现有FIFO调度器不能满足实时监测系统要求,在原有FIFO调度器的基础上,设计了一种双队列的作业调度器,综合考虑作业的截止时间和优先级来进行作业调度决策,实验结果表明,与FIFO调度器相比,双队列的作业调度器在集群负载较大时能够表现出较好的性能,保证实时类作业能够优先执行,为风电机组的安全运行提供保障。 相似文献
13.
分布式集群普遍存在负载均衡问题,而Hadoop没有考虑到节点间性能的差异.虽然有负载均衡机制,但是效果不太理想,因此运行过程中经常会出现负载不均衡的情况。针对如上问题,深入分析了Hadoop源代码,理清了Hadoop的运行原理,在Hadoop资源管理机制Yarn中改进了Hadoop任务的排序,建立了新的任务排序规则,提出了对各节点性能评价的指标,分为动态性能指标和静态性能指标。在此基础上对Yarn的FairScheduler算法进行了改进,形成了考虑节点性能的调度算法。重新对Hadoop源码进行了编译,在所搭建的Hadoop平台上进行了对比实验,证明了加入节点性能指标有效解决了Hadoop负载均衡问题,对Hadoop的运行效率有了很大提高。 相似文献
14.
15.
在计算能力调度算法中没有全面考虑各资源特征的分配是否满足作业多样的服务要求,提出一种基于优先级的计算能力加权调度算法,根据作业的优先级以及提交时间等因素来计算作业的权重。依据作业的权重对作业队列进行排序并分配空闲的slot给队首的作业,从而避免调度陷入局部最优也能更好地满足作业的多样性服务要求。在搭建的Hadoop平台上进行实验表明,改进后的算法能较均衡地分配系统资源减少一些作业的等待时间,并且运行全部作业的用时有所减少。 相似文献