|
|||||
|
|
| 基于节点性能的Hadoop作业调度算法改进 | |
| 作者单位： | ;1.中国民航大学计算机科学与技术学院 |
| 摘 要： | 由于构成数据中心的计算设备一般都存在性能上的差异,但是Hadoop调度算法没有考虑不同节点的性能差异,导致节点间出现"忙闲不均"的现象,影响作业的执行效率。针对如上问题,在系统分析Hadoop资源管理机制(Yarn)源代码的基础上,提出了节点性能评价指标,综合考虑节点的硬件配置参数和运行过程中的动态性能指标。在此基础上对Fair Scheduler调度算法进行改进,实现了基于节点性能的任务分配,整体上提高了所有节点的利用率。在Hadoop集群上的实验表明,所提出的节点性能评价指标和对Fair Scheduler调度算法的改进,有效解决了节点的负载均衡问题,整体上提高了作业执行效率。 |
| 关 键 词： | 大数据 Hadoop Yarn 负载均衡 Fair Scheduler算法 |
IMPROVEMENT OF SCHEDULING ALGORITHM ON HADOOP BASED ON NODE PERFORMANCE |
|
| Abstract: | |
| Keywords: | |