|
|||||
|
|
| 基于节点能力的Hadoop集群任务自适应调度方法 | |
| 引用本文： | 郑晓薇,项明,张大为,刘青昆.基于节点能力的Hadoop集群任务自适应调度方法[J].计算机研究与发展,2014(3). |
| 作者姓名： | 郑晓薇 项明 张大为 刘青昆 |
| 作者单位： | 辽宁师范大学计算机与信息技术学院; |
| 基金项目： | 国家自然科学基金项目(61105059) |
| 摘 要： | 针对当前Hadoop集群固有的任务级调度分配方法在运行中存在的负载分布不均的现象,着重对集群节点的执行能力进行了分析与研究.提出了一种基于节点能力的任务自适应调度分配方法.该方法根据节点历史和当前的负载状态,以节点性能、任务特征、节点失效率等作为节点任务量调度分配的依据,并使各节点能自适应地对运行的任务量进行调整.实验结果表明集群的总任务完成时间明显地缩减,各节点的负载更加均衡,节点资源的利用更为合理. |
| 关 键 词： | Hadoop集群 任务级调度方法 执行能力 节点能力 自适应 |
| 本文献已被 CNKI 等数据库收录！ | |