| Hadoop作业执行时间在线计算方法 |
| |
| 引用本文： | 沈记全,易月婵,张霄宏. Hadoop作业执行时间在线计算方法[J]. 河南理工大学学报(自然科学版), 2014, 33(6) |
| |
| 作者姓名： | 沈记全 易月婵 张霄宏 |
| |
| 作者单位： | 1. 河南理工大学计算机科学与技术学院,河南焦作,454000
2. 河南理工大学计算机科学与技术学院,河南焦作454000;中国科学院深圳先进技术研究院,广东深圳518055 |
| |
| 基金项目： | 国家自然科学基金面上项目 |
| |
| 摘 要： | 在Hadoop MapReduce环境中,如果能预知作业的执行时间,就可在资源分配、任务调度以及负载均衡过程中作出更合理的决策,改善系统性能.在分析Hadoop MapReduce作业执行模式后,提出了一种作业执行时间在线预测方法.该方法在结合历史信息的基础上,可根据作业在不同阶段的执行进度在线预测执行时间.该方法已在Hadoop-0.20.2中实现,并在一个包含19个节点的Linux集群中进行了验证.实验结果表明,在最好情况下,根据该方法预测的执行时间和真实执行时间的误差约2%.
|
| 关 键 词： | 作业执行时间 在线预测方法 分布式计算 并行处理 MapReduce |
An online method for computing the execution time of a Hadoop job |
| |
| SHEN Ji-quan,YI Yue-chan,ZHANG Xiao-hong. An online method for computing the execution time of a Hadoop job[J]. JOURNAL OF HENAN POLYTECHNIC UNIVERSITY, 2014, 33(6) |
| |
| Authors: | SHEN Ji-quan YI Yue-chan ZHANG Xiao-hong |
| |
| Abstract: | |
| |
| Keywords: | job execution time online prediction method distributed computing parallel processing MapReduce |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
|
