| 异构资源环境下的MapReduce性能优化 |
| |
| 引用本文： | 陶永才,石磊. 异构资源环境下的MapReduce性能优化[J]. 小型微型计算机系统, 2013, 34(2): 287-292 |
| |
| 作者姓名： | 陶永才 石磊 |
| |
| 作者单位： | 郑州大学信息工程学院,郑州,450001 |
| |
| 基金项目： | 国家“九七三”重点基础研究发展计划项目(2007CB310900)资助;国家“八六三”高技术研究发展计划项目(2006AA01A115)资助 |
| |
| 摘 要： | ![]()
针对现有Hadoop难以适应异构资源环境的不足,提出一种自适应MapReduce调度器:CloudMR.基于数据局部性,CloudMR将同一机架内的对进行本地归约合并,减少中间结果中对的数目,从而减少机架间的数据传送.根据资源性能和任务特征,CloudMR动态确定节点任务槽数和数据分配量.对于计算性能高的节点,CloudMR分配较多的任务和数据量,而对于计算性能低的节点,相应地减轻任务和数据量负载.实验表明,在异构环境下,较之现有Hadoop,CloudMR减少了节点间数据传输和备份任务运行,缩短了作业完成时间.
|
| 关 键 词： | 云计算 异构资源 MapReduce Hadoop |
Optimization of MapReduce Performance in Heterogeneous Resource Environments |
| |
| TAO Yong-cai , SHI Lei. Optimization of MapReduce Performance in Heterogeneous Resource Environments[J]. Mini-micro Systems, 2013, 34(2): 287-292 |
| |
| Authors: | TAO Yong-cai SHI Lei |
| |
| Affiliation: | (School of Information Engineering,Zhengzhou University,Zhengzhou 450001,China) |
| |
| Abstract: | ![]()
|
| |
| Keywords: | |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
|
