| 异构Hadoop集群下的比例数据分配策略 |
| |
| 引用本文： | 魏文娟,王黎明.异构Hadoop集群下的比例数据分配策略[J].计算机应用与软件,2015(6). |
| |
| 作者姓名： | 魏文娟 王黎明 |
| |
| 作者单位： | 郑州大学信息工程学院 河南 郑州 450052 |
| |
| 摘 要： | 针对异构Hadoop环境下仍采用均等的数据分配方法将严重降低MapReduce的性能,提出比例数据分配策略。通过计算异构集群中各节点的计算比率,将已经分割好的数据块重新进行组合,形成数个按比例划分的数据块。每个节点根据自身性能来选择所分配和存储的数据块,从而使异构Hadoop集群中各节点处理数据的时间大致相同,降低节点之间数据的移动量。实验验证了提出的比例数据分配方法可以有效地提高MapReduce的性能,并使数据负载均衡。
|
| 关 键 词： | 异构Hadoop集群 MapReduce 数据转移 比例数据分配 计算速率 |
PROPORTIONAL DATA PLACEMENT STRATEGY IN HETEROGENEOUS HADOOP CLUSTERS |
| |
| Wei Wenjuan,Wang Liming.PROPORTIONAL DATA PLACEMENT STRATEGY IN HETEROGENEOUS HADOOP CLUSTERS[J].Computer Applications and Software,2015(6). |
| |
| Authors: | Wei Wenjuan Wang Liming |
| |
| Abstract: | |
| |
| Keywords: | Heterogeneous Hadoop clusters MapReduce Data transfer Proportional data placement Computing rate |
| 本文献已被 万方数据 等数据库收录！ |
|
