|
|||||
|
|
| Hadoop异构集群中数据负载均衡的研究 | |
| 作者单位： | ;1.南京航空航天大学计算机科学与技术学院;2.中国人民解放军94860部队 |
| 摘 要： | Hadoop平台下,数据的负载均衡对平台性能的发挥有着深远的影响。首先分析默认数据负载均衡的局限性,针对现有默认HDFS(Hadoop Distributed File System)数据负载均衡算法只考虑存储空间利用率,而未考虑节点间异构性的问题,提出一种量化异构集群数据负载均衡的数学模型。该模型根据节点的存储空间及节点性能计算得到各个节点的理论空间利用率,并根据当前集群存储空间利用率动态调整节点最大负载。实验结果表明,提出的数据负载均衡策略能够让异构集群达到更合理的均衡状态,提高集群的效率,并有效减少作业的执行时间。 |
| 关 键 词： | Hadoop HDFS 数据负载均衡 异构集群 |
RESEARCH ON DATA LOAD BALANCING IN HETEROGENEOUS HADOOP CLUSTER |
|
| Abstract: | |
| Keywords: | |