一种优化的Hadoop副本放置策略 |
| |
作者单位: | ;1.华侨大学计算机科学与技术学院 |
| |
摘 要: | Hadoop分布式文件系统默认采用三副本策略实现较为简单,未对数据节点负载进行充分考虑。为了改善HDFS中集群负载的均衡性,提高数据节点的资源利用率,提出一种优化的副本放置策略。该策略综合考虑数据节点的实时负载信息和工作进程数,选择负载最小的节点存放数据。实验结果表明,与默认策略相比,优化的Hadoop副本放置策略能使副本分布更加合理,集群的均衡性更加良好,并能减少数据上传响应时间。
|
关 键 词: | Hadoop 副本放置 实时负载 负载均衡 |
An improved replica placement strategy in Hadoop |
| |
Abstract: | |
| |
Keywords: | |
|
|