| 面向大数据分布式存储的动态负载均衡算法 |
| |
| 引用本文： | 张栗粽,崔园,罗光春,陈爱国,卢国明,王晓雪.面向大数据分布式存储的动态负载均衡算法[J].计算机科学,2017,44(5):178-183. |
| |
| 作者姓名： | 张栗粽 崔园 罗光春 陈爱国 卢国明 王晓雪 |
| |
| 作者单位： | 电子科技大学计算机科学与工程学院 成都611731,电子科技大学计算机科学与工程学院 成都611731,电子科技大学计算机科学与工程学院 成都611731,电子科技大学计算机科学与工程学院 成都611731,电子科技大学计算机科学与工程学院 成都611731,电子科技大学计算机科学与工程学院 成都611731 |
| |
| 基金项目： | 本文受四川省科技厅应用基础(2015JY0228),科技支撑计划(2015SZ0045,2014GZ0174),电子科大基础研究(ZYGX2015J063),海外留学回国人员科研启动费项目基金资助 |
| |
| 摘 要： | 随着大数据时代的到来,分布式存储技术应运而生。目前主流大数据技术Hadoop的HDFS分布式存储系统的元数据存储架构上一直存在可扩展性差和写延迟高等问题,其在官方2.0版本中针对可扩展性的解决方案(Fe-deration)仍不完美,仅解决了原有HDFS扩展性的问题,在元数据分配的问题上没有考虑NameNode的异构性能差异,也未解决NameNode集群动态负载均衡的问题。针对该情况,提出了一种动态负载均衡的分布NameNode算法,通过元数据多副本异构节点的动态适应性备份,使元数据在考虑节点性能及负载的情况下实现了动态分布,保证了元数据服务器集群的性能；同时结合缓存策略及自动恢复机制,提高了元数据的读写性及可用性。该算法在试验验证中达到了较为理想的效果。
|
| 关 键 词： | 大数据 分布式存储 元数据管理 HDFS |
| 收稿时间： | 2016/12/30 0:00:00 |
| 修稿时间： | 2017/2/23 0:00:00 |
Dynamic Load Balance Algorithm for Big-data Distributed Storage |
| |
| ZHANG Li-zong,CUI Yuan,LUO Guang-chun,CHEN Ai-guo,LU Guo-ming and WANG Xiao-xue.Dynamic Load Balance Algorithm for Big-data Distributed Storage[J].Computer Science,2017,44(5):178-183. |
| |
| Authors: | ZHANG Li-zong CUI Yuan LUO Guang-chun CHEN Ai-guo LU Guo-ming and WANG Xiao-xue |
| |
| Affiliation: | School of Computer Science and Engineering,University of Electronic Science and Technology of China,Chengdu 611731,China,School of Computer Science and Engineering,University of Electronic Science and Technology of China,Chengdu 611731,China,School of Computer Science and Engineering,University of Electronic Science and Technology of China,Chengdu 611731,China,School of Computer Science and Engineering,University of Electronic Science and Technology of China,Chengdu 611731,China,School of Computer Science and Engineering,University of Electronic Science and Technology of China,Chengdu 611731,China and School of Computer Science and Engineering,University of Electronic Science and Technology of China,Chengdu 611731,China |
| |
| Abstract: | |
| |
| Keywords: | Big data Distributed file storage Meta data management Hadoop distributed file system (HDFS) |
|
|
点击此处可从《计算机科学》下载全文 |
|
