| 一种应用于大规模存储系统的数据分布算法 |
| |
| 引用本文： | 郑胜,李通.一种应用于大规模存储系统的数据分布算法[J].计算机科学,2013,40(Z11):270-273. |
| |
| 作者姓名： | 郑胜 李通 |
| |
| 作者单位： | 武汉工程大学电气信息学院 武汉430205;武汉工程大学电气信息学院 武汉430205 |
| |
| 摘 要： | 随着大数据时代的到来,PB级、EB级甚至ZB级数据集出现,存储系统的建设需要根据业务的发展,逐渐进行扩展。不同性能存储设备的加入、旧设备的退出以及多设备同时失效等问题的出现对传统存储系统数据分布算法提出严峻挑战。设计了一种新的hash映射算法,该算法引入节点权重和多副本,并考虑节点失效和节点过载情况,能够适应存储系统扩容、节点失效、节点过载的动态环境。该算法能从概率上保证系统伸缩时,数据对象及其副本分布在不同的节点上,以及在节点间保持概率上分布的均衡性和迁移数据量最优；针对系统运行过程中节点失效和节点过载,该算法也进行了有效处理,提高了系统的可用性和性能。通过数学分析和实验验证了该分布算法自动适应存储系统的伸缩变化,保证了数据分布均匀性和对节点失效和过载的有效处理。
|
| 关 键 词： | 分布式文件系统 在线扩展 数据映射 数据迁移 |
Data Placement Algorithm for Large-scale Storage System |
| |
| ZHENG Sheng and LI Tong.Data Placement Algorithm for Large-scale Storage System[J].Computer Science,2013,40(Z11):270-273. |
| |
| Authors: | ZHENG Sheng and LI Tong |
| |
| Affiliation: | College of Electrical and Electronic Engineering,Wuhan Institute of Technology,Wuhan 430205,China;College of Electrical and Electronic Engineering,Wuhan Institute of Technology,Wuhan 430205,China |
| |
| Abstract: | |
| |
| Keywords: | Distributed file system Scalability Data placement Data migration |
|
| 点击此处可从《计算机科学》浏览原始摘要信息 |
|
点击此处可从《计算机科学》下载全文 |
|
