| 一种面向海量存储系统的高效元数据集群管理方案 |
| |
| 引用本文： | 肖中正,陈宁江,魏峻,张文博.一种面向海量存储系统的高效元数据集群管理方案[J].计算机研究与发展,2015(4):929-942. |
| |
| 作者姓名： | 肖中正 陈宁江 魏峻 张文博 |
| |
| 作者单位： | 1. 广西大学计算机与电子信息学院 南宁 530004
2. 中国科学院软件研究所软件工程技术研究开发中心 北京 100190 |
| |
| 基金项目： | 国家自然科学基金项目(61063012,61363003);广西自然科学基金项目(2012GXNSFAA053222);广西高校优秀人才资助计划项目([2011]40);广西科学研究与技术开发计划项目(桂科软13180015,桂科攻1348020-7);南宁市科学研究与技术开发计划项目(201109016A) |
| |
| 摘 要： | 高效的、去中心化的元数据管理方案对大型分布式存储系统的可靠性、可扩展性起至关重要的作用．针对基于Hash划分和基于子树划分的元数据管理方案扩展代价巨大、对集群变动敏感等问题，提出一种基于一致性 Hash结构的元数据服务器（metadata server ，MDS）集群化方案———CH‐MMS （consistent Hash based metadata management schema）．CH‐MMS 在一致性 MDS 集群上引入虚拟MDS（Virtual MDS），有效平衡MDS集群负载；将Standby机制与延迟更新策略融合并应用于MDS集群，实现MDS快速失效恢复以及集群变动时零数据迁移量．阐述了CH‐MMS的体系结构，介绍了核心数据结构layout‐table、虚拟MDS结构、延迟更新机制及相关算法，并对CH‐MMS扩展性、容错性作了定性分析．最后通过原型系统和模拟实验说明，CH‐MMS具有元数据平衡分布、快速失效恢复、灵活的扩展性以及零结点变动数据迁移量等特点，能满足数据量不断增加的大规模存储集群元数据灵活、高效管理的需求．
|
| 关 键 词： | 元数据管理 一致性Hash 大数据存储 元数据服务器 分布式文件系统 |
A High Performance Management Schema of Metadata Clustering for Large-Scale Data Storage Systems |
| |
| Xiao Zhongzheng
,
Chen Ningjiang
,
Wei Jun
,
Zhang Wenbo.A High Performance Management Schema of Metadata Clustering for Large-Scale Data Storage Systems[J].Journal of Computer Research and Development,2015(4):929-942. |
| |
| Authors: | Xiao Zhongzheng Chen Ningjiang Wei Jun Zhang Wenbo |
| |
| Affiliation: | Xiao Zhongzheng;Chen Ningjiang;Wei Jun;Zhang Wenbo;School of Computer and Electronic Information,Guangxi University;Technology Center of Software Engineering,Institute of Software,Chinese Academy of Sciences; |
| |
| Abstract: | |
| |
| Keywords: | metadata management consistent Hash large-scale data storage metadata server (MDS) distributed file system |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
