| 一种新型分布式元数据管理策略 |
| |
| 引用本文： | 王丽淑,张鸿骏,芮建武,杨骁.一种新型分布式元数据管理策略[J].计算机系统应用,2016,25(9):159-164. |
| |
| 作者姓名： | 王丽淑 张鸿骏 芮建武 杨骁 |
| |
| 作者单位： | 中国科学院软件研究所 基础软件国家工程研究中心, 北京 100190;中国科学院大学, 北京 100190,中国科学院软件研究所 基础软件国家工程研究中心, 北京 100190;中国科学院大学, 北京 100190,中国科学院软件研究所 基础软件国家工程研究中心, 北京 100190,中国科学院软件研究所 基础软件国家工程研究中心, 北京 100190;中国科学院大学, 北京 100190 |
| |
| 摘 要： | 高效、可扩展的元数据管理系统是提高分布式存储系统整体性能的关键. 传统的元数据分配策略会导致元数据负载不均衡，以及在多进程资源抢占的情况下，会存在响应处理用户请求效率不高，存储文件数目受限等问题. 上述问题在高并发、低延迟的数据存储需求中尤为突出. 提出了一个基于一致性Hash与目录树的元数据管理策略，并实现了相应的分布式元数据管理系统：利用负载均衡算法，对元数据进行迁移，保证了粗粒度负载信息收集，细粒度调整的均衡策略. 多项实验的结果表明，该策略能实现元数据负载均衡，降低用户请求处理延迟，提高分布式系统的可扩展性和可用性.
|
| 关 键 词： | 元数据 HDFS Hash 目录树 负载均衡 |
| 收稿时间： | 2016/1/19 0:00:00 |
| 修稿时间： | 2016/3/17 0:00:00 |
New Distributed Metadata Management Strategy |
| |
| WANG Li-Shu,ZHANG Hong-Jun,RUI Jian-Wu and YANG Xiao.New Distributed Metadata Management Strategy[J].Computer Systems& Applications,2016,25(9):159-164. |
| |
| Authors: | WANG Li-Shu ZHANG Hong-Jun RUI Jian-Wu and YANG Xiao |
| |
| Affiliation: | National Engineering Research Center of Fundamental Software, Institute of Software, CAS, Beijing 100190, China;University of Chinese Academy of Sciences, Beijing 100190, China,National Engineering Research Center of Fundamental Software, Institute of Software, CAS, Beijing 100190, China;University of Chinese Academy of Sciences, Beijing 100190, China,National Engineering Research Center of Fundamental Software, Institute of Software, CAS, Beijing 100190, China and National Engineering Research Center of Fundamental Software, Institute of Software, CAS, Beijing 100190, China;University of Chinese Academy of Sciences, Beijing 100190, China |
| |
| Abstract: | Efficient and scalable metadata management system is the key to improve the overall performance of distributed storage systems. Traditional metadata allocation strategies result in load imbalance of metadata, and in the case of multi-process resource preemption, there exists low efficiency in response to user requests, limitation on the number of files stored and etc. The system cannot meet the demands of high-concurrency, low-latency. To solve these problems, a distributed metadata management system based on consistent hash and directory tree, is presented in this paper. It introduces a load balance algorithm for metadata migration which has low cost and fine granularity. Experiments show that this system can achieve the load balance of metadata, obtain low respond latency and effective distribution of metadata. and improve the scalability and availability of distributed systems. |
| |
| Keywords: | metadata HDFS Hash directory tree load balance |
|
| 点击此处可从《计算机系统应用》浏览原始摘要信息 |
|
点击此处可从《计算机系统应用》下载全文 |
|
