| 蓝鲸元数据服务器集群的细粒度负载迁移 |
| |
| 引用本文： | 刘健,张军伟,张浩,邵冰清,杨洪章,刘振军.蓝鲸元数据服务器集群的细粒度负载迁移[J].计算机研究与发展,2014(Z1). |
| |
| 作者姓名： | 刘健 张军伟 张浩 邵冰清 杨洪章 刘振军 |
| |
| 作者单位： | 中国科学院计算技术研究所;中国科学院大学; |
| |
| 基金项目： | 国家“九七三”重点基础研究发展计划基金项目(2011CB302304);国家“八六三”高技术研究发展计划基金项目(2011AA01A102,2013AA013205);中国科学院战略性先导专项课题(XDA06010401);中国科学院重点部署基金项目(KGZD-EW-103-5(7)) |
| |
| 摘 要： | 大数据应用对信息系统的底层存储提出了极大挑战,其首选方案为元数据服务器(metadata server,MDS)集群架构.MDS集群系统为了实现负载均衡,采用的基本机制为元数据服务的负载迁移.当前主流方案存在迁移时间长,迁移中写相关元数据访问需要阻塞的问题.提出细粒度的元数据服务负载迁移方案,由迁出端恢复迁移机制和细粒度控制迁移机制2部分组成.在迁移过程中,以文件为粒度在迁入端重建迁出端的元数据相关状态结构,并根据被访问状态的类型选择在迁出端或迁入端进行立即响应,而非阻塞操作直到迁移完成.在蓝鲸MDS集群系统上实现了此方案,测试和分析表明,在10 000规模的迁移场景中,迁移时间控制在800ms以下,元数据或状态写入延迟最高为215ms.与系统原方案中90s的固有延时相比,此方案有效解决了MDS集群中负载迁移时间过长的问题,并且极大地降低了迁移过程对正常元数据访问的影响.
|
| 关 键 词： | 元数据服务器 MDS集群 负载均衡 负载迁移 细粒度 |
| 本文献已被 CNKI 等数据库收录！ |
|
