| 基于Hadoop的访问热点副本迁移技术 |
| |
| 引用本文： | 冯 钧,王 纯,朱康康,魏童童.基于Hadoop的访问热点副本迁移技术[J].计算机与现代化,2016,0(1):108. |
| |
| 作者姓名： | 冯 钧 王 纯 朱康康 魏童童 |
| |
| 基金项目： | 国家自然科学基金资助项目(61370091, 61170200) |
| |
| 摘 要： | 提出一种云环境下的访问热点负载均衡模型：基于节点的吞吐量与响应时间等主要参考指标，构建节点负载判定模块；文件在HDFS存储的过程中，将文件对应的数据块编号与存储路径相结合，设计存放在数据节点中的数据块到文件目录映射表；提出一种基于节点负载以及节点的存储空间的迁移源节点和目标节点选择方法；基于机架感知的机制，制定一种动态副本迁移方案。最后利用执行器下发指令给相应的数据节点，执行具体的迁移任务以及完善迁移后副本因子等参数信息的调整。通过迅速扩散副本的方式，来增加热点文件的副本数量，使得系统能够对外提供更大的吞吐量,缩短系统反应时间。
|
| 关 键 词： | 云存储 大数据 数据迁移 动态副本 访问热点 |
| 收稿时间： | 2016-01-26 |
|
| 点击此处可从《计算机与现代化》浏览原始摘要信息 |
|
点击此处可从《计算机与现代化》下载全文 |
|
