|
|||||
|
|
| 异构环境中HDFS数据块调度算法的设计与实现 | |
| 作者单位： | ;1.南瑞集团公司(国网电力科学研究院);2.国电南瑞科技股份有限公司;3.智能电网保护和运行控制国家重点实验室 |
| 摘 要： | 针对Hadoop分布式文件系统(HDFS)的写性能在执行效率上的不足,提出一种在节点性能异构环境中对HDFS数据块进行并发传输的调度算法。该算法实时监控HDFS集群中每个节点的资源状态和内存缓存队列,动态地将接收节点与转发节点进行配对传输,使全系统节点的网卡和磁盘并发工作,缩短了所有副本写入分布式文件系统的时间。将数据写入磁盘后请求下一个数据块,保证数据安全性,同时也使得各个节点获得与自身性能相匹配的副本数,使性能异构的系统能达到较高的写入速度。性能测试结果表明,使用该算法的分布式文件系统的写入性能较原始的HDFS提高了1倍。 |
| 关 键 词： | 异构 Hadoop分布式文件系统 并发 数据块 调度 |
Design and Implementation of HDFS Data Block Scheduling Algorithm in Heterogeneous Environment |
|
| Abstract: | |
| Keywords: | |