|
|||||
|
|
| 云存储环境下基于HDFS的海量小文件装箱算法 | |
| 引用本文： | 王伟,徐文倩,赵少锋.云存储环境下基于HDFS的海量小文件装箱算法[J].通讯世界,2016(14). |
| 作者姓名： | 王伟 徐文倩 赵少锋 |
| 作者单位： | 1. 河南工业贸易职业学院信息工程系,河南 郑州,451191;2. 中国建设银行总行,北京,100033;3. 河南财经政法大学云计算与大数据研究所,河南 郑州,450046 |
| 基金项目： | 河南省科技攻关项目(162102210096，152102210088，142102210090)，河南省高等学校重点科研项目(15A5200 |
| 摘 要： | 基于HDFS的云存储系统在当前得到了广泛的应用，然而它存在小文件存储效率不理想的问题。针对该问题，提出了一种基于HDFS的海量小文件装箱算法TPSF。该算法综合考虑上传文件的大小和缓存时间两个指标，设计了基于动态权值的装箱策略。原型实现和性能评价表明，TPSF算法是可行和有效的，能够显著降低HDFS名称节点和数据节点的存储开销。 |
| 关 键 词： | HDFS 小文件处理 装箱算法 |
| 本文献已被 万方数据 等数据库收录！ | |