|
|||||
|
|
| HDFS中高效存储小文件的方法 | |
| 引用本文： | 尹颖,林庆,林涵阳. HDFS中高效存储小文件的方法[J]. 计算机工程与设计, 2015, 0(2): 406-409 |
| 作者姓名： | 尹颖 林庆 林涵阳 |
| 作者单位： | 1. 江苏大学 计算机科学与通信工程学院,江苏 镇江,212013 2. 江苏大学 计算机科学与通信工程学院，江苏 镇江212013; 南京理工大学 计算机系，江苏 南京210094 3. 江苏实达迪美数据处理有限公司,江苏 昆山,215332 |
| 摘 要： | 为改善应用Hadoop分布式文件系统存储大量小文件时效率低下的问题,将NameNode职责分离,使用单独的NFS服务器同步存储元数据信息,以降低Client数据请求压力,提供大吞吐量数据访问并改善访问延迟;设计文件与数据块的对应模式,允许在同一块中存储多个小文件,并对系统加以实现,为海量小文件的存储提供了一个有效的解决方案。实验结果表明,该机制可以在数据迅速增长的背景下实现海量小文件的高效存取。 |
| 关 键 词： | Hadoop分布式文件系统 海量小文件 性能优化 职责分离 合并小文件 |
Efficient method for storing small files in HDFS |
|
| YIN Ying,LIN Qing,LIN Han-yang. Efficient method for storing small files in HDFS[J]. Computer Engineering and Design, 2015, 0(2): 406-409 | |
| Authors: | YIN Ying LIN Qing LIN Han-yang |
| Affiliation: | YIN Ying;LIN Qing;LIN Han-yang;College of Computer and Communication Engineering,Jiangsu University;Department of Computer,Nanjing University of Science and Technology;Jiangsu Start Dima Data Processing Limited Company; |
| Abstract: | |
| Keywords: | Hadoop distributed file system massive amount of small files improving efficiency segregation of duties merge small files |
| 本文献已被 CNKI 万方数据 等数据库收录！ | |