一种面向海量高并发小文件数据的处理方法 |
| |
作者单位: | ;1.中国移动通信集团重庆有限公司 |
| |
摘 要: | 首先分析了当前海量高并发小文件数据处理的缺陷,文章阐述了通过在节点中设置临时虚拟空间的方式、改变文件系统锁机制、将多个节点中的多个并发操作合并为一次磁盘回写操作处理方法。提高了海量高并发小文件数据的并行处理效率,降低了海量高并发小文件数据磁盘的读写压力,减轻了底层存储的磁盘读写压力,有效延长了底层存储的使用寿命。该方法进行的海量高并发小文件处理相关研究工作,对于后期提升海量并发小文件的处理能力和效率提供了参考依据。
|
关 键 词: | 高并发 小文件 并行文件系统 |
A method for dealing with large amount of high Concurrent small file data |
| |
Abstract: | |
| |
Keywords: | |
|
|