首页 | 本学科首页   官方微博 | 高级检索  
     

SFFS:低延迟的面向小文件的分布式文件系统
引用本文:王鲁俊,龙 翔,吴兴博,王 雷.SFFS:低延迟的面向小文件的分布式文件系统[J].计算机科学与探索,2014(4):438-445.
作者姓名:王鲁俊  龙 翔  吴兴博  王 雷
作者单位:北京航空航天大学计算机学院,北京100191
基金项目:The National Natural Science Foundation of China under Grant No. 61272167 (国家自然科学基金); the National High Technology Research and Development Program of China under Grant No. 2011AA01A204 (国家高技术研究发展计划(863计划)); the National Science and Technology Major Special Project of China under Grant No. 2012ZX01039-004 (国家科技重大专项“核高基”项目).
摘    要:社交网站和电子商务等网络服务发展迅速,这类服务需要存储大量图片、音乐、微博文本等小文件。传统的分布式存储系统,如HDFS(Hadoop distributed file system),是面向大文件而设计的,在存储小文件时会产生元数据开销过大,访问延迟较高等问题,不能适应存储海量小文件的应用环境。分析了TFS(Taobao file system)的系统架构和读写流程,发现TFS在每次读/写过程中至少要建立3次网络连接,增大了读写延迟。针对海量小文件存储带来的挑战和TFS存在的问题,提出了一种新的低延迟、高可用的面向海量小文件的分布式存储方案,并实现了分布式文件系统SFFS(small-file file system)。性能测试表明,SFFS和TFS相比,写延迟降低了76.6%,读延迟降低了约10%。通过对系统结构的分析,相比于TFS,SFFS在中心节点的负载更轻,失效恢复更快,在可用性方面更有优势。

关 键 词:小文件  低延迟高可用  分布式存储
本文献已被 CNKI 维普 等数据库收录!
设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号