基于并发策略的分布式文件系统性能优化方案

分布式文件系统是构建分布式存储系统的核心底层子系统,它的性能影响着整个分布式存储系统的性能。针对Hadoop分布式文件系统性能的不足,提出基于并发策略的性能优化方案,改进其写操作性能。实验表明该方案能有效的提高写的性能,提高系统的执行效率。     

GCFS文件系统读操作的设计与实现

本文阐述一种通用集群文件系统GCFS（GeneralClusterFileSystem）系统读操作的设计与实现。简述利用Linux虚拟文件系统（VFS）的读操作的基本结构和调用过程,并搭建环境进行测试。     

一种分布式文件系统的设计和实现

分布式文件系统在集群存储中起着重要的作用,笔者详细介绍了一种分布式文件系统的设计和实现,着重叙述了统一名字空间的设计和Linux下客户端文件系统的实现。该分布式文件系统的读写性能比网上邻居有明显的优势。     

GCFS系统名字空间的构建①

简述了GCFS(General Cluster File System,通用集群文件系统)的研究背景,阐述了GCFS系统名字空间的构建方法。分析了平衡二叉树(AVL)名字空间的设计,对改进后的系统进行了chunk节点插入、查找性能测试。     

基于网络分布式文件系统设计与实现路径

设计了一款网络分布式文件系统。该系统基于软件定义网络,通过充分应用其底层网络动态数据资源完成实时数据传输最佳路径的获取,使分布式文件系统的性能通过有效导引分布式文件系统中的大数据流而得以显著提高。通过构建的分布式文件系统原型对文件读写及修复操作进行测试,同传统网络环境相比,基于软件定义网络环境的分布式文件系统的读写及修复能力均得以显著提升,更适用于网络数据流量大且异构明显的情况。     

基于合并控制消息的分布式文件系统优化机制

目前将控制消息通信与数据通信分离能大大提高分布式文件系统的性能,但大量的控制消息通信仍然是影响分布式文件系统性能的重要因素.在分析pNFS中控制消息通信协议的基础上,基于操作语义,提出一种基于合并RPC的控制消息通信协议,通过减少控制消息通信的数量,达到提高分布式文件系统读写性能的目的;并在pNFS-2.6.33的基础上实现一个原型系统,使用Filebench以及多种负载数据集进行了测试与分析,实验结果显示在文件大小达到2GB以上时读写性能比之前提高了约5％.     

分布式文件系统可靠性的研究

本文阐述了在ＮＯＶＥＬＬＮ局域网上实现分布式文件系统的关键技术，并着重论述了在分布式系统中安全可靠地完成文件操作的具体实现方案，提出了实现文件的可恢复性的“影子页”，复原与重做等技术。     

大数据分析的分布式MOLAP技术

大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战,学界和业界广泛采用分布式文件系统和MapReduce编程模型来应对这一挑战.提出了大数据环境中一种基于Hadoop分布式文件系统（HDFS）和MapReduce编程模型的分布式MOLAP技术,称为DOLAP（distributed OLAP）.DOLAP采用一种特殊的多维模型完成维和度量的映射;采用维编码和遍历算法实现维层次上的上卷下钻操作;采用数据分块和线性化算法将维和度量保存在分布式文件系统中;采用数据块选择算法优化OLAP的性能;采用MapReduce编程模型实现OLAP操作.描述了DOLAP在科学数据分析的应用案例,并与主流的非关系数据库系统进行性能对比.实验结果表明,尽管数据装载性能略显不足,但DOLAP的性能要优于基于HBase,Hive,HadoopDB,OLAP4Cloud等主流非关系数据库系统实现的OLAP性能.     

一种基于Erasure Code的分布式文件系统模型

提出了一种基于Erasure code容错理论的分布式文件系统模型并对其关键技术进行了深入的研究和探讨。介绍了文件系统和分布式文件系统的概念,基于Erasure code理论提出了具有适度容错机制的分布式文件系统架构。详细讨论和分析了该系统实现中涉及的一系列关键技术,最后简短描述了本模型的实现,并给出了其性能评价。     

一种基于HADOOP的办公文件存储方法

HADOOP分布式文件系统为解决分布式存储提供了良好的平台。为了良好的管理办公系统中的日常办公文件,针对办公文件占用空间小而数量多而导致的体积庞大的特点,系统应用HADOOP分布式文件系统,为了减少命名节点的内存过大,提出了使用二进制序列化合并小文件的方案,并设置合并器,采取闲时合并,忙时存在本地降低写操作时间。并根据文件的属性分类归并写入,可以在查询时避免不必要的遍历而降低速度,提高检索性能。通过测试文件合并时间、文件上传时间以及文件查找读取时间,本方法可以很好的处理办公文件的上传与读取,解决办公文件的存储问题。     

分布式文件系统BDDFS中多任务支撑环境的设计与实现

ＢＤＤＦＳ是一个基于ＮＯＶＥＬＬ网络系统环境，在无服务器的条件下实现的分布式文件系统。多任务管理是实现分布式文件系统的关键。本文介绍了一种在ＤＯＳ环境下利用线程实现多任务支撑环境的方法     

分布式文件系统KFS的架构与性能分析

分布式文件系统能够解决日益增加的海量存储需求,从而成为研究的热点。KFS就是一款优秀的分布式文件系统。介绍了KFS的架构以及一些实现细节,并对其读写性能进行了测试分析。     

一种面向分布式文件系统的文件预取模型的设计与实现

如何为上层应用和计算提供稳定高效的文件I/O性能,是分布式文件系统性能研究的热点。文中分析分布式文件系统在设计机理上的共同特征,基于此提出一种通用型的启发式文件预取模型,并选取HDFS平台进行系统实现。启发式文件预取对上层应用透明,采用在文件系统内部建立预取线程池的方法,以组成文件块的数据存储文件为预取单位,在分布式文件系统内部实现。这种设计思路具有一定的普适性,适合推广应用于多种分布式文件系统。实验结果表明,所述的启发式文件预取,能够有效提升分布式文件系统的I/O性能。     

Lustre文件系统I/O锁的应用与优化

分布式文件系统需要有一种机制对来自各个客户端的并发访问进行控制,维护文件数据的一致性。锁是实现并发控制最流行的机制。研究了Lustre文件系统的分布式I/O范围锁的模型,并对它的各种应用进行了优化。介绍了Lustre分布式锁的基本概念,对基于锁实现数据客户端写回缓冲以及多写者文件大小的动态获取的算法进行了分析;提出自适应I/O锁策略,基于区间树的范围锁冲突检测优化策略以及客户端锁淘汰策略来增强Lustre锁服务的性能和扩展性。     

一种优化分布式文件系统的文件合并策略

分布式文件系统的性能对整个分布式系统的性能有着重要的影响,以Hadoop分布式文件系统(HDFS)为研究目标,针对HDFS处理小文件数据性能差的问题,分析存在的问题,提出一种新的文件合并策略,优化系统I/0性能.实现结果表明这种合并策略能有效提高分布式文件系统的性能.     

面向云存储的存储网关

对大容量数据存储和快速读写的需求与计算机网络技术的发展,使得网络化存储系统成为网络服务器系统中I/O子系统研究的热点,作为网络存储系统的关键部件,对分布式文件系统的研究具有非常重要的意义.目前开源社区提供了KFS、moosefs、Fast DFS、TFS、GFS[1]等多款分布式文件系统,其中多数提供了基于Linux操作系统的API或者存储网关,却没有提供Windows版的存储网关.主要对分布式文件系统Windows版存储网关的设计框架和思路进行介绍与分析,并实现了一个基于HDFS的Windows版分布式文件系统的存储网关程序dfsclient.     

海量小文件系统的可移植操作系统接口兼容技术

基于Hadoop分布式文件系统（HDFS）研发的海量小文件系统（SMDFS）遗留了HDFS不兼容可移植操作系统接口（POSIX）约束的问题,为解决SMDFS的这一问题,提出基于本地缓存的POSIX兼容技术和基于数据暂存区的元数据高效管理技术。首先,通过设置数据暂存区来实现读写模式文件流的重定向,然后建立异步线程池模型,实现数据暂存区镜像文件的同步,从而完成用户层到存储层的所有POSIX相关的文件操作。此外,借助跳表结构的元数据缓存实现List目录等元数据操作效率优化。测试表明,相较于HDFS的Linux客户端,基于技术成果实现的SMDFS3.0的随机读性能有10倍以上的性能提升,顺序读和顺序写性能有约3~4倍的提升,随机写性能可以达到本地文件系统的20%,基于目录的元数据缓存的设计使目录的List操作效率提升近10倍。但是,由于用户空间文件系统（FUSE）挂载的客户端会引入额外的内核态和用户态切换等带来的开销,因此SMDFS3.0的Linux客户端相对于系统的Java接口会有大约50%的性能损耗。     

面向城轨线网的海量小文件存储方法

城轨线网小文件数据量巨大,传统的分布式文件系统很难为海量小文件存储提供符合需求的高吞吐、低延迟读写过程。根据城轨线网级业务的数据特点和以天为周期的数据访问方式,提出基于FastDFS分布式文件系统和Redis键值数据库的城轨线网海量小文件存储方法,将具有相关性的城轨小文件合并成大文件进行聚合写操作;根据FastDFS返回的大文件索引、小文件存储起始偏移量和小文件长度建立全局索引,利用Redis存储小文件名和全局索引的键值对;采用数据预取机制,预取创建时间相邻的数据。实验结果表明,相较于FastDFS系统,FastDFS-Redis系统的小文件读写吞吐量分别提高了9.35%和4.45%,达到明显改善城轨线网海量小文件的访问效率的目的。     

蓝鲸分布式文件系统的客户端元数据缓存模型

在蓝鲸分布式文件系统中,客户端的所有元数据操作都是通过远程过程调用由元数据服务器完成,所有数据读写都是直接与存储服务器交换完成的.由于通信延迟,在客户端进行频繁数据读写时,元数据信息交换影响了整个系统的性能.我们设计了一种在客户端尽量缓存文件元数据信息的模型,有效地减少了元数据通信,缩短了整个读写过程的延迟,极大地提高了蓝鲸分布式文件系统的性能.     

加快分布式文件系统元数据访问的研究与实现

元数据操作是影响分布式文件系统性能的一个关键因素。笔者深入研究了分布式文件系统Lustre的元数据存储方式及其访问特点,针对提高元数据的服务效率提出了一种改进方案。该方案将指定的扩展属性(系统元数据)在扩展属性块中的地址偏移存放到元数据文件索引节点的数据区域中,减少了扩展属性遍历的开销。系统测试和分析表明,改进后的系统有更高元的数据访问效率。