PVFS客户端目录缓存设计与实现

缓存技术是提高并行文件系统性能的关键性技术。在并行文件系统中实现客户端目录缓存，不仅可以减轻目录服务器的压力，避免目录服务器成为系统瓶颈，而且可以简化客户端操作过程，提高并行文件系统的性能。该文对PVFS并行文件系统进行了分析，建立了客户端目录缓存模型；就客户端目录缓存实现的一些关键性问题，如缓存池开辟位置、一致性等问题进行了研究，给出了解决方法，并在此基础上实现了一个客户端目录缓存的原型系统。测试结果表明，加入缓存后，PVFS系统性能有所提高。     

一种SAN环境下集群文件系统的元数据缓存研究

为了发挥SAN环境的存储访问优势,阐明了一种以CIFS协议为原型的集群文件系统,通过考察此架构下数据和元数据相互独立又彼此制约的特殊关系,提出了一种元数据缓存方法;为了减少因元数据获取而给数据读写带来的性能损失,对元数据缓存舍弃了原有的管理方法,尽可能地保证其在客户端是可缓冲的;针对可能引起客户端与服务器端元数据不一致的情况进行了分析,并提出了解决方法;最后通过测试进行了初步验证.     

并行文件系统与并行I／O研究

集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径。论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略。     

并行文件系统与并行I/O研究

集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径.论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略.     

并行文件系统管理工具的设计与实现

通过对常用并行文件系统体系结构的分析,提出了一种适用于某一大类并行文件系统的管理框架。以该管理框架为基础,实现了PVFS并行文件系统的管理工具,并为用户提供了单一映像的管理控制台。功能测试结果表明,该管理工具的引入降低了并行文件系统管理的复杂性。     

智能分布式并行文件系统的研究与实现

信息时代大量数据安全可靠、高效合理的存储面临着新的问题，它对数据管理系统提出了更高要求。由多台高档Pc机构建分布式并行服务器使这问题能得到很好的解决。以下从文件系统的角度分析、研究了这些新的问题中急需解决的数据存储的智能化管理问题；提出了数据分布式存储后的智能化管理模型；介绍了该模型在分布式并行服务器上的设计与实现.     

并行文件系统的框架设计和性能研究

利用InfiniBand技术特征实现高效的并行文件系统（EPFS）,设计一个高性能的透明传输层,对数据流的缓存管理、动态和公平的缓存共享,以及有效的内存注册和注销进行研究。实验表明,当I／O节点足够多时,随着计算节点的增加,基于InfiniBand技术的EPFS比基于TCP／IP的EPFS的读写性能增长更快。并且,两级别的内存注册和注销方法AFMRD比受约束的缓存技术更好地改进I／O性能。     

蓝鲸分布式文件系统的客户端元数据缓存模型

在蓝鲸分布式文件系统中,客户端的所有元数据操作都是通过远程过程调用由元数据服务器完成,所有数据读写都是直接与存储服务器交换完成的.由于通信延迟,在客户端进行频繁数据读写时,元数据信息交换影响了整个系统的性能.我们设计了一种在客户端尽量缓存文件元数据信息的模型,有效地减少了元数据通信,缩短了整个读写过程的延迟,极大地提高了蓝鲸分布式文件系统的性能.     

并行文件系统的设计与实现

并行文件系统已作为超级计算机提高Ｉ／Ｏ带宽最常用的方法之一,鉴于超级计算机之间体系结构的差异,其设计和实现方法也不同。本文就ＩｎｔｅｌＴＦＬＯＰＳ的并行文件系统（ＰＦＳ）作一介绍。     

一种加速广域文件系统读写访问的缓存策略

针对广域网高延迟、低带宽的特性给广域文件系统访问带来的性能影响问题,提出了一种不依赖于底层文件系统、能够加速广域文件系统读写访问的缓存策略.该策略支持基于区间粒度的文件数据缓存及访问,并支持元数据本地缓存;该策略提供基于阈值的容量管理功能,采用超时与最终一致相结合的方式维护缓存的一致性.最后使用典型的文件I/O基准测试工具和元数据性能测试工具对该缓存策略进行了评测,实验结果表明:该缓存策略减少了客户端与服务器的交互次数,给广域文件系统的数据访问带来了明显的性能提升,当缓存命中时其数据的读写性能与本地文件系统相近.     

PVFS元数据服务器的并行化设计与实现

PVFS并行文件系统采用集中式的元数据服务器,这使得元数据服务器在大量的文件操作情况下成为I／O瓶颈。该文通过增强PVFS的客户端和元数据服务器的相关功能,使得客户的文件请求按照文件名的Hash变换转向不同的元数据服务器,在保留原来的用户访问方式和系统配置不变的情况下实现元数据服务器的并行化,达到明显提高元数据服务器的总吞吐量和可扩展性。     

一种算法无关的PVFS负载均衡机制

并行文件系统PVFS的数据服务器负载分配缺少均衡机制,因此无法减轻热点数据服务器负荷。通过文件数据备份的方式将任务迁移,同时解决在迁移过程中的数据服务器与元数据服务器上的数据一致性,将热点数据服务任务转移到较空闲的服务结点上,可以提高整个系统的数据吞吐率。主要涉及了热点监测与报告、迁移源-目的的选取以及数据备份与任务迁移过程三个部分的工作。由于采用了机制与策略分离的设计思想,在该框架下可以采用不同的均衡策略(算法)以适应不同的应用。     

PVFS寄生式元数据管理的设计与实现

针对PVFS的元数据管理方法中,存在着系统效率低下的问题,提出了一种寄生式的元数据管理方法。在LinuxOs文件系统cxt2的内核基础上实现了该方法,提供了元数据操作功能。通过测试,并与原来的基于文件操作的管理方法进行了比较分析,结果表明,元数据操作的性能提高了4～8倍。     

PVFS代码结构及并行Meta服务研究

PVFS(ParallelVirtualFileSystem)广泛应用于PC集群并行计算环境中,通过ROMIO形式的MPI-IO接口与MPICH结合,用于提高数据文件的访问性能,通过对PVFS的源代码分析,得出PVFS的系统架构、运行机制与采用的策略,并在这个基础上找出元数据服务器并行化的可行性,以设计出并行元数据服务方案来提高元数据访问的吞吐率。     

一种高性价比的PVFS并行文件系统

分析PVFS并行文件系统的构成,得出客户机软件、元数据服务器软件和数据服务器软件之间的接口关系,然后研究一种由PC客户机、PC元数据服务器和低价数据服务器共同构成的PVFS系统,其中客户及与元数据服务器不做重要改变,数据服务器软件需要开发修改以适应新的硬件平台,使得以更低的成本实现相同的系统或者以相同的硬件成本实现更高的性能。     

NFS和PVFS文件系统吞吐率分析

随着工作站机群系统的迅猛发展,I/O瓶颈问题也日益严重。性能优良的机群文件系统对机群系统而言至关重要。吞吐率是指在单位时间内所处理的作业数,它是评价系统性能的一个重要指标。该文首先简要介绍了NFS和PVFS这两个比较有代表性的文件系统,然后比较了NFS和PVFS的吞吐率,给出了详细的测试数据。最后对NFS、PVFS吞吐率差异的产生原因和影响吞吐率的关键因素进行了较详细的分析,并给出了自己的结论。     

移动客户机中缓存技术的应用研究

在移动计算环境中,移动性和断接性是它的最主要的两个特点.为了支持断接操作,数据时常需要先存储到移动客户机中.缓存技术成为移动计算环境中的重要技术.本文研究了基于广播技术中客户机端缓存的管理技术,讨论了缓存管理的粒度问题、缓存一致性策略和缓存替换策略三个关键问题.     

流媒体代理缓存的研究与实现

研究了流媒体代理缓存的特点和影响流媒体代理缓存效果的因素,分析了衡量流媒体代理性能的指标,设计了流媒体代理缓存管理文件的结构,最后给出了用户请求处理过程。     

基于异步数据广播技术的移动数据库缓存策略

移动客户端数据缓存技术是在目前狭窄的通信带宽中减少数据连接次数的一个重要技术。而数据广播技术是则是利用无线通信网络不对称的特点,使移动客户端数据和服务器端数据保持一致性的最为实用的技术。该文提出一种基于异步广播技术的移动数据库缓存策略。