并行网络文件系统PNFS性能评测与分析

传统的网络文件系统难以满足高性能计算系统的I/O 需求,并行网络文件系统——PNFS可以有效地解决传统网络文件系统在可扩展性、可用性和性能上存在的问题。首先对PNFS的体系结构进行了设计,实现了元数据服务器与存储服务器的分离,消除了由于集中服务器结构引发的I/O瓶颈问题。然后,对PNFS的原型系统进行了性能测试,并与相同环境下NFS的测试结果进行比较与分析,结果表明PNFS能够为客户端提供并行访问文件数据的能力,有着较高的I/O读写带宽和较低的访问延迟,同时实现了客户端I/O带宽与存储服务器规模之间的线性可扩展关系,能较好地满足高性能计算中的I/O需求。     

Lustre文件系统的性能优化研究

为了进一步推动Lustre在海量存储系统中的应用,在分析其系统结构和数据存储分发机制的基础上,研究如何更全面的优化配置Lustre。结合具体实验环境,首先对比不同网络传输性能对Lustre文件系统的影响;其次深入剖析Lustre自身结构的特点,制定优化策略,同时针对不同的客户端配置也进行了测试优化研究。最后,根据实验结果进一步明确并扩充了影响Lustre文件系统性能的因素,提出一种整体优化Lustre的方案。     

网络文件系统NFS

网络文件系统ＮＦＳ是一种运行机制 ,它通过网络提供给不同操作平台上的用户共享一个文件系统。这样 ,用户的文件系统就由原来的单一的本地系统 ,扩展到由本地文件系统加一个或多个远程文件系统构成的虚拟系统。用户感觉不到远程文件系统与本地文件系统的区别。网络文件系统ＮＦＳ由于具有网络操作系统文件服务器的功能 ,且使用维护均比较方便 ,从而也被广泛地应用在各系统中。　　1　工作原理ＮＦＳ包括ＮＦＳ服务器和ＮＦＳ客户两部分 ,采用星型拓扑结构连接。ＮＦＳ服务器是中心 ,ＮＦＳ客户是端点。见图 1。图 2ＮＦＳ的拓扑结构·ＮＦ…     

Lustre设置优化分析

在影响Lustre文件系统读写性能的因素中,Lustre文件系统的自身设置是非常重要的,所以研究Lustre文件系统的性能就需要在这个方面进行详细的实验测试,并根据实验结果进行分析,才能提出更符合应用需求的Lustre文件系统读写优化方案。     

Filter Cache:一种提高Lustre I/O性能的方法

高性能计算系统需要一个可靠高效的并行文件系统.Lustre集群文件系统是典型的基于对象存储的集群文件系统,它适合大数据量聚合I/O操作.大文件I/O操作能够达到很高的带宽,但是小文件I/O性能低下.针对导致Lustre的设计中不利于小文件I/O操作的两个方面,提出了Filter Cache方法.在Lustre的OST组件中设计一个存放小文件I/O数据的Cache,让OST端的小文件I/O操作异步进行,以此来减少用户感知的小文件I/O操作完成的时间,提高小文件I/O操作的性能.     

高性能计算平台的IO性能测试与分析

在高性能计算平台上测试NFS和Lustre文件系统在大规模并行计算环境下的IO速率,根据测试结果分析该实验平台的IO瓶颈并提出改进方案;之后测试本地Cache、并行应用进行IO时的TransferSize和并行程序存取文件的FileSize等因素对分布式文件系统性能的影响,并根据实验结果提出如何合理地部署并行软件以有效地利用本地Cache,以及提出在编写并行程序时设置合适的TransferSize和FileSize以提高IO性能的建议。     

Lustre分布式锁管理器的分析与改进

分布式文件系统一般使用分布式锁管理器技术为系统中的共享资源提供协同访问和一致性视图,并且保证数据并发访问的安全性,避免潜在的数据破坏的危险。本文首先分析了分布式文件系统Lustre分布式锁管理器的基本原理和实现,并针对发生冲突时锁请求的延迟存在的问题提出了改进的方案,它不仅提高了I/O性能,降低访问延迟,而且提高了文件锁服务的可靠性。     

NFS在分布式数控系统中的应用与改进

随着数控技术的进步,数控系统由单机系统向分布式系统发展,机床存储介质的容量不能满足复杂数控程序存储的需求。在分布式数控系统中应用NFS可以解决存储空间限制的问题,而且便于用户管理共享文件。介绍了NFS技术,并结合实际需求将NFS服务由传统的使用IP分配资源改进为依据用户信息分配资源。     

面向对象存储的文件系统Lustre

针对Lustre文件系统主要运用在高性能计算集群系统上的情况,分析Lustre文件系统的系统结构及其内部实现机制,测试系统在不同参数影响下的性能,认为Lustre可以运用在高性能集群系统上,也能运用在由普通计算机和 TCP／IP网络构建的集群系统上。实验结果表明,在TCP／IP协议和千兆交换机下, Lustre的并发性很难发挥,但设置合适的客户端数和系统参数可以优化其性能,相对本地磁盘系统, Lustre系统仍有较大的性能提高和实用价值。     

面向Lustre集群存储的错误日志分析及系统优化

集群存储系统的错误日志信息有助于优化存储系统的可用性和稳定性。现有存储系统错误探究主要针对单机存储系统或集群存储系统的部分功能进行分析评估,缺乏在实际应用场景下,同一生产环境中,长时间、多视角的探究工作。新型功能模块的不断融入,使得集群存储系统日益庞杂,集群存储系统自身引发的错误层出不穷,给各类研发人员带来了困扰与挑战。针对以上问题,提出了面向Lustre集群存储的错误日志分析及系统优化策略,通过收集连续1 673天的错误日志,研究了近2.26 GB的Lustre错误日志,分析了多个版本Lustre错误的特点与问题,揭示了集群存储系统各方面的不足与错误,研究了不同Lustre版本错误的影响因素,总结了Lustre集群在实际生产环境中的常见错误,并给出了相应的解决方案。对Lustre系统研发有了许多新的见解,并总结了14个发现,最后通过采集333天的新增错误记录对14个发现进行了相关验证,给出了一些系统错误优化实例。相关测试表明,优化实例可以显著减少错误数量,提高系统的可用性和稳定性,研究结果和建议对集群存储系统本身的发展以及集群存储系统的运行和维护都有一定的参考价值。     

基于Lustre文件系统的MPI检查点系统实现技术与性能测试

基于协同式检查点的回卷恢复是在大规模并行计算机系统中得到采用的一项重要容错技术,其性能开销主要为协同协议和检查点映像存储所决定.描述了一个在MPICH2中实现的应用透明的并行检查点系统,相比已有的技术,该系统有以下特点：1）协同协议操作利用了并行应用的近邻通信特性,通过虚连接方法减少协议的处理开销;2）采用Lustre文件系统简化检查点映像文件管理的复杂性;3）通过并行I/O操作提高性能,优化检查点映像的存储过程.实际应用的测试表明,该检查点系统具有较小的运行时间开销和良好的可扩展性.     

iSCSI,CIFS,NFS协议的性能评测

在Windows系统下对比测试了iSCSI协议与CIFS协议在文件访问上的性能；在Linux系统下对比测试了iSCSI协议与NFS协议在文件访问上的性能．得出了iSCSI协议在文件访问上优于CIFS和NFS协议，且适应于海量存储的结论，并分析了其原因．     

集群环境中影响NFS文件系统带宽的测试与分析

NFS是集群系统中提供全局文件共享的主要手段,研究影响NFS带宽的因素对于优化集群系统的性能十分重要。该文针对集群系统中I/O特征建立了NFS的带宽模型,设计和实现了基于MPI开发的并行文件系统测试工具Mpbonnie,在集群系统中测试和分析了多种因素对NFS性能的影响。结果表明,除已知的存储和网络因素外,与NFS带宽关系密切的因素还包括客户端数量、服务器文件系统类型、读写方式和服务器处理能力等。     

并行文件系统Lustre细粒度I/O性能优化

并行文件系统Lustre粗粒度I/O性能良好,细粒度I/O性能相对粗粒度I/O比较低下,因此优化细粒度I/O性能成为提高系统整体I/O性能的关键问题。在研究和分析了Lustre的I/O访问模式、细粒度I/O服务流程和页面替换算法等方面后,提出了细粒度优先（Fine Grained First,FGF）LRU算法。在OST端及Client端的页高速缓存中最大程度地保留细粒度I/O的页面,降低细粒度I/O引起的页面下沉速度,延长细粒度I/O页面在主存中的时间,进而减少对磁盘的访问次数,降低磁盘访问开销。通过对实验数据的对比和分析,验证了FGF-LRU算法的有效性。在不影响粗粒度I/O性能的情况下,提高了细粒度I/O性能,最终实现提高系统整体I/O性能。     

iSCSI与NFS的协议开销对比

随着IP网络存储体系的发展,iSCSI和NFS协议在局域网环境中的应用越来越广泛。实验性地比较iSCSI和NFS的性能,在具体硬件环境中分析了iSCSIinitiator和NFSserver读写进程的系统开销。对依附iSCSI存储的NFS服务器中的数据转发过程进行测试,综合考虑网络传输、异步读写以及工作流等因素产生的影响。实验结果显示,根据不同的请求数据大小以及读写比例,两者的系统开销比率也随之变化。因此,依附iSCSI存储的NFS服务器应该根据以上因素合理调整资源分配,从而获得良好的存储系统性能。