共查询到15条相似文献,搜索用时 93 毫秒
1.
传统的网络文件系统难以满足高性能计算系统的I/O 需求,并行网络文件系统——PNFS可以有效地解决传统网络文件系统在可扩展性、可用性和性能上存在的问题。首先对PNFS的体系结构进行了设计,实现了元数据服务器与存储服务器的分离,消除了由于集中服务器结构引发的I/O瓶颈问题。然后,对PNFS的原型系统进行了性能测试,并与相同环境下NFS的测试结果进行比较与分析,结果表明PNFS能够为客户端提供并行访问文件数据的能力,有着较高的I/O读写带宽和较低的访问延迟,同时实现了客户端I/O带宽与存储服务器规模之间的线性可扩展关系,能较好地满足高性能计算中的I/O需求。 相似文献
2.
3.
网络文件系统NFS是一种运行机制 ,它通过网络提供给不同操作平台上的用户共享一个文件系统。这样 ,用户的文件系统就由原来的单一的本地系统 ,扩展到由本地文件系统加一个或多个远程文件系统构成的虚拟系统。用户感觉不到远程文件系统与本地文件系统的区别。网络文件系统NFS由于具有网络操作系统文件服务器的功能 ,且使用维护均比较方便 ,从而也被广泛地应用在各系统中。 1 工作原理NFS包括NFS服务器和NFS客户两部分 ,采用星型拓扑结构连接。NFS服务器是中心 ,NFS客户是端点。见图 1。图 2NFS的拓扑结构·NF… 相似文献
4.
刘昊晨 《计算机光盘软件与应用》2012,(20):71-72
在影响Lustre文件系统读写性能的因素中,Lustre文件系统的自身设置是非常重要的,所以研究Lustre文件系统的性能就需要在这个方面进行详细的实验测试,并根据实验结果进行分析,才能提出更符合应用需求的Lustre文件系统读写优化方案。 相似文献
5.
高性能计算系统需要一个可靠高效的并行文件系统.Lustre集群文件系统是典型的基于对象存储的集群文件系统,它适合大数据量聚合I/O操作.大文件I/O操作能够达到很高的带宽,但是小文件I/O性能低下.针对导致Lustre的设计中不利于小文件I/O操作的两个方面,提出了Filter Cache方法.在Lustre的OST组件中设计一个存放小文件I/O数据的Cache,让OST端的小文件I/O操作异步进行,以此来减少用户感知的小文件I/O操作完成的时间,提高小文件I/O操作的性能. 相似文献
6.
在高性能计算平台上测试NFS和Lustre文件系统在大规模并行计算环境下的IO速率,根据测试结果分析该实验平台的IO瓶颈并提出改进方案;之后测试本地Cache、并行应用进行IO时的TransferSize和并行程序存取文件的FileSize等因素对分布式文件系统性能的影响,并根据实验结果提出如何合理地部署并行软件以有效地利用本地Cache,以及提出在编写并行程序时设置合适的TransferSize和FileSize以提高IO性能的建议。 相似文献
7.
分布式文件系统一般使用分布式锁管理器技术为系统中的共享资源提供协同访问和一致性视图,并且保证数据并发访问的安全性,避免潜在的数据破坏的危险。本文首先分析了分布式文件系统Lustre分布式锁管理器的基本原理和实现,并针对发生冲突时锁请求的延迟存在的问题提出了改进的方案,它不仅提高了I/O性能,降低访问延迟,而且提高了文件锁服务的可靠性。 相似文献
8.
9.
针对Lustre文件系统主要运用在高性能计算集群系统上的情况,分析Lustre文件系统的系统结构及其内部实现机制,测试系统在不同参数影响下的性能,认为Lustre可以运用在高性能集群系统上,也能运用在由普通计算机和 TCP/IP网络构建的集群系统上。实验结果表明,在TCP/IP协议和千兆交换机下, Lustre的并发性很难发挥,但设置合适的客户端数和系统参数可以优化其性能,相对本地磁盘系统, Lustre系统仍有较大的性能提高和实用价值。 相似文献
10.
集群存储系统的错误日志信息有助于优化存储系统的可用性和稳定性。现有存储系统错误探究主要针对单机存储系统或集群存储系统的部分功能进行分析评估,缺乏在实际应用场景下,同一生产环境中,长时间、多视角的探究工作。新型功能模块的不断融入,使得集群存储系统日益庞杂,集群存储系统自身引发的错误层出不穷,给各类研发人员带来了困扰与挑战。针对以上问题,提出了面向Lustre集群存储的错误日志分析及系统优化策略,通过收集连续1 673天的错误日志,研究了近2.26 GB的Lustre错误日志,分析了多个版本Lustre错误的特点与问题,揭示了集群存储系统各方面的不足与错误,研究了不同Lustre版本错误的影响因素,总结了Lustre集群在实际生产环境中的常见错误,并给出了相应的解决方案。对Lustre系统研发有了许多新的见解,并总结了14个发现,最后通过采集333天的新增错误记录对14个发现进行了相关验证,给出了一些系统错误优化实例。相关测试表明,优化实例可以显著减少错误数量,提高系统的可用性和稳定性,研究结果和建议对集群存储系统本身的发展以及集群存储系统的运行和维护都有一定的参考价值。 相似文献
11.
基于Lustre文件系统的MPI检查点系统实现技术与性能测试 总被引:1,自引:0,他引:1
基于协同式检查点的回卷恢复是在大规模并行计算机系统中得到采用的一项重要容错技术,其性能开销主要为协同协议和检查点映像存储所决定.描述了一个在MPICH2中实现的应用透明的并行检查点系统,相比已有的技术,该系统有以下特点:1)协同协议操作利用了并行应用的近邻通信特性,通过虚连接方法减少协议的处理开销;2)采用Lustre文件系统简化检查点映像文件管理的复杂性;3)通过并行I/O操作提高性能,优化检查点映像的存储过程.实际应用的测试表明,该检查点系统具有较小的运行时间开销和良好的可扩展性. 相似文献
12.
在Windows系统下对比测试了iSCSI协议与CIFS协议在文件访问上的性能;在Linux系统下对比测试了iSCSI协议与NFS协议在文件访问上的性能.得出了iSCSI协议在文件访问上优于CIFS和NFS协议,且适应于海量存储的结论,并分析了其原因. 相似文献
13.
14.
并行文件系统Lustre粗粒度I/O性能良好,细粒度I/O性能相对粗粒度I/O比较低下,因此优化细粒度I/O性能成为提高系统整体I/O性能的关键问题。在研究和分析了Lustre的I/O访问模式、细粒度I/O服务流程和页面替换算法等方面后,提出了细粒度优先(Fine Grained First,FGF)LRU算法。在OST端及Client端的页高速缓存中最大程度地保留细粒度I/O的页面,降低细粒度I/O引起的页面下沉速度,延长细粒度I/O页面在主存中的时间,进而减少对磁盘的访问次数,降低磁盘访问开销。通过对实验数据的对比和分析,验证了FGF-LRU算法的有效性。在不影响粗粒度I/O性能的情况下,提高了细粒度I/O性能,最终实现提高系统整体I/O性能。 相似文献
15.
随着IP网络存储体系的发展,iSCSI和NFS协议在局域网环境中的应用越来越广泛。实验性地比较iSCSI和NFS的性能,在具体硬件环境中分析了iSCSIinitiator和NFSserver读写进程的系统开销。对依附iSCSI存储的NFS服务器中的数据转发过程进行测试,综合考虑网络传输、异步读写以及工作流等因素产生的影响。实验结果显示,根据不同的请求数据大小以及读写比例,两者的系统开销比率也随之变化。因此,依附iSCSI存储的NFS服务器应该根据以上因素合理调整资源分配,从而获得良好的存储系统性能。 相似文献