IBM通用并行文件系统的性能

我们测试了ＩＢＭ通用并行文件系统（ＧＰＦＳ）在各种条件下的性能和可扩展性。该测试基于允许改变程序块大小和存取模式等,并允许测试总吞吐率的基准测试程序。我们用这些数据为应用开发提供性能建议,并作为改进并行文件系统的指导原则。     

并行网络文件系统PNFS性能评测与分析

传统的网络文件系统难以满足高性能计算系统的I/O 需求,并行网络文件系统——PNFS可以有效地解决传统网络文件系统在可扩展性、可用性和性能上存在的问题。首先对PNFS的体系结构进行了设计,实现了元数据服务器与存储服务器的分离,消除了由于集中服务器结构引发的I/O瓶颈问题。然后,对PNFS的原型系统进行了性能测试,并与相同环境下NFS的测试结果进行比较与分析,结果表明PNFS能够为客户端提供并行访问文件数据的能力,有着较高的I/O读写带宽和较低的访问延迟,同时实现了客户端I/O带宽与存储服务器规模之间的线性可扩展关系,能较好地满足高性能计算中的I/O需求。     

并行文件系统Lustre细粒度I/O性能优化

并行文件系统Lustre粗粒度I/O性能良好,细粒度I/O性能相对粗粒度I/O比较低下,因此优化细粒度I/O性能成为提高系统整体I/O性能的关键问题。在研究和分析了Lustre的I/O访问模式、细粒度I/O服务流程和页面替换算法等方面后,提出了细粒度优先（Fine Grained First,FGF）LRU算法。在OST端及Client端的页高速缓存中最大程度地保留细粒度I/O的页面,降低细粒度I/O引起的页面下沉速度,延长细粒度I/O页面在主存中的时间,进而减少对磁盘的访问次数,降低磁盘访问开销。通过对实验数据的对比和分析,验证了FGF-LRU算法的有效性。在不影响粗粒度I/O性能的情况下,提高了细粒度I/O性能,最终实现提高系统整体I/O性能。     

Lustre文件系统的性能优化研究

为了进一步推动Lustre在海量存储系统中的应用,在分析其系统结构和数据存储分发机制的基础上,研究如何更全面的优化配置Lustre。结合具体实验环境,首先对比不同网络传输性能对Lustre文件系统的影响;其次深入剖析Lustre自身结构的特点,制定优化策略,同时针对不同的客户端配置也进行了测试优化研究。最后,根据实验结果进一步明确并扩充了影响Lustre文件系统性能的因素,提出一种整体优化Lustre的方案。     

并行文件系统的设计

随着处理机速度和网络传输速度越来越快,外部1/0设备的速度却相对落后了三、四个数量级,已经成为影响整个系统速度的瓶颈.另一方面,诸如多媒体、图像处理这些应用所需要的数据传输率越来越大,因而有必要支持高速的I/O子系统以弥补磁盘与处理机之间速度的差异,支持I/0密集的应用之高数据传输率。为了提高1/0速率,提供大的I/O带宽,在硬件结构上可以并行使用磁盘来解决。对于一个MIMD系统中使用多磁盘输入/输出子系统,     

基于机器学习的动态分区并行文件系统性能优化

近年来,随着大数据、云计算技术的发展,应用系统越来越集中,规模亦越来越大,使得存 储系统的性能问题越来越突出。为应对其性能要求,并行文件系统得到了大量的应用。然而现有的并 行文件系统优化方法,大多只考虑应用系统或并行文件系统本身,较少考虑两者之间的协同。该文基 于应用系统在并行文件系统上的访问模式对存储系统的性能有显著影响这一特点,提出基于动态分区 的并行文件系统优化方法。首先,利用机器学习技术来分析挖掘各个性能影响因素和性能指标之间的 关系和规律,生成优化模型。其次,以优化模型为基础,辅助并行文件系统的参数调优工作。最后, 基于 Ceph 存储系统进行原型实现,并设计了三层架构应用系统进行了性能测试,最终达到优化并行 文件系统访问性能的目的。实验结果表明,所提出方法可以达到 85% 的预测优化准确率;在所提出模 型的辅助优化下,并行文件系统的吞吐量性能得到约 3.6 倍的提升。     

并行文件系统管理工具的设计与实现

通过对常用并行文件系统体系结构的分析，提出了一种适用于某一大类并行文件系统的管理框架。以该管理框架为基础，实现了PVFS并行文件系统的管理工具，并为用户提供了单一映像的管理控制台。功能测试结果表明，该管理工具的引入降低了并行文件系统管理的复杂性。     

并行文件系统的设计

在大规模并行处理巨型机（ＭＰＰ）的设计中，提高Ｉ／Ｏ性能同提高计算能力和通信能力同样重要。并行文件系统（ＰＦＳ）在多个Ｉ／Ｏ结点的多个磁盘上，分布文件系统和文件的磁盘块，将文件读写在计算结点转化成多个对物理块的直接Ｉ／Ｏ请求，利用预读，预分配，磁盘缓冲式区和异步Ｉ／Ｏ增加Ｉ／Ｏ的并发生，在特定的文件使用模式下，也是ＭＰＰ应用的主要Ｉ／Ｏ模式，获得很高的Ｉ／Ｏ效率。     

并行文件系统中Disk Cache一致性协议有其性能分析

本文在并行文件系统中引入ｄｉｓｋ ｃａｃｈｅ多复本技术，从而为并行计算机提供高性能的文件系统。对于ｄｉｓｋ ｃａｃｈｅ多复本间数据一致性维护，本文提出了“主从式”和“对称式”两类方法，并从其应用的通用性角度，基于等概率模型，对各类方法以及ｄｉｓｋ ｃａｃｈｅ单复本系统进行了性能分析和比较。     

并行网络文件系统PNFS研究

从解决高性能计算机I/O瓶颈面临的问题着手,首先详细分析并设计了并行网络文件系统——PNFS的结构、存储机制、管理机制和工作机制,然后对并行网络文件系统PNFS的原型系统进行了性能测试,从而验证了并行网络文件系统PNFS可以有效地解决传统网络文件系统在可扩展性、可用性和性能上存在的问题,能够为高性能文件系统的建立提供一种行之有效的解决方法。     

基于机器学习的并行文件系统性能预测

并行文件系统能有效解决高性能计算系统的海量数据存储和I/O瓶颈问题.由于影响系统性能的因素十分复杂,如何有效地评估系统性能并对性能进行预测成为一个潜在的挑战和热点.以并行文件系统的性能评估和预测作为研究目标,在研究文件系统的架构和性能因子后,设计了一个基于机器学习的并行文件系统预测模型,运用特征选择算法对性能因子数量进行约简,挖掘出系统性能和影响因子之间的特定的关系进行性能预测.通过设计大量实验用例,对特定的Lustre文件系统进行性能评估和预测.评估和实验结果表明:threads/OST、对象存储器(OSS)的数量、磁盘数目和RAID的组织方式是4个调整系统性能最重要因子,预测结果的平均相对误差能控制在25.1%~32.1%之间,具有较好预准确度.     

并行文件系统的框架设计和性能研究

利用InfiniBand技术特征实现高效的并行文件系统（EPFS）,设计一个高性能的透明传输层,对数据流的缓存管理、动态和公平的缓存共享,以及有效的内存注册和注销进行研究。实验表明,当I／O节点足够多时,随着计算节点的增加,基于InfiniBand技术的EPFS比基于TCP／IP的EPFS的读写性能增长更快。并且,两级别的内存注册和注销方法AFMRD比受约束的缓存技术更好地改进I／O性能。     

并行文件系统与并行I／O研究

集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径。论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略。     

Filter Cache:一种提高Lustre I/O性能的方法

高性能计算系统需要一个可靠高效的并行文件系统.Lustre集群文件系统是典型的基于对象存储的集群文件系统,它适合大数据量聚合I/O操作.大文件I/O操作能够达到很高的带宽,但是小文件I/O性能低下.针对导致Lustre的设计中不利于小文件I/O操作的两个方面,提出了Filter Cache方法.在Lustre的OST组件中设计一个存放小文件I/O数据的Cache,让OST端的小文件I/O操作异步进行,以此来减少用户感知的小文件I/O操作完成的时间,提高小文件I/O操作的性能.     

高性能计算平台的IO性能测试与分析

在高性能计算平台上测试NFS和Lustre文件系统在大规模并行计算环境下的IO速率,根据测试结果分析该实验平台的IO瓶颈并提出改进方案;之后测试本地Cache、并行应用进行IO时的TransferSize和并行程序存取文件的FileSize等因素对分布式文件系统性能的影响,并根据实验结果提出如何合理地部署并行软件以有效地利用本地Cache,以及提出在编写并行程序时设置合适的TransferSize和FileSize以提高IO性能的建议。     

并行文件系统I/O特征

并行文件系统是并行计算系统的存储子系统,I/O性能是并行计算系统研究的重要方面.本文分析了并行文件系统I/O研究的难点,研究了并行文件系统的I/O特征和关键技术,指出了并行文件系统I/O性能研究未来的研究方向,为并行计算系统的设计和优化提供重要参考.     

典型商用并行文件系统分析

并行文件系统是高性能并行计算机的重要组成部分。本文分析了几种典型的商用并行文件系统,包括Intel的PFS．IBM的PIOFS和GPFS,SGI的XFS和CXFS等,详细比较了它们在提高并行性、维护数据一致性以及提供Unix兼容接口等备方面的技术特点,以对设计和实现高效的并行文件系统提供参考。