基于直接数据访问的并行文件系统

并行文件系统是高性能计算机为提高I／O带宽在软件方面采用的主要并行I/O技术之一。该文介绍了一种基于直接数据访问的并行文 件系统的设计和实现,阐明了该并行文件系统具备的主要功能及解决的关键技术问题。     

并行文件系统的应用探讨

信息技术中心管理着大量的服务器,这些服务器上需要部署很多的应用系统,而不同的应用系统需要采取不同的部署方法．在服务器上部署并行文件系统能够提高数据I／O的性能和科学计算程序的计算速度,但是并行文件系统并不一定适合于所有的应用系统．本文采用一款非常优秀的文件系统测试软件IOzone,测试了不同服务器上的文件系统性能,得到大量的测试数据,通过图像化的表示方法分析测试结果,得出结论：和小文件读写的应用系统相比,并行文件系统更适合于部署在大文件读写的应用系统上．     

UNIX／XENIX系统磁盘文件的存取及转换

ZZX在UNIX／XENIX系统下，文件存放在软盘上分为块I／O格式（文件系统格式，即通常说的mount格式）和字符I／O格式（即通常说的tar格式）两种。这是两种不同的使用软盘的方法，它们是不能混用的，也是完全不兼容的。1块I／O格式磁盘文件块格式的磁盘文件，即访问数据要以固定长度的块进行，又称文件系统格式。这种格式磁盘文件的存取必须首先使用mount命令将其作为文件系统安装在UNIX／XENIX根文件系统的空目录上（如／mnt或自行建立的空目录上），然后可以像使用根文件系统的任何一个于目录一样使用这个软盘，可以使用各种随机…     

一种集群计算系统中并行I/O文件存储分配策略

现代计算机系统性能已经由受限于CPU转变为受限于I／O，近年来研究人员对高性能计算中的并行I／O问题进行了深入研究．本论文的主要工作是对集群计算中的并行I／O子系统进行研究，提出一种文件拆分与存储分配的新策略，即：已知知识的文件拆分与分配方法(KKFDA)，该方法保证文件存储方式与访问方式的一致性，达到了提高文件访问时的本地命中率、缩短访盘响应时间的目的．算法设计与实验证明了方法的有效性．     

并行文件系统自适应的文件条带化技术

研究并行文件系统自适应的文件条带(Striping)策略对改进文件访问性能的影响,并开发动态的文件条带分析模型,利用自动访问模式分类和实时文件系统性能数据为文件条带策略选择模糊逻辑规则库,来优化文件访问性能。研究结果表明：当文件系统负载低时,可以尽量将文件分布到所有磁盘上来最小化I/O的反馈时间;反之,在系统负载高时,使文件分布的范围小一些以便最大化文件系统整体的吞吐量。并通过实验给出了请求大小、请求宽度、请求到达率与系统性能的相互关系,实证了自适应规则库的正确性。     

高性能集群文件系统的研究

集群系统提供了强大的批处理和并行计算的能力,具有高性能、高可扩展性、高吞吐量和易用性等特点,但是I／O性能和处理器性能的不匹配使得I／O成为许多应用的瓶颈,特别是处理大量数据的应用就更是如此。针对集群系统当前的现状,克服该瓶颈的常用方法就是采用一种并行虚拟文件系统（PVFS）技术。随着Linux群集系统性能的持续提高,高速并行文件已成为并行计算的一个必备部分。并行虚拟文件系统（PVFS）为高性能计算（HPC）群集和大型I／O密集并行应用提供了这样一个文件系统。首先介绍了PVFS的结构;然后研究了PVFS的存取和管理机制;最后分析,PVFS的工作原理。     

YLT:一个基于大规模并行计算机的并行文件系统

并行文件系统是提高大规模并行计算机I／O速度的有效途径之一，但构造一个并行文件系统往往是件复杂的工作。文中对并行文件的概念、结构作了深入的探讨，提出了在传统文件系统基础上构造并行文件系统的简单而有效的方法，并介绍了YLT并行文件系统的实现策略，最后在理论上对YLT的性能作出了评估。     

MPI 2中的并行I/O的使用分析

分析了在MPI中并行I／O的使用，利用collective I/O操作辅之非连续访问方法，可以获得较高的执行性能，最后以I／O 4层访问模式改进collective I/O操作，提高了执行性能。     

并行文件系统与并行I／O研究

集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径。论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略。     

并行文件系统与并行I/O研究

集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径.论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略.     

一种性能优化的小文件存储访问策略的研究

在分布式文件系统中,小文件的管理一般存在访问性能较差和存储空间浪费较大等缺点.为了解决这些问题,提出了一种性能优化的小文件存储访问(SFSA)策略.SFSA将逻辑上连续的数据尽可能存储在物理磁盘的连续空间,使用Cache充当元数据服务器的角色并通过简化的文件信息节点提高Cache利用率,提高了小文件访问性能;写数据时聚合更新数据及其文件夹域中的相关数据为一次I/O请求写入,减少了文件碎片数量,提高了存储空间利用率;文件传输时利用局部性原理,提前发送批量的高访问率的小文件,降低了建立网络连接开销,提升了文件传输性能.理论分析和实验证明,SFSA的设计思想和方法能有效地优化小文件的存储访问性能.     

SDN-aware federation of distributed data

The introduction of software defined networking (SDN) has created an opportunity for file access services to get a view of the underlying network and to further optimize large data transfers. This opportunity is still unexplored while the amount of data that needs to be transferred is growing. Data transfers are also becoming more frequent as a result of interdisciplinary collaborations and the nature of research infrastructures. To address the needs for larger and more frequent data transfers, we propose an approach which enables file access services to use SDN. We extend the file access services developed in our earlier work by including network resources in the provisioning for large data transfers. A novel SDN-aware file transfer mechanism is prototyped for improving the performance and reliability of large data transfers on research infrastructure equipped with programmable network switches. Our results show that I/O and data-intensive scientific workflows benefit from SDN-aware file access services.     

高强度I/O的应用对并行存储系统的挑战和解决方法研究

具有高I/O密集特性的高性能计算应用对高性能计算机存储系统综合性能的要求越来越高.以石油地震勘探数据处理为代表的一类重要应用表现出I/O数据量巨大、I/O访问密度大,对单个磁盘阵列存储部件的读写带宽要求高的特征.在Lustre文件系统中,充当对象存储服务功能的磁盘阵列设备输出带宽的不足将成为阻碍存储系统整体性能发挥的重要因素.针对此类问题,提出了一种缓存管理方法,分别在客户端添加VDISK模块,在OST端添加Cache模块,二者协同提高并行文件系统I/O的输出带宽的使用效率;另外,充分利用客户端空闲内存以及客户端之间的通信带宽,降低应用程序对磁盘阵列设备输出带宽的要求.通过大规模并行模型的验证表明,VDISK提高了实际可用的输出带宽,提高了外部存储系统的I/O效率.     

基于局部性和分区磁盘的文件定位优化

计算机虚拟存储体系结构中磁盘文件访问存在局部性,大量访问集中在少数文件上。针对该问题,研究分区盘技术,提出一种动态文件定位优化方法,通过动态采样统计,将访问次数集中的文件定位在使用分区盘技术且数据传输率较高的磁盘区域中。理论分析及实验结果表明,该方法可以提高系统整体的I/O性能。     

连接操作在SIMFS和EXT4上的性能比较

连接操作是关系数据库系统中最基本、最昂贵的操作,对数据库性能有巨大的影响。由于连接表存放在文件系统中,因此文件系统的性能对连接操作的性能有决定性的影响。不同文件系统的连接操作性能测试对数据库研究有重要意义,但目前相关测试较少。首先对比分析了新型内存文件系统SIMFS(Sustainable In-Memory File System)的数据读写路径与磁盘文件系统EXT4(Fourth Extended File System)I/O路径等方面的差异;然后设计实验测试了不同文件系统对连接操作的影响,其中对SIMFS和EXT4分别设置了不同的数据读写块大小和I/O块大小等测试指标。实验表明,连接操作在SIMFS和EXT4上的性能优化、块大小影响、性能提升瓶颈、硬件约束等方面均存在明显差异。在实验结果比较分析的基础上,给出了针对新型内存文件系统连接操作的优化建议。     

Lustre文件系统I/O锁的应用与优化

分布式文件系统需要有一种机制对来自各个客户端的并发访问进行控制,维护文件数据的一致性。锁是实现并发控制最流行的机制。研究了Lustre文件系统的分布式I/O范围锁的模型,并对它的各种应用进行了优化。介绍了Lustre分布式锁的基本概念,对基于锁实现数据客户端写回缓冲以及多写者文件大小的动态获取的算法进行了分析;提出自适应I/O锁策略,基于区间树的范围锁冲突检测优化策略以及客户端锁淘汰策略来增强Lustre锁服务的性能和扩展性。     

一种改进的基于缓存池机制的小文件I/O策略

Lustre文件系统对大文件的I/O性能较好,但对小文件不佳。针对这个问题,提出建立一个基于MDS节点的小文件缓存池机制,在缓存池里缓存经常被访问的小文件。在该机制中,小文件缓存池与OST使用全相联映射方式对应,并且使用贯穿读出式和直写式策略保持文件的一致性;缓存池更新策略综合考虑了文件的访问时间和次数等因素,使用改进的近期最少使用算法（LRU）更新替换。实验结果表明,改进后的Lustre文件系统减少了小文件的网络传输开销和访问时间,对小文件的I/O性能有较明显的提高。虽然它对大文件的I/O性能有所降低,但在可接受范围之内,仍具有一定的实用价值。     

曙光星云分布式文件系统:海量小文件存取

随着互联网应用的发展和云计算的兴起,在线图片、音频、视频以及微博等服务逐渐广泛发展,这些应用展示了与传统应用截然不同的数据访问和存储模式.数据中心内每秒钟都有大量较小文件的生成、分析和返回,这些应用对高并发海量文件的高吞吐、低延迟读写提出了新的挑战.提出基于分布式表存储的全新的分布式文件系统HVFS来管理数以十亿计的文件,并同时支持高吞吐和低延迟的文件访问.HVFS通过改进分布式可扩展哈希来管理元数据、日志结构的格式和列存储来利用时空局部性.本文描述了HVFS的设计和实现并进行了中等规模的实验.实验显示HVFS的表存储结构能够线性的扩展,并在82个结点上提供超过240,000次/秒、100,000次/秒的数据(<1KB)写和读;基于FUSE的实现在32个节点上提供超过180,000个/秒的文件创建速度.     

可扩展网格文件访问接口的设计与实现

描述了网格文件访问接口(GFAI)的设计和实现。GFAI实现了一个与POSIX标准兼容的、可扩展的网格文件访问接口，屏蔽了不同存储系统访问协议的细节，解决了不同网格文件访问/传输协议的异构性问题，为用户提供了一个统一的、易于使用的网格I/O接口。     

Reference implementation of scalable I/O low-level API on Intel Paragon

The Scalable I/O(SIO)Initiative‘s Low-Level Application Programming Interface(SIO LLAP)provides file system implementers with a simple low-Level interface to support high-level parallel /O interfaces efficiently and effectively.This paper describes a reference implementation and the evaluation of the SIO LLAPI on the Intel Paragon multicomputer.The implementation provides the file system structure and striping algorithm compatible with the Parallel File System(PFS)of Intel Paragon ,and runs either inside the kernel or as a user level library.The scatter-gather addressing read/write,asynchronous I/O,client caching and prefetching mechanism,file access hint mechanism,collective I/O and highly efficient file copy have been implemented.The preliminary experience shows that the SIO LLAPI provides opportunities of significant performance improvement and is easy to implement.Some high level file system interfaces and applications such as PFS,ADIO and Hartree-Fock application,are also implemented on top of SIO.The performance of PFS is at least the same as that of Intel‘s native pfs,and in many cases,such as small sequential file access,huge I/O requests and collective I/O,it is stable and much better,The SIO features help to support high level interfaces easily,quickly and more efficiently,and the cache,prefetching,hints are useful to get better performance based on different access models.The scalability and performance of SIO are limited by the network latency,network scalable bandwidth,memory copy bandwidth,memory size and pattern of I/O requests.The tadeoff between generality and efficienc should be considered in implementation.