并行网络文件系统PNFS研究

从解决高性能计算机I/O瓶颈面临的问题着手,首先详细分析并设计了并行网络文件系统——PNFS的结构、存储机制、管理机制和工作机制,然后对并行网络文件系统PNFS的原型系统进行了性能测试,从而验证了并行网络文件系统PNFS可以有效地解决传统网络文件系统在可扩展性、可用性和性能上存在的问题,能够为高性能文件系统的建立提供一种行之有效的解决方法。     

高强度I/O的应用对并行存储系统的挑战和解决方法研究

具有高I/O密集特性的高性能计算应用对高性能计算机存储系统综合性能的要求越来越高.以石油地震勘探数据处理为代表的一类重要应用表现出I/O数据量巨大、I/O访问密度大,对单个磁盘阵列存储部件的读写带宽要求高的特征.在Lustre文件系统中,充当对象存储服务功能的磁盘阵列设备输出带宽的不足将成为阻碍存储系统整体性能发挥的重要因素.针对此类问题,提出了一种缓存管理方法,分别在客户端添加VDISK模块,在OST端添加Cache模块,二者协同提高并行文件系统I/O的输出带宽的使用效率;另外,充分利用客户端空闲内存以及客户端之间的通信带宽,降低应用程序对磁盘阵列设备输出带宽的要求.通过大规模并行模型的验证表明,VDISK提高了实际可用的输出带宽,提高了外部存储系统的I/O效率.     

NFS over Lustre性能评测与分析

传统的网络文件系统难以满足高性能计算系统的I/O 需求，基于对象存储的全局并行文件系统Lustre可以有效地解决传统文件系统在可扩展性、可用性和性能上存在的问题。该文介绍了Lustre文件系统的结构及其优势，对NFS over Lustre 进行了性能测试，并将测试结果与Lustre文件系统、NFS网络文件系统及本地磁盘Ext3文件系统的性能进行了比较分析，给出了性能差异的原因，提出了一种可行的解决方法。     

并行文件系统与并行I／O研究

集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径。论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略。     

并行文件系统与并行I/O研究

集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径.论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略.     

SNFS并行文件系统负载均衡技术的研究与实现

在大规模集群系统的并行运算环境中,I/O效率一直是影响系统整体性能的关键因素,并行文件系统技术是目前解决I/O性能瓶颈的有效途径之一。介绍当前并行文件系统的发展现状以及并行文件系统的类型,阐述SNFS并行文件系统的架构以及负载均衡DLC(分布式LAN客户端)技术的实现原理,并给出大规模集群系统环境中SNFS文件系统负载均衡技术的实现方法,最后,通过实际应用分析说明该技术在提升I/O性能上的优势。     

PVFS客户端目录缓存设计与实现

缓存技术是提高并行文件系统性能的关键性技术。在并行文件系统中实现客户端目录缓存，不仅可以减轻目录服务器的压力，避免目录服务器成为系统瓶颈，而且可以简化客户端操作过程，提高并行文件系统的性能。该文对PVFS并行文件系统进行了分析，建立了客户端目录缓存模型；就客户端目录缓存实现的一些关键性问题，如缓存池开辟位置、一致性等问题进行了研究，给出了解决方法，并在此基础上实现了一个客户端目录缓存的原型系统。测试结果表明，加入缓存后，PVFS系统性能有所提高。     

并行文件系统I/O特征

并行文件系统是并行计算系统的存储子系统,I/O性能是并行计算系统研究的重要方面.本文分析了并行文件系统I/O研究的难点,研究了并行文件系统的I/O特征和关键技术,指出了并行文件系统I/O性能研究未来的研究方向,为并行计算系统的设计和优化提供重要参考.     

曙光并行文件系统DPFS的研究与设计

并行文件系统是高性能计算系统中的快速I／O库。它的目的是为并行计算应用提供快速Input／Output的手段。文章总结了并行应用程序的读写特点,其中的关键问题和在并行文件系统的通常使用的技术,并以此为基础设计了面向曙光高性能服务器的曙光并行文件系统（Dawning Parallel File System,DPFS）。     

基于多路径地震资料处理集群存储系统

石油物探的深水海洋地震资料处理是大规模企业级高端存储系统的重要应用领域,满足计算量庞大地震资料叠前成像偏移的I/O访问需求,需要先进的集群存储体系结构和合理优化的系统部署.提出了一种基于多路径的地震资料处理集群存储系统的具体解决方案.从系统架构、文件系统、SAN网络、多路径软件、存储虚拟化等方面进行了设计与实现.集群存储系统的测试与运行表明该存储系统的正确性和优越性.     

存储区域网络技术在数据处理中心的应用

随着高性能计算技术的发展,实现对大规模数据的高效存取已成为行业中提高系统整体性能的关键。传统的NFS存储架构,由于其I/O存取带宽低,容易造成TCP/IP局域网络的瓶颈,因此制约了系统整体性能的发挥。为了有效地缓解TCP/IP网络瓶颈,提高海量数据的访问效率,实现网络中各服务器节点对地震数据的共享,我中心自2004年起先后两次进行了存储区域网络的构建,并安装了ADIC公司的SNFS存储共享软件。本文重点介绍了存储区域网的构建、整合方法,并对存储共享软件SNFS的安装与配置做了简单介绍,对其它数据处理中心的存储区域网络构建和应用具有一定的借鉴作用。     

集群环境中影响NFS文件系统带宽的测试与分析

NFS是集群系统中提供全局文件共享的主要手段，研究影响NFS带宽的因素对于优化集群系统的性能十分重要。该文针对集群系统中I/O特征建立了NFS的带宽模型，设计和实现了基于MPI开发的并行文件系统测试工具Mpbonnie，在集群系统中测试和分析了多种因素对NFS性能的影响。结果表明，除已知的存储和网络因素外，与NFS带宽关系密切的因素还包括客户端数量、服务器文件系统类型、读写方式和服务器处理能力等。     

Block I/O Scheduling on Storage Servers of Distributed File Systems

This paper presents a new scheme of I/O scheduling on storage servers of distributed/parallel file systems, for yielding better I/O performance. To this end, we first analyze read/write requests in the I/O queue of storage server (we name them block I/Os), by using our proposed technique of horizontal partition. Then, all block requests are supposed to be divided into multiple groups, on the basis of their offsets. This is to say, all requests related to the same chunk file will be grouped together, and then be satisfied within the same time slot between opening and closing the target chunk file on the storage server. As a result, the time resulted by completing block I/O requests can be significantly decreased, because of less file operations on the corresponding chunk files at the low-level file systems of server machines. Furthermore, we introduce an algorithm to rate a priority for each group of block I/O requests, and then the storage server dispatches groups of I/Os by following the priority order. Consequently, the applications having higher I/O priorities, e.g. they have less I/O operations and small size of involved data, can finish at a earlier time. We implement a prototype of this server-side scheduling in the PARTE file system, to demonstrate the feasibility and applicability of the proposed scheme. Experimental results show that the newly proposed scheme can achieve better I/O bandwidth and less I/O time, compared with the strategy of First Come First Served, as well as other server-side I/O scheduling approaches.     

Client-side straggler-aware I/O scheduler for object-based parallel file systems

Object-based parallel file systems have emerged as promising storage solutions for high-performance computing (HPC) systems. Despite the fact that object storage provides a flexible interface, scheduling highly concurrent I/O requests that access a large number of objects still remains as a challenging problem, especially in the case when stragglers (storage servers that are significantly slower than others) exist in the system. An efficient I/O scheduler needs to avoid possible stragglers to achieve low latency and high throughput. In this paper, we introduce a log-assisted straggler-aware I/O scheduling to mitigate the impact of storage server stragglers. The contribution of this study is threefold. First, we introduce a client-side, log-assisted, straggler-aware I/O scheduler architecture to tackle the storage straggler issue in HPC systems. Second, we present three scheduling algorithms that can make efficient decision for scheduling I/Os while avoiding stragglers based on such an architecture. Third, we evaluate the proposed I/O scheduler using simulations, and the simulation results have confirmed the promise of the newly introduced straggler-aware I/O scheduler.     

基于Flash缓存的存储体系结构研究

提高数据吞吐率和降低能耗对数据中心具有重要作用。Flash具有存储密度高、功耗低的特性。采用Flash作为磁盘存储的缓存来构建两级缓存结构的存储系统是提高数据吞吐率和降低能耗的有效方法之一。本文首先介绍了Flash、基于Flash文件系统等相关知识,其次详细阐述了Flash存储的三种应用模式及其结构特性,接着介绍了针对两级缓存结构的调度策略,最后对本文进行了总结和展望。     

Hybrid hierarchy storage system in MilkyWay-2 supercomputer

With the rapid improvement of computation capability in high performance supercomputer system, the imbalance of performance between computation subsystem and storage subsystem has become more and more serious, especially when various big data are produced ranging from tens of gigabytes up to terabytes. To reduce this gap, large-scale storage systems need to be designed and implemented with high performance and scalability.MilkyWay-2 (TH-2) supercomputer system with peak performance 54.9 Pflops, definitely has this kind of requirement for storage system. This paper mainly introduces the storage system in MilkyWay-2 supercomputer, including the hardware architecture and the parallel file system. The storage system in MilkyWay-2 supercomputer exploits a novel hybrid hierarchy storage architecture to enable high scalability of I/O clients, I/O bandwidth and storage capacity. To fit this architecture, a user level virtualized file system, named H²FS, is designed and implemented which can cooperate local storage and shared storage together into a dynamic single namespace to optimize I/O performance in IO-intensive applications. The evaluation results show that the storage system in MilkyWay-2 supercomputer can satisfy the critical requirements in large scale supercomputer, such as performance and scalability.     

一种二维防护的安全文件系统体系结构

对传统安全文件系统的特征进行了分析，指出现有安全文件系统在数据可用性、系统性能上存在的问题，并基于堆栈文件系统设计了一个二维防护的安全文件系统体系结构，将存储系统应提供的安全服务进行集成。实验结果表明，新系统在安全和性能上达到了良好平衡。     

集成多媒体文件系统模型研究

目前的文件系统大多是单一类型的文件系统,或者采用尽力服务策略优化文本文件的服务,或者采用资源预留策略优化连续媒体的实时服务,而不能同时满足不同服务类型访问不同类型数据的需要。随着计算机计算能力、存储部件性价比的提高,以及计算机网络的不断发展,应用系统越来越大、越来越复杂,需要同时包含不同的应用类型和同时访问不同类型的数据。文中通过分析典型的应用类型和数据类型的特点,归纳出集成多媒体文件系统应具备的功能,并提出了实现集成多媒体文件系统的层次模型。     

基于策略机制的分布式文件保护系统PFICS

根据基于策略机制的文件保护模型，实现了一个文件保护系统PFICS。该系统能够根据用户制定的文件保护策略检查文件系统中违反策略的行为，采取相应的保护措施进行文件的实时恢复，进而维护文件系统的完整性。PFICS采用一个服务器保护多个主机的文件系统，构成了一个分布式的实时文件保护系统。该文介绍了系统的体系结构和实现方法，并对系统性能进行了分析。     

基于Linux的附网存储服务器的实现和评测

因特网带来数字信息量的快速增长,局域网中传统的服务器由于繁多的功能已经不堪重负,网络存储技术的兴起为海量数据存储提供了解决途径。针对中小型企业的局域网,该文提出在成熟的IP网络中配置附网存储设备(NASD,Network-AttachedStorageDevice)作为企业数据集中存储的解决方案。在开发的NASD主模块中,优化的Linux操作系统和网络服务程序安装在一块固态电子盘中,和数据磁盘分开。经过初始化的配置后,管理员和用户可以在局域网中通过网页登陆NASD,进行管理和数据访问。利用Benchmark(标准检查程序)对开发的附网文件存储服务器进行了性能评测,试验结果表明服务器具有良好的数据输入输出(I/O,Input/Output)性能。