YLT:一个基于大规模并行计算机的并行文件系统

并行文件系统是提高大规模并行计算机I／O速度的有效途径之一，但构造一个并行文件系统往往是件复杂的工作。文中对并行文件的概念、结构作了深入的探讨，提出了在传统文件系统基础上构造并行文件系统的简单而有效的方法，并介绍了YLT并行文件系统的实现策略，最后在理论上对YLT的性能作出了评估。     

并行文件系统的设计

随着处理机速度和网络传输速度越来越快,外部1/0设备的速度却相对落后了三、四个数量级,已经成为影响整个系统速度的瓶颈.另一方面,诸如多媒体、图像处理这些应用所需要的数据传输率越来越大,因而有必要支持高速的I/O子系统以弥补磁盘与处理机之间速度的差异,支持I/0密集的应用之高数据传输率。为了提高1/0速率,提供大的I/O带宽,在硬件结构上可以并行使用磁盘来解决。对于一个MIMD系统中使用多磁盘输入/输出子系统,     

一种并行文件系统数据容错设计

并行文件系统容错是集群容错的关键组成部分。本文采用一种新的数据复制技术来实现并行文件系统数据的容错。由元数据管理器跟踪文件副本的存放位置，使节点副本可以平均分布在其他I／O节点，从而有利于负载平衡和可扩展性，另外还能够避免临近节点失效问题。     

并行文件系统管理工具的设计与实现

通过对常用并行文件系统体系结构的分析，提出了一种适用于某一大类并行文件系统的管理框架。以该管理框架为基础，实现了PVFS并行文件系统的管理工具，并为用户提供了单一映像的管理控制台。功能测试结果表明，该管理工具的引入降低了并行文件系统管理的复杂性。     

并行文件系统的设计

在大规模并行处理巨型机（ＭＰＰ）的设计中，提高Ｉ／Ｏ性能同提高计算能力和通信能力同样重要。并行文件系统（ＰＦＳ）在多个Ｉ／Ｏ结点的多个磁盘上，分布文件系统和文件的磁盘块，将文件读写在计算结点转化成多个对物理块的直接Ｉ／Ｏ请求，利用预读，预分配，磁盘缓冲式区和异步Ｉ／Ｏ增加Ｉ／Ｏ的并发生，在特定的文件使用模式下，也是ＭＰＰ应用的主要Ｉ／Ｏ模式，获得很高的Ｉ／Ｏ效率。     

基于分布共享存储机制的并行文件系统模型

本文在并行文件系统中结合了分布共享存储器的机制而提出了新的模型，方便了文件的并发存取，充分地全用了内存潜力，提高了系统的性能。     

并行文件系统的设计与实现

并行文件系统已作为超级计算机提高Ｉ／Ｏ带宽最常用的方法之一,鉴于超级计算机之间体系结构的差异,其设计和实现方法也不同。本文就ＩｎｔｅｌＴＦＬＯＰＳ的并行文件系统（ＰＦＳ）作一介绍。     

基于直接数据访问的并行文件系统

并行文件系统是高性能计算机为提高I／O带宽在软件方面采用的主要并行I/O技术之一。该文介绍了一种基于直接数据访问的并行文 件系统的设计和实现,阐明了该并行文件系统具备的主要功能及解决的关键技术问题。     

并行文件系统中的最优化服务关系研究

本文针对集束式请求服务模型和并行科学计算应用的访问模式,综合考虑了磁盘开销和通讯时间,在理论上推导出最优化的服务关系,并进行了模拟验证。     

SOFS:用于OSD中的智能化的对象文件系统

为了优化基于对象的存储设备(OSD)内对象的存储,该文提出了一种用于OSD中的智能化的对象文件系统SOFS,它是一个文件系统容器,可以包含多种基于不同应用的文件系统,目前包含了两种文件系统：通用对象文件系统和媒体对象文件系统,分别用于存储文档、网页等小对象和大的媒体对象。SOFS在Linux内核中的实现与ext2比较,结果显示,读写普通文档等小对象时,SOFS的性能高出ext2 大约10％,而读写大的媒体对象时,效率高出ext2 30％左右。     

并行文件系统自适应的文件条带化技术

研究并行文件系统自适应的文件条带(Striping)策略对改进文件访问性能的影响,并开发动态的文件条带分析模型,利用自动访问模式分类和实时文件系统性能数据为文件条带策略选择模糊逻辑规则库,来优化文件访问性能。研究结果表明：当文件系统负载低时,可以尽量将文件分布到所有磁盘上来最小化I/O的反馈时间;反之,在系统负载高时,使文件分布的范围小一些以便最大化文件系统整体的吞吐量。并通过实验给出了请求大小、请求宽度、请求到达率与系统性能的相互关系,实证了自适应规则库的正确性。     

并行文件系统研究综述

对于运行在机群上的一类I/O密集型应用,I/O成为整个系统的瓶颈,并行文件系统是解决I/O瓶颈问题的重要方法.但如何实现高性价比且高可用的并行文件系统,目前还没有一个成形完整的解决方案.本文阐述了并行文件系统的功能和模型,对现存的并行文件系统从三个不同的角度进行了分类,详细分析了设计并行文件系统的5个关键技术,分析评价了具有代表性的并行文件系统优缺点,最后讨论了进一步的研究工作.     

曙光星云分布式文件系统:海量小文件存取

随着互联网应用的发展和云计算的兴起,在线图片、音频、视频以及微博等服务逐渐广泛发展,这些应用展示了与传统应用截然不同的数据访问和存储模式.数据中心内每秒钟都有大量较小文件的生成、分析和返回,这些应用对高并发海量文件的高吞吐、低延迟读写提出了新的挑战.提出基于分布式表存储的全新的分布式文件系统HVFS来管理数以十亿计的文件,并同时支持高吞吐和低延迟的文件访问.HVFS通过改进分布式可扩展哈希来管理元数据、日志结构的格式和列存储来利用时空局部性.本文描述了HVFS的设计和实现并进行了中等规模的实验.实验显示HVFS的表存储结构能够线性的扩展,并在82个结点上提供超过240,000次/秒、100,000次/秒的数据(<1KB)写和读;基于FUSE的实现在32个节点上提供超过180,000个/秒的文件创建速度.     

曙光并行文件系统DPFS的研究与设计

并行文件系统是高性能计算系统中的快速I／O库。它的目的是为并行计算应用提供快速Input／Output的手段。文章总结了并行应用程序的读写特点,其中的关键问题和在并行文件系统的通常使用的技术,并以此为基础设计了面向曙光高性能服务器的曙光并行文件系统（Dawning Parallel File System,DPFS）。     

并行文件系统的关键技术与框架设计

论述并行文件系统的工作负载特征——基于空间和时间的文件访问模式,并对非连续数据访问技术进行比较研究;给出并行文件系统设计的原则与目标,最后提出并行文件系统的框架。     

Redbud并行文件系统的可扩展存储管理机制

数据规模和并发访问的需求日益增长,可扩展能力成为并行文件系统的重要需求之一.文中提出了一种基于非对称并行文件系统Redbud的高可扩展资源管理机制.该管理机制根据数据的访问特征,使用不同的树形结构管理不同类型的数据,满足了文件数据和元数据的并发检索需求;该管理机制还使用文件级的数据分布机制,允许用户利用各种策略进行目录和文件的管理,能满足文件级的数据访问性能、目录级数据可靠性等实际应用需求.多个基准测试程序和实际应用程序的测试结果表明,文件的独占访问能达到磁盘95％的性能;同时,随着设备和应用节点的增加,数据和元数据的并发访问性能线性增长.     

并行文件系统与并行I／O研究

集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径。论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略。