高效的自适应文件系统的原型设计

为了改进文件系统的性能,提出的文件系统既具有自适应的RAlD3和RAID5混合结构,又能根据缓存数据在缓冲区的活动性不同而分类缓存,数据被延迟刷新到磁盘来减少、合并写磁盘的次数,进一步采用自适应的文件条带策略来优化文件访问性能.研究结果表明,该文件系统能按需自适应地读写多媒体数据和事务处理数据,当文件系统负载低时,可以尽量积极地将文件分布到所有磁盘来最小化I/O的反馈时间;反之,在系统负载高时,将文件分布的范围小一些以便最大化文件系统整体的吞吐量.     

并行文件系统I/O特征

并行文件系统是并行计算系统的存储子系统,I/O性能是并行计算系统研究的重要方面.本文分析了并行文件系统I/O研究的难点,研究了并行文件系统的I/O特征和关键技术,指出了并行文件系统I/O性能研究未来的研究方向,为并行计算系统的设计和优化提供重要参考.     

YLT:一个基于大规模并行计算机的并行文件系统

并行文件系统是提高大规模并行计算机I／O速度的有效途径之一，但构造一个并行文件系统往往是件复杂的工作。文中对并行文件的概念、结构作了深入的探讨，提出了在传统文件系统基础上构造并行文件系统的简单而有效的方法，并介绍了YLT并行文件系统的实现策略，最后在理论上对YLT的性能作出了评估。     

并行文件系统的设计

随着处理机速度和网络传输速度越来越快,外部1/0设备的速度却相对落后了三、四个数量级,已经成为影响整个系统速度的瓶颈.另一方面,诸如多媒体、图像处理这些应用所需要的数据传输率越来越大,因而有必要支持高速的I/O子系统以弥补磁盘与处理机之间速度的差异,支持I/0密集的应用之高数据传输率。为了提高1/0速率,提供大的I/O带宽,在硬件结构上可以并行使用磁盘来解决。对于一个MIMD系统中使用多磁盘输入/输出子系统,     

并行文件系统与并行I／O研究

集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径。论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略。     

并行文件系统与并行I/O研究

集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径.论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略.     

并行文件系统管理工具的设计与实现

通过对常用并行文件系统体系结构的分析，提出了一种适用于某一大类并行文件系统的管理框架。以该管理框架为基础，实现了PVFS并行文件系统的管理工具，并为用户提供了单一映像的管理控制台。功能测试结果表明，该管理工具的引入降低了并行文件系统管理的复杂性。     

并行文件系统的设计

在大规模并行处理巨型机（ＭＰＰ）的设计中，提高Ｉ／Ｏ性能同提高计算能力和通信能力同样重要。并行文件系统（ＰＦＳ）在多个Ｉ／Ｏ结点的多个磁盘上，分布文件系统和文件的磁盘块，将文件读写在计算结点转化成多个对物理块的直接Ｉ／Ｏ请求，利用预读，预分配，磁盘缓冲式区和异步Ｉ／Ｏ增加Ｉ／Ｏ的并发生，在特定的文件使用模式下，也是ＭＰＰ应用的主要Ｉ／Ｏ模式，获得很高的Ｉ／Ｏ效率。     

并行文件系统的设计与实现

并行文件系统已作为超级计算机提高Ｉ／Ｏ带宽最常用的方法之一,鉴于超级计算机之间体系结构的差异,其设计和实现方法也不同。本文就ＩｎｔｅｌＴＦＬＯＰＳ的并行文件系统（ＰＦＳ）作一介绍。     

并行文件系统的应用探讨

信息技术中心管理着大量的服务器,这些服务器上需要部署很多的应用系统,而不同的应用系统需要采取不同的部署方法．在服务器上部署并行文件系统能够提高数据I／O的性能和科学计算程序的计算速度,但是并行文件系统并不一定适合于所有的应用系统．本文采用一款非常优秀的文件系统测试软件IOzone,测试了不同服务器上的文件系统性能,得到大量的测试数据,通过图像化的表示方法分析测试结果,得出结论：和小文件读写的应用系统相比,并行文件系统更适合于部署在大文件读写的应用系统上．     

并行网络文件系统PNFS性能评测与分析

传统的网络文件系统难以满足高性能计算系统的I/O 需求,并行网络文件系统——PNFS可以有效地解决传统网络文件系统在可扩展性、可用性和性能上存在的问题。首先对PNFS的体系结构进行了设计,实现了元数据服务器与存储服务器的分离,消除了由于集中服务器结构引发的I/O瓶颈问题。然后,对PNFS的原型系统进行了性能测试,并与相同环境下NFS的测试结果进行比较与分析,结果表明PNFS能够为客户端提供并行访问文件数据的能力,有着较高的I/O读写带宽和较低的访问延迟,同时实现了客户端I/O带宽与存储服务器规模之间的线性可扩展关系,能较好地满足高性能计算中的I/O需求。     

曙光并行文件系统DPFS的研究与设计

并行文件系统是高性能计算系统中的快速I／O库。它的目的是为并行计算应用提供快速Input／Output的手段。文章总结了并行应用程序的读写特点,其中的关键问题和在并行文件系统的通常使用的技术,并以此为基础设计了面向曙光高性能服务器的曙光并行文件系统（Dawning Parallel File System,DPFS）。     

大规模并行文件系统中的数据可靠性机制

把分布式的备份思想应用到大规模并行文件系统中,在使用冗余机制构建数据的系统中提供快速恢复机制。并使用马尔可夫模型建立了一个平均直到数据丢失时间的分布模型,指导如何在数据可靠性需求和冗余数据开销之间进行平衡。根据可靠性模型分析,在快速恢复机制下,使用m-n机制,只要n≥m＋2,并且恢复数据所需的计算时间与磁盘I／O时间相比可以忽略不计,就可以满足大规模存储系统对町靠性的需求。     

基于直接数据访问的并行文件系统

并行文件系统是高性能计算机为提高I／O带宽在软件方面采用的主要并行I/O技术之一。该文介绍了一种基于直接数据访问的并行文 件系统的设计和实现,阐明了该并行文件系统具备的主要功能及解决的关键技术问题。     

并行文件系统的关键技术与框架设计

论述并行文件系统的工作负载特征——基于空间和时间的文件访问模式,并对非连续数据访问技术进行比较研究;给出并行文件系统设计的原则与目标,最后提出并行文件系统的框架。     

并行文件系统研究综述

对于运行在机群上的一类I/O密集型应用,I/O成为整个系统的瓶颈,并行文件系统是解决I/O瓶颈问题的重要方法.但如何实现高性价比且高可用的并行文件系统,目前还没有一个成形完整的解决方案.本文阐述了并行文件系统的功能和模型,对现存的并行文件系统从三个不同的角度进行了分类,详细分析了设计并行文件系统的5个关键技术,分析评价了具有代表性的并行文件系统优缺点,最后讨论了进一步的研究工作.     

一种面向分布式文件系统的文件预取模型的设计与实现

如何为上层应用和计算提供稳定高效的文件I/O性能,是分布式文件系统性能研究的热点。文中分析分布式文件系统在设计机理上的共同特征,基于此提出一种通用型的启发式文件预取模型,并选取HDFS平台进行系统实现。启发式文件预取对上层应用透明,采用在文件系统内部建立预取线程池的方法,以组成文件块的数据存储文件为预取单位,在分布式文件系统内部实现。这种设计思路具有一定的普适性,适合推广应用于多种分布式文件系统。实验结果表明,所述的启发式文件预取,能够有效提升分布式文件系统的I/O性能。     

蓝鲸机群文件系统文件layout设计与实现

维护文件逻辑位置到物理位置映射关系的文件布局是文件系统的重要组成部分。针对蓝鲸海量机群文件系统中文件的条带分布特性,分析了目前普遍采用的三级间接地址文件布局和扩展块段文件布局的优缺点。有效结合三级间接地址文件布局避免查询、直接映射的优点和扩展块段文件布局映射高效、空间占用少的优点,提出了一种新的固定长度扩展块段文件布局,并在小文件环境对其进行了优化改进,提出了幂次长度扩展块段文件布局。实验测试结果表明该文件布局可以有效适用于蓝鲸机群文件系统,达到了预期效果。该文件布局同样适用于其他采用条带机制的文件系统。