并行文件系统I/O特征

并行文件系统是并行计算系统的存储子系统,I/O性能是并行计算系统研究的重要方面.本文分析了并行文件系统I/O研究的难点,研究了并行文件系统的I/O特征和关键技术,指出了并行文件系统I/O性能研究未来的研究方向,为并行计算系统的设计和优化提供重要参考.     

并行文件系统与并行I/O研究

集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径.论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略.     

并行文件系统Lustre细粒度I/O性能优化

并行文件系统Lustre粗粒度I/O性能良好,细粒度I/O性能相对粗粒度I/O比较低下,因此优化细粒度I/O性能成为提高系统整体I/O性能的关键问题。在研究和分析了Lustre的I/O访问模式、细粒度I/O服务流程和页面替换算法等方面后,提出了细粒度优先（Fine Grained First,FGF）LRU算法。在OST端及Client端的页高速缓存中最大程度地保留细粒度I/O的页面,降低细粒度I/O引起的页面下沉速度,延长细粒度I/O页面在主存中的时间,进而减少对磁盘的访问次数,降低磁盘访问开销。通过对实验数据的对比和分析,验证了FGF-LRU算法的有效性。在不影响粗粒度I/O性能的情况下,提高了细粒度I/O性能,最终实现提高系统整体I/O性能。     

并行文件系统扩容与I/O节点负载平衡策略

在规模并行处理系统ＭＰＰ商业化应用中,并行文件系统容量与Ｉ／Ｏ节点的负载平衡一直是挖掘整个系统并行性,进而提高系统性能的关键问题之一。本文从分析Ｐａｒａｇｏｎ大规模并行处理系统的体系结构和并行文件系统的体系结构出发,给出了并行文件系统的扩容策略,使用ＭＰＰ系统的Ｉ／Ｏ节点平衡负载理论模型,给出了实际工程应用中的负载平衡策略。     

大规模集群文件系统中的I/O拥塞控制机制

首先研究了分布式集群存储系统中如何为各个客户端提供公平有效的I/O服务的问题,然后针对大规模集群文件系统提出了一种分布式I/O拥塞控制的策略.在拥塞控制下,当服务器轻载时,可以让单个客户端并行地发出更多的I/O请求给服务器,以达到最大化网络和服务器资源的利用率以及I/O吞吐率的目的；当服务器重载时,通过一种节流控制,限...     

并行文件系统与并行I／O研究

集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径。论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略。     

Windows环境下如何编写I／O程序

本文介绍基于Ｗｉｎｄｏｗｓ环境下编写Ｉ／Ｏ程序的两个方法，作为一个Ｉ／Ｏ程序的例子，本文还介绍了如何读取网卡的全局唯一物理地址及如何用程序清除ＣＭＯＳ密码的方法。     

一种基于虚拟机的高效磁盘I/O特征分析方法

于磁盘系统的机械运动本质,磁盘系统I/O往往会成为计算机系统的性能瓶颈.为了有效地提高系统性能,收集和分析应用系统的磁盘I/O特征信息将成为性能优化工作的重要基础.与以往I/O特征分析方法不同,给出了一种基于Xen 3.0虚拟机系统的磁盘I/O特征在线分析方法.在虚拟机环境下,该磁盘I/O特征采集方法可以透明地应用于任意无须修改的操作系统.该方法可以高效地在线采集多种基本I/O特征数据,其中包括:磁盘I/O块大小、I/O延迟、I/O时间间隔、I/O空间局部性、时间局部性以及磁盘I/O操作热点分布.通过测试和分析,该在线I/O分析方法有着较小的系统开销,并且对应用系统I/O性能的影响很小.此外,还给出了在大文件拷贝、基于Filebench的filemirco和varmail等工作负载下的I/O特征分析结果.     

Windows Vista、Windows7存储I/O优先化

微软操作系统中Windows Vista率先实现了I/O优先化技术,克服了PC的I/O瓶颈,有效地改善了系统的响应能力.文章提供了微软Windows操作系统有关I/O优先级技术信息,为应用程序设计、存储设备设计及系统维护提供了参考依据.     

Multi-bank闪存文件系统的一种I/O调度机制

闪存以其体积小、抗震性强、能耗低、读取速度快等特点,被广泛应用于存储系统中。NOOP是闪存上传统的调度方法,但是NOOP的I/O性能较低,不能满足很多应用程序的要求。根据闪存读取速度快、多个banks(chips)可以并行运行等特点,提出了一种基于闪存文件系统YAFFS的Multi-bank闪存调度方法(简称MBS)。MBS并行地执行请求,且给予读请求更高的优先级。MBS根据AVL-based-tree机制识别出的写请求属性动态地将其分配到合适的bank中。实验结果表明,相比NOOP,MBS调度具有更高的I/O吞吐率、更短的请求响应时间并具有均匀的bank擦除次数和利用率。     

基于C++的Windows CE文件I/O处理技术

通过对Windows文件系统的分析以及各种文件I／O处理方法的进一步研究,发现大多数Windows CE应用程序的文件I/O处理都是使用基于Win32 API函数的方法或基于MFC类库中CFile类的方法,本文讨论了这两种文件处理方法的基本原理及其运用。     

一种集群计算系统中并行I/O文件存储分配策略

现代计算机系统性能已经由受限于CPU转变为受限于I／O，近年来研究人员对高性能计算中的并行I／O问题进行了深入研究．本论文的主要工作是对集群计算中的并行I／O子系统进行研究，提出一种文件拆分与存储分配的新策略，即：已知知识的文件拆分与分配方法(KKFDA)，该方法保证文件存储方式与访问方式的一致性，达到了提高文件访问时的本地命中率、缩短访盘响应时间的目的．算法设计与实验证明了方法的有效性．     

Windows可安装文件系统应用研究

由于Windows操作系统的源代码非开放性,其文件系统的工作机制并不为人们所熟悉。通过分析Windows2000/XP的可安装文件系统IFS以及如何利用IFS机制编制文件驱动程序来使Windows2000/XP支持新的文件系统,着重给出了如何在Windows操作系统下编制文件驱动程序来支持LinuxEXT2文件系统的思路和具体方法。     

应用层并行I/O效率研究

针对划分计算空间到多个计算区域(zone)这类问题,采用基于计算区域组织I/O时,首先需选择计算区域的主进程;其次当某一进程是两个计算区域的主进程时需指定计算区域数据访问先后顺序。设计了多级极大独立集算法实现上述过程。该算法利用图论中的连通图以及极大独立集概念规定了每个计算区域进行数据访问的进程以及优先级。经样例分析,采用此种方法达到I/O并行度最高,并实现在并行度最高情况下通信量最小。     

并行I/O中一种基于服务时间最小变化的文件分配策略

论文中对于文件访问的服务时间进行了较深入的研究,提出一种并行I/O文件分配算法——启发式文件分类分配策略,它在负载基本均衡前提下,按照相似的访问服务时间对每个待分配的数据文件进行磁盘分配。通过对启发式文件分类分配策略与已有的贪婪文件分配法进行实验比较,结果表明:系统处理重负载时,访问响应时间提高了30%左右,而且数据访问速率越高,由启发式文件分类分配策略所提高的性能就越明显。     

典型商用并行文件系统分析

并行文件系统是高性能并行计算机的重要组成部分。本文分析了几种典型的商用并行文件系统,包括Intel的PFS．IBM的PIOFS和GPFS,SGI的XFS和CXFS等,详细比较了它们在提高并行性、维护数据一致性以及提供Unix兼容接口等备方面的技术特点,以对设计和实现高效的并行文件系统提供参考。     

Filter Cache:一种提高Lustre I/O性能的方法

高性能计算系统需要一个可靠高效的并行文件系统.Lustre集群文件系统是典型的基于对象存储的集群文件系统,它适合大数据量聚合I/O操作.大文件I/O操作能够达到很高的带宽,但是小文件I/O性能低下.针对导致Lustre的设计中不利于小文件I/O操作的两个方面,提出了Filter Cache方法.在Lustre的OST组件中设计一个存放小文件I/O数据的Cache,让OST端的小文件I/O操作异步进行,以此来减少用户感知的小文件I/O操作完成的时间,提高小文件I/O操作的性能.