并行文件系统I/O特征

并行文件系统是并行计算系统的存储子系统,I/O性能是并行计算系统研究的重要方面.本文分析了并行文件系统I/O研究的难点,研究了并行文件系统的I/O特征和关键技术,指出了并行文件系统I/O性能研究未来的研究方向,为并行计算系统的设计和优化提供重要参考.     

针对固态硬盘的拥塞控制I/O调度器

针对固态硬盘( SSD)存储系统在高并发访问时出现的I/O路径局部拥塞效应,设计并实现了动态拥塞控制调度器。该调度器通过设置动态拥塞阈值,分化处理I/O请求,显著提高了固态硬盘存储系统的系统性能,有效改善了系统I/O路径的局部拥塞效应。实验结果表明,相对于内核NOOP调度器,该调度器使得系统平均响应时间减少20%左右,局部拥塞效应减少90%左右。     

告别机械存储 全新SSD固态硬盘解析

硬盘在很多玩家眼中，一直都是系统瓶颈的代名词：一方面是由于它的转速增长幅度远没有跟上容量增长的步伐，导致硬盘单位容量的I/O性能越来越低；另一方面由于硬盘内部的机械构造，让它一直都拥有“一颗脆弱的心”。到底如何解决硬盘的上述两大问题呢？最近一款全新的电子存储设备--固态硬盘（Solid State Disk,以下简称SSD）破冰而出。 作为三星等NAND FLASH闪存芯片厂商努力开发的，用于取代当前机械存储的这款产品究竟能否让硬盘真的不再脆弱呢？下面就为大家揭开它的神秘面纱。[编者按]     

集群环境下I/O文件传输调度器的设计与实现

近年来研究人员对高性能计算中的并行I/O问题进行了深入研究,然而这些研究主要针对MPP问题,而对集群计算机系统中并行I/O问题的研究不多。因此,对于集群计算中的并行I/O系统进行研究是一个重要的研究课题。对集群计算中的并行I/O传输调度效率进行研究,设计了一个文件传输调度器,可以实现文件传输最快捷,节点资源最大利用,显著提高I/O节点吞吐率和反应时间。经过大量数据的测试和实验证明该调度器的有效性和适用性。     

基于Windows平行文件系统下的平行I/O

近年来,平行档案系统被广泛的用来解决这个问题,除此之外,由于电脑被使用于平行处理平台的普及率逐步上升,造成使用于电脑上的平行处理软体需求量持续增加,但是,却有可能缺乏平行I/O的系统。因此,文章旨在研究与分析Windows平行文件系统下的平行I/O的特点与实现方式。     

Linux I/O调度算法分析与研究

研究表明,好的磁盘调度算法可以明显优化磁盘的I/O性能,Linux提供四种调度算法可供选择。基于Linux 2.6.32内核源码,研究Noop、Deadline、Anticipatory、CFQ四种磁盘调度算法的基本原理和特点,分析每种算法的优缺点,这对系统管理员针对不同类型的应用场景来调整优化I/O调度算法有着重要意义。     

Multi-bank闪存文件系统的一种I/O调度机制

闪存以其体积小、抗震性强、能耗低、读取速度快等特点,被广泛应用于存储系统中。NOOP是闪存上传统的调度方法,但是NOOP的I/O性能较低,不能满足很多应用程序的要求。根据闪存读取速度快、多个banks(chips)可以并行运行等特点,提出了一种基于闪存文件系统YAFFS的Multi-bank闪存调度方法(简称MBS)。MBS并行地执行请求,且给予读请求更高的优先级。MBS根据AVL-based-tree机制识别出的写请求属性动态地将其分配到合适的bank中。实验结果表明,相比NOOP,MBS调度具有更高的I/O吞吐率、更短的请求响应时间并具有均匀的bank擦除次数和利用率。     

面向SSD寿命优化的访问序列折叠缓存替换算法*

SSD(solid state drive)的写入寿命比较有限,因此除命中率外,SSD缓存设备的写入量成为评价缓存替换算法的另一个关键指标。如何使算法提高写入数据转化为缓存命中的效率,从而延长SSD的使用寿命,具有重要的研究意义。目前,已有缓存替换算法的设计一般基于时间局部性,即刚被访问的数据短期内被访问的概率较高,因此需要频繁的数据更新和较高写入量来保证较高命中率;或是通过不低的开销屏蔽相对最差的部分数据来减少一定的写入量,还缺少用低开销获得数据长期热度规律,有效提高缓存数据质量的算法。提出了访问序列折叠的缓存替换算法,用比较低的开销定位拥有长期稳定热度的数据写入缓存,明显提高了SSD缓存数据质量,在保证命中率的同时减少了SSD的写入量。实验表明,访问序列折叠算法相比LRU(least recently used)算法可在命中率损失低于10%的情况下减少90%的写入量,与SieveStore、L2ARC(level2 adjustable replacement cache)等写入优化缓存算法相比,命中率相当时可将写入量减少50%以上,有效达到了通过缓存高质量数据,减少SSD的写入量,延长其使用寿命的目的。     

并行文件系统Lustre细粒度I/O性能优化

并行文件系统Lustre粗粒度I/O性能良好,细粒度I/O性能相对粗粒度I/O比较低下,因此优化细粒度I/O性能成为提高系统整体I/O性能的关键问题。在研究和分析了Lustre的I/O访问模式、细粒度I/O服务流程和页面替换算法等方面后,提出了细粒度优先（Fine Grained First,FGF）LRU算法。在OST端及Client端的页高速缓存中最大程度地保留细粒度I/O的页面,降低细粒度I/O引起的页面下沉速度,延长细粒度I/O页面在主存中的时间,进而减少对磁盘的访问次数,降低磁盘访问开销。通过对实验数据的对比和分析,验证了FGF-LRU算法的有效性。在不影响粗粒度I/O性能的情况下,提高了细粒度I/O性能,最终实现提高系统整体I/O性能。     

I/O系统性能测评与分析

输入输出系统(I/O系统)作为计算机系统中的一个重要组成部分,其性能的好坏对CPU的性能有很大的影响,因此本文从I/O系统基本概述开始介绍,并采用了模型模拟和实际测量的方法来衡量I/O系统性能,并做了相关的评价分析.     

并行文件系统与并行I/O研究

集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径.论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略.     

Filter Cache:一种提高Lustre I/O性能的方法

高性能计算系统需要一个可靠高效的并行文件系统.Lustre集群文件系统是典型的基于对象存储的集群文件系统,它适合大数据量聚合I/O操作.大文件I/O操作能够达到很高的带宽,但是小文件I/O性能低下.针对导致Lustre的设计中不利于小文件I/O操作的两个方面,提出了Filter Cache方法.在Lustre的OST组件中设计一个存放小文件I/O数据的Cache,让OST端的小文件I/O操作异步进行,以此来减少用户感知的小文件I/O操作完成的时间,提高小文件I/O操作的性能.     

一种基于小数据同步写的回写I/O调度器

小数据同步写普遍存在于的各种计算机环境中,并且可以由计算机系统的不同层次软件产生,从底层操作系统一直到上层应用软件都可以生成小数据同步写请求.然而,操作系统的文件系统是以块作为最小逻辑可寻址单位,小数据写将会导致严重的写放大问题,使得系统的I/O性能大幅降低.为了解决上述问题,我们提出了一种新的I/O调度器,并将它取名为“Hitchhike”.该调度器可以识别小数据写,并通过对其他数据块中的数据进行压缩,,将小数据嵌入到压缩出来的空间中,从而将小数据和该数据块一起写入到磁盘上,以异步回写的方式完成小数据的同步写,不仅有效缓解了磁盘的写放大问题,也大大提高了小数据同步写的效率.我们基于Linux中Deadline调度器实现了Hitchhike原型系统,并利用Filebench基准测试来测试调度器在吞吐量、I/O延迟等方面的性能.通过和传统I/O调度器的性能进行比较,我们可以发现Hitchhike调度器能够显著的提高小数据同步写性能高达48.6%.     

自主协助动态并行I/O调度策略研究

随着处理器速度和网络传输速度的快速提升，I／O成为限制计算机性能的一大瓶颈，并行I／O提供了解决这一问题的有效途径。在并行I／O的实现中，数据访问调度策略对系统的性能有着重要的影响。文章通过对集群计算中现有I／O数据访问调度策略的研究，针对调度器瓶颈问题，提出了自主协助动态I／O调度策略，实验结果表明了所提出策略的有效性。     

使用MPI的并行I/O实现及性能分析

论文讨论了并行环境中I/O的基本方法——串行I/O方法和并行I/O方法,并使用MPI-1及MPI-2对这两种方法进行了实现。分析了不同的实现方法对I/O带宽产生的影响。通过理论分析和实验表明,基于MPI-2的并行I/O实现方法与其它I/O实现方法相比,可得到更高的I/O带宽,是解决I/O性能问题的有效途径。     

数据调度器可自动重构的并行I/O系统研究

为了提高并行I/O系统的数据调度器的可靠性,提出数据调度器自动重构机制(DD_AR),同时在数据调度器可自动重构机制的基础上进行并行I/O系统的设计,实验结果表明机制的有效性.     

基于NOW的Collective I/O技术研究

随着ＮＯＷ在科学研究中白益广泛的应用,如何为ＮＯＷ上的科学计算提供高性能的输入输出成为我们面临的一个新课题。作者根据ＮＯＷ的特点,设计并实现了一个具有ＮＯＷ特色的基于ＣｏｌｌｅｃｔｉｖｅＩ／Ｑ的并行Ｉ／Ｏ系统,吸取了ＤＤＩＯ与ｔｗｏ－ｐｈａｓｅＩ／Ｏ的优点,从而有效地解决了高带宽和低延迟问题。初步的系统吞吐量测试显示了良好的性能。     

磁盘阵列系统I/O调度优化研究

分析了RAID-10系统的并行I/O任务模型,应用模糊函数提出了衡量I/O服务的满意度指标,并应用此指标,提出了一种适用于RAID-10系统I/O任务调度算法,提高了RAID-10系统的实时性能,并改善了负载其平衡能力。     

大规模集群文件系统中的I/O拥塞控制机制

首先研究了分布式集群存储系统中如何为各个客户端提供公平有效的I/O服务的问题,然后针对大规模集群文件系统提出了一种分布式I/O拥塞控制的策略.在拥塞控制下,当服务器轻载时,可以让单个客户端并行地发出更多的I/O请求给服务器,以达到最大化网络和服务器资源的利用率以及I/O吞吐率的目的；当服务器重载时,通过一种节流控制,限...     

影响VoD服务器I/O性能的关键因素

在讨论了基于网络视频点系统模型和通用服务器体系结构的基础上，主要分析了影响视频点播服务器性能I／O能力的几个关键因素，对存储设备的吞吐量，PCI总线速率，SCSI通道的速率和网卡的传输速度等对服务器I／O性能的影响进行了较全面，深入的分析，最后提高一种利用服务器集群的方式提高VoD系统I／O能力的方法。