文件Cache自适应策略研究

Linux系统在被不同大小的数据块访问时,系统读写性能有差异。在少数特定访问数据块大小的应用中,Linux系统读写性能较差。文件Cache算法的性能是导致该问题的原因之一。在分析访问数据块大小对文件Cache算法性能的影响的基础上,提出了一种文件Cache自适应策略。该策略考虑了预取算法对于页面置换算法的影响,增强了页面置换算法对访问数据块大小变化的适应性,达到了提高Linux系统读写性能的目标。Linux系统读写性能测试实验表明,该策略可以使Linux系统在被不同大小的数据块访问时保持稳定且更优的读写性能。     

并行文件系统Lustre细粒度I/O性能优化

并行文件系统Lustre粗粒度I/O性能良好,细粒度I/O性能相对粗粒度I/O比较低下,因此优化细粒度I/O性能成为提高系统整体I/O性能的关键问题。在研究和分析了Lustre的I/O访问模式、细粒度I/O服务流程和页面替换算法等方面后,提出了细粒度优先（Fine Grained First,FGF）LRU算法。在OST端及Client端的页高速缓存中最大程度地保留细粒度I/O的页面,降低细粒度I/O引起的页面下沉速度,延长细粒度I/O页面在主存中的时间,进而减少对磁盘的访问次数,降低磁盘访问开销。通过对实验数据的对比和分析,验证了FGF-LRU算法的有效性。在不影响粗粒度I/O性能的情况下,提高了细粒度I/O性能,最终实现提高系统整体I/O性能。     

Linux内核的文件预读

Linux文件预读算法磁盘I／O性能的发展远远滞后于cPu和内存，预读可以有效的减少磁盘的寻道次数和应用程序的I／O等待时间。本文作者是中国科学技术大学自动化系的博士生，为了优化服务器的性能，重写了内核的文件预读部分，这些改进被收录到LinuxKernel2．6．23及其后续版本中。     

分布式文件系统的流式数据预读

在分布式文件系统中,网络和磁盘往往是影响IO性能的主要因素.如何最大限度地挖掘网络和磁盘的性能潜力,长期以来一直都是非常活跃的研究课题.已有研究工作主要侧重于预取策略和数据的缓存策略,而未能将网络和服务器端磁盘I/O统一进行调度.提出并设计实现了一种流式预读方法,通过在客户端改变发送预读请求和接收预读数据的顺序,交错网络传输和磁盘访问,实现了延迟隐藏.测试表明,这种方法确实显著提高了顺序读性能.     

基于pNFS的小文件间数据预读机制研究

随着信息技术飞速发展,小文件的数量越来越多.高效管理海量小文件、提供低延时的小文件访问服务,是并行网络文件系统的研究热点.小文件数据读取访问中,由于数据读取粒度小并且不同小文件之间的数据访问空间连续性差,难以发挥数据存储设备的大粒度顺序访问的性能优势,导致小文件的访问性能远远低于大文件的访问性能.在扩展只读目录授权机制框架下,提出一种小文件间数据预读机制,充分发挥了数据存储设备大粒度顺序访问性能的优势,大幅降低了小文件数据读取访问延迟.典型应用环境实测表明,对比pNFS系统,小文件数据顺序读取访问性能最高可提升8.92倍,随机读取性能最高可提升11.82倍.     

一种识别I/O Feature的文件预测模型

在文件预取技术中,如何提高文件预取的命中率和适用度一直是研究的焦点.尤其是在面对大批量数据读取的时候,如何提高预取命中率对系统的性能提升有着至关重要的影响.本文提出识别I/O Feature的预测模型(IOPM),该模型通过记录文件的历史访问信息获取I/O Features,然后分析这些I/O访问模式,设计一个简单高效的特征符号表来表示这些模式.此预测模型可以有效地识别出顺序读、固定点读、逆序读、跳读、多步跳读等多种模式.同时,该模型添加应用程序的信息,可以有效地对不同程序之间的交叉读做出预测,具有很高的预测命中率.     

基于外存性能模型的多通道并行I／O

I／O部分一直是制约计算机系统整体性能提升的瓶颈。本文提出外存性能模型，用于定量分析外存的I／O性能并帮助克服I／O瓶颈，并在此基础上，提出用多通道I／O克服PCI总线瓶颈。采用多钱程控制和异步I／O技术，使所有通道的磁盘并行工作。对比实．验表明，最大顺序读性能提升了46％，顺序写提升48％，随机读提升4％，随机写提升57％。     

网络存储系统中低开销高性能的第二级缓存替换算法的研究

针对网络存储访问特性所带来的第二级缓存性能降低的问题,提出了一种高性能的第二级缓存替换算法。本算法采用顺序页面检测机制,能根据缓存页面顺序程度的不同做出替换选择,以减少缓存失效引起随机访问磁盘的次数,避免不必要的磁头寻道和旋转开销,从而改善整个存储系统的性能。实验结果表明,在多种缓存大小下,本文算法能显著降低有效响应时间,使网络存储系统达到更优的性能。     

DiskSeen预取算法的分析及优化研究

计算机存储层次结构是一种典型的金字塔形结构,以平衡计算机对存储系统的两方面需求,即高速处理数据和大的存储容量。然而随着信息技术的飞速发展,计算机处理器和磁盘之间的速度鸿沟持续扩大,因而磁盘访问便成为一个 影响 计算机系统性能的瓶颈问题。近几十年来,如何减小磁盘访问延迟对整个计算机系统性能的影响,一直是存储领域的热点研究问题。预取技术,通过提前预测I/O请求并将数据读入缓存中,以对上层应用程序隐藏I/O延迟,是缓解这一瓶颈问题的重要技术手段。DiskSeen是一种块级预取算法,通过分析磁盘块的位置和访问时间的联系来提高磁盘访问的顺序性和总体的预取性能。针对DiskSeen算法,文中主要做了以下几方面工作:首先,分析DiskSeen算法的不足之处,据此提出动态控制预取粒度和二次匹配激活历史预取方法,以优化效率;然后,实现了DiskSeen算法及改进后的算法;最后,在模拟仿真实验环境下对算法进行了性能对比测试。实验结果显示,DiskSeen算法能够明显提高缓存命中率并减少平均响应时间,而优化后的DiskSeen算法则可以进一步提升上述两方面的系统性能。     

支持高并发访问的新型NVM存储系统

I/O系统软件栈是影响NVM存储系统性能的重要因素。针对NVM存储系统的读写速度不均衡、写寿命有限等问题，设计了同异步融合的访问请求管理策略；在使用异步策略管理数据量较大的写操作的同时，仍然使用同步策略管理读请求和少量数据的写请求。针对多核处理器环境下不同计算核心访问存储系统时地址转换开销大的问题，设计了面向多核处理器地址转换缓存策略，减少地址转换的时间开销。最后实现了支持高并发访问NVM存储系统（CNVMS）的原型，并使用通用测试工具进行了随机读写、顺序读写、混合读写和实际应用负载的测试。实验结果表明，与PMBD相比，所提策略能提高1%~22%的读写速度和9%~15%的IOPS，验证了CNVMS策略能有效提高NVM存储系统的I/O性能和访问请求处理速度。     

一种新的自适应并行预取算法

研究了并行存储预取优化算法，根据并行存储的主要访问模式，提出要同时对文件内数据块访问和文件间访问进行建模，并对文件内数据块访问和文件间访问建模分别提出了E_IS_PPM算法和Last_N_Successor算法。最后将两个算法结合起来，提出了文件预取综合算法，算法根据计算和存储的可重叠程度以及文件预取页面的可获得性，自适应地决定预取深度。     

Reference implementation of scalable I/O low-level API on Intel Paragon

The Scalable I/O(SIO)Initiative‘s Low-Level Application Programming Interface(SIO LLAP)provides file system implementers with a simple low-Level interface to support high-level parallel /O interfaces efficiently and effectively.This paper describes a reference implementation and the evaluation of the SIO LLAPI on the Intel Paragon multicomputer.The implementation provides the file system structure and striping algorithm compatible with the Parallel File System(PFS)of Intel Paragon ,and runs either inside the kernel or as a user level library.The scatter-gather addressing read/write,asynchronous I/O,client caching and prefetching mechanism,file access hint mechanism,collective I/O and highly efficient file copy have been implemented.The preliminary experience shows that the SIO LLAPI provides opportunities of significant performance improvement and is easy to implement.Some high level file system interfaces and applications such as PFS,ADIO and Hartree-Fock application,are also implemented on top of SIO.The performance of PFS is at least the same as that of Intel‘s native pfs,and in many cases,such as small sequential file access,huge I/O requests and collective I/O,it is stable and much better,The SIO features help to support high level interfaces easily,quickly and more efficiently,and the cache,prefetching,hints are useful to get better performance based on different access models.The scalability and performance of SIO are limited by the network latency,network scalable bandwidth,memory copy bandwidth,memory size and pattern of I/O requests.The tadeoff between generality and efficienc should be considered in implementation.     

多线程环境下基于多预取点的文件预取

为解决当前Linux内核的预取算法在多线程情况下出现预取误判的问题,依据多线程环境下进程对磁盘文件的访问特点,提出一种基于多预取点的预取算法。在Linux内核原有的预取算法的基础上,结合多线程环境下应用程序对数据的访问模式,在Linux内核的页面缓存层进行了实现。实验和分析表明,在IOzone单线程测试中,该算法和Linux内核原预取算法性能相当;在多线程测试中,读取相同大小的文件,耗时比Linux内核原预取算法至少少1/3。新算法对于提高I/O并行度,从而提高整个计算机系统并行化很有帮助。     

Linux I/O调度算法分析与研究

研究表明,好的磁盘调度算法可以明显优化磁盘的I/O性能,Linux提供四种调度算法可供选择。基于Linux 2.6.32内核源码,研究Noop、Deadline、Anticipatory、CFQ四种磁盘调度算法的基本原理和特点,分析每种算法的优缺点,这对系统管理员针对不同类型的应用场景来调整优化I/O调度算法有着重要意义。     

视频服务器中变比特率视频流的I/O调度

讨论了视频服务器中变化特率（ＶＢＲ）视频流的Ｉ／Ｏ调度问题．其中重点讨论了Ｉ／Ｏ调度中的接纳控制算法．首先提出了Ｂｉ－ＳＣＡＮ磁盘调度算法,并将其应用到ＶＢＲ视频流的Ｉ／Ｏ调度．接着讨论了两种确定性接纳控制算法．确定性接纳控制能提供确保的服务质量,但系统资源的利用率很低．为此提出了一种基于统计复用的统计接纳控制算法,该算法将ＶＢＲ视频数据复杂的统计特性转化为磁盘提交的数据块数量的统计特性,使问题得     

Optimal Read-Once Parallel Disk Scheduling

An optimal prefetching and I/O scheduling algorithm L-OPT, for parallel I/O systems, using a read-once model of block references is presented. The algorithm uses knowledge of the next $L$ references, $L$-block lookahead, to create a minimal-length I/O schedule. For a system with $D$ disks and a buffer of capacity $m$ blocks, we show that the competitive ratio of L-OPT is $\Theta(\sqrt{mD/L})$ when $L \geq m$, which matches the lower bound of any prefetching algorithm with $L$-block lookahead. Tight bounds for the remaining ranges of lookahead are also presented. In addition we show that L-OPT is the optimal offline algorithm: when the lookahead consists of the entire reference string, it performs the absolute minimum possible number of I/Os. Finally, we show that L-OPT is comparable with the best online algorithm with the same amount of lookahead; the ratio of the length of its schedule to the length of the optimal schedule is always within a constant factor.     

Improving Application Launch Performance on Solid State Drives

Application launch performance is of great importance to system platform developers and vendors as it greatly affects the degree of users’ satisfaction.The single most effective way to improve application launch performance is to replace a hard disk drive (HDD) with a solid state drive (SSD),which has recently become affordable and popular.A natural question is then whether or not to replace the traditional HDD-aware application launchers with a new SSD-aware optimizer.We address this question by analyzing the inefficiency of the HDD-aware application launchers on SSDs and then proposing a new SSD-aware application prefetching scheme,called the Fast Application STarter (FAST).The key idea of FAST is to overlap the computation (CPU) time with the SSD access (I/O) time during an application launch.FAST is composed of a set of user-level components and system debugging tools provided by Linux OS (operating system).Hence,FAST can be easily deployed in any recent Linux versions without kernel recompilation.We implement FAST on a desktop PC with an SSD running Linux 2.6.32 OS and evaluate it by launching a set of widely-used applications,demonstrating an average of 28% reduction of application launch time as compared to PC without a prefetcher.     

浅析缓存预取技术

针对计算机系统中CPU与I／O性能差距持续扩大的的问题,引出缓存及预取的概念,并分析预取技术需要处理的几个关键问题。根据预取的发展。介绍并比较几类典型的预取算法。针对目前的各种软硬件新技术,探讨预取技术所面临的困难及其发展趋势。     

浅析缓存预取技术

针对计算机系统中CPU与I/O性能差距持续扩大的的问题,引出缓存及预取的概念,并分析预取技术需要处理的几个关键问题。根据预取的发展,介绍并比较几类典型的预取算法。针对目前的各种软硬件新技术,探讨预取技术所面临的困难及其发展趋势。