基于预读策略的节能数据访问技术

传统节能策略通过控制组件状态切换来节省能耗,但状态切换本身需要耗费一定能量。为此,提出一种基于预读策略的节能数据访问技术。引入文件系统数据访问中的预读方式,读取数据并将其聚合到一起进行访问,减少设备组件的状态切换,从而实现降低能耗的目的。实验结果表明,在多媒体数据访问方式下使用该技术能节省70%以上的磁盘能耗。     

Linux内核的文件预读

Linux文件预读算法磁盘I／O性能的发展远远滞后于cPu和内存，预读可以有效的减少磁盘的寻道次数和应用程序的I／O等待时间。本文作者是中国科学技术大学自动化系的博士生，为了优化服务器的性能，重写了内核的文件预读部分，这些改进被收录到LinuxKernel2．6．23及其后续版本中。     

NAS设备的磁盘调度模型分析

附网存储 (NAS)设备的性能目标是优化网络存储数据访问和存储子系统的管理 .本文旨在显示随着磁盘转速的增加 ,NAS应该从磁盘硬件的最佳工作性能出发 ,整体配合以提高它的 I/O操作性能 .为了发掘 NAS最佳的工作性能 ,我们建立同时基于磁臂位置和旋转位置的精确的磁盘调度模型 ,并提出测量调度算法性能的方法 .以 HP975 6 0性能参数为基础 ,进行理论分析和模拟测试 .结果磁盘转速越快 ,磁盘访问的开销越大 .因此 ,NAS设备的设计必须从整体上考虑磁盘调度策略的选择 ,并行多磁盘结构的选择 ,文件 cache的分配和文件系统布局等 ,以便提高网络存储数据访问的性能     

基于pNFS的小文件间数据预读机制研究

随着信息技术飞速发展,小文件的数量越来越多.高效管理海量小文件、提供低延时的小文件访问服务,是并行网络文件系统的研究热点.小文件数据读取访问中,由于数据读取粒度小并且不同小文件之间的数据访问空间连续性差,难以发挥数据存储设备的大粒度顺序访问的性能优势,导致小文件的访问性能远远低于大文件的访问性能.在扩展只读目录授权机制框架下,提出一种小文件间数据预读机制,充分发挥了数据存储设备大粒度顺序访问性能的优势,大幅降低了小文件数据读取访问延迟.典型应用环境实测表明,对比pNFS系统,小文件数据顺序读取访问性能最高可提升8.92倍,随机读取性能最高可提升11.82倍.     

一种支持并发访问流的文件预取算法

设计并实现了一种按需预取算法,采用更为宽松的顺序性判决条件,并以页面和页面缓存的状态作为可靠的决策依据.它可以发现淹没在随机读中的顺序访问并进行有效的预读,支持对单个文件实例的并发访问而产生的交织访问模式.实验结果表明:相对于原Linux预读算法,该算法在随机干扰下的顺序读性能可提高29%;交织读的性能是传统算法的4~27倍;同时,应用程序可见延迟改善可达35倍.该算法已被Linux 2.6.24内核采用.     

网络RamDisk的设计与实现

在当前计算机产业中,有效的数据存储通常还是由磁盘来实现的.现在,磁盘传输速度不断改善,但远没有微处理的速度增加快,因此,磁盘存取的代价相对于处理器来说,变得越来越大.本文设计并实现一个网络RamDisk,其主要思想是利用远地空闲PC机的内存,来作为一个比本地磁盘快的存储设备.我们的网络RamDisk是在Linux操作系统下,作为一个块设备驱动程序来实现的,因此,不需要修改任何Linux系统的内核代码.我们使用了一些应用程序进行测试,获得了较好的性能.     

面向流媒体业务的存储设备性能改进策略

本文分析了RAID、I/O调度和预读等技术在提高流媒体存储系统性能方面的局限性。为突破这些传统策略的限制,本文针对存储设备的特点,挖掘磁盘设备的寻道延迟和旋转延迟的提升空间,提出了流的独立存储、潜伏缓存和排练等方法,从多个角度为进一步提升存储系统服务性能提出了新思路。理论分析和实测评估验证了新方法对系统性能的提升效果。     

Grid VFS中代理管理客户端磁盘缓存的设计与实现

设计并实现了在网格虚拟文件系统Grid VFS客户端采用代理管理磁盘缓存来隐藏网络延迟，提高网格数据利用率。此方法扩展了虚拟化分布式文件系统，提高了对网格资源有效完整的数据访问。在Grid VFS中，客户端代理动态地产生和管理磁盘缓存，每一个未修改的应用程序和OS都能应用，支持write-back策略、文件系统之间缓存的共享以及磁盘缓存的多级化，通过用户级VFS可以完整的集成到网格应用程序和资源中，从而提高了网格数据的访问性能。     

PostgreSQL数据库预取算法研究

减少磁盘的存取时间是提高数据库性能的关键.本文讨论了PostgreSQL数据库顺序存取的特性,提出了一种PostgreSQL中顺序预取数据块的算法,预取的数据块数目可根据当前存取块之前的顺序存取情况作自适应调整.实验结果表明,该算法能有效地提高磁盘块的平均存取速度.     

STANAG-4575文件系统在VXWorks上的实现

IRIG 106数字记录标准为飞行数据的记录提供了标准的接口格式,已经成为该领域国际公认的标准。主要介绍了在VXWorks上实现IRIG 106中定义的文件系统——STANAG-4575的方法。在严格依照标准的同时对文件系统的磁盘结构和内存中的数据结构都进行了优化,以最大程度地保证文件系统的写入性能。同时,为了保证文件系统的可靠性,对元数据和数据的写入顺序进行了严格控制,保证文件系统数据在磁盘上是永远一致的。文章的最后,提供了实现的文件系统和VXWorks本地文件系统之间的性能比较。     

一种基于内存服务的内存共享网格系统

内存密集型应用对运行环境的物理内存要求严格,在物理内存不足时将会引发大量磁盘IO,降低系统性能．传统的网络内存致力于在集群内部通过共享空闲节点的物理内存解决该问题,但受集群负载和内部网络影响较大．通过结合网络内存和服务计算、网格计算等技术,提出一种基于内存服务的内存共享网格系统——内存网格,并分析和讨论了实现内存服务的关键技术和算法．内存网格弥补了网络内存的不足,扩展了网格计算的应用范围．通过基于真实应用运行状态的模拟,证明了内存网格与网络内存相比具有性能的提高．     

Relieving the burden of track switch in modern hard disk drives

In this work, we propose a novel hard disk technique, “AV Disk”, for modern multimedia applications. Modern hard disk drives adopt complex sector layout mechanisms to reduce track and head switch overhead. While these complex sector layout mechanism can reduce average overhead involved in the track and head switch, they bring larger variability in the overhead. From a multimedia application’s point of view, it is important to minimize the worst case I/O latency rather than to improve the average IO latency. We focus our effort to minimize track switch overhead as well as the variability in track switch overhead involved in disk I/O. We propose that track of the hard disk drive is aligned with a certain IO size. In this work, we develop an elaborate performance model with which we can compute the optimal IO unit size for multimedia applications. We propose that hard disk controller is responsible for positioning data blocks in the hard disk platter in such a manner that I/O units are not placed across the track boundaries, where a single I/O unit has size of 32–128 KByte. Optimal IO unit size is used in aligning the tracks in hard disk drives. We develop Skewed Sector Sparing technique in aligning a track with a given IO size. However, when the I/O unit for alignment is increased to 128 KByte, 17% of the disk space becomes unusable. Despite the decreased storage area, track aligning technique increases the overall performance of the hard disk. According to our simulation-based experiment, overall disk performance increases about 5–25%. Given that capacity of hard disk increases 100% every year, we cautiously regard it as reasonable tradeoff to increase the I/O latency of the disk.     

高能物理计算环境中KVM虚拟机的性能优化与应用

高能物理是典型的高性能计算的应用,对CPU计算能力要求很高,并且CPU利用率的高低直接影响高能物理的计算效率.虚拟化技术在实现资源共享和资源高利用率方面表现出很大的优势.基于KVM(Kernel-based Vir-tual Machine)虚拟机进行性能测试和性能优化.首先对KVM虚拟机的处理器、磁盘IO和网络IO等参数进行测试,给出虚拟机和物理机的性能差异和定量分析,然后从KVM虚拟机架构上分析影响KVM性能的各种因素,从硬件级、内核级对影响性能的因素包括扩展页表EPT(Extented Page Table)和CPU的亲和性(CPU affinity)展开研究,以对KVM进行性能优化.优化结果表明,KVM的CPU性能的损失率可以降低至3％左右.最后,给出了高能物理计算的虚拟集群,结果显示虚拟机群的计算性能能够满足高能物理计算的需求.     

一种分布式存储系统用户磁盘配额的实现

用户磁盘配额可实现集群系统中分布式文件系统资源的管理和控制.在分布式文件系统中常使用多数据服务器来扩充文件系统的存储空间、提高并行数据IO的能力.结合NFS,Lustre中分布式配额实现方式,提出了一种适合对等存储模式下的用户磁盘配额策略.该策略使用静态设置和动态调整相结合的方式,能够很好地解决多数据服务器用户配额使用空间不均匀的问题;它可以运行在全局文件系统的所有客户端,避免了单客户端节点失效的问题,且对文件系统性能影响较小.     

The performance of disk arrays in shared-memory database machines

Disk arrays and shared-memory multiprocessors are new technologies that are rapidly becoming pervasive. They are complementary because disk arrays naturally balance the I/O workload by interleaving data across all disks while a shared-memory multiprocessor balances the processing workload across multiple processors. In this paper, we examine how disk arrays and shared memory multiprocessors lead to an effective method for constructing database machines for general-purpose complex query processing. We show that disk arrays can lead to cost-effective storage systems if they are configured from suitably small formfactor disk drives. We introduce the storage system metricdata temperature (IO/s/Gbyte) as a way to evaluate how well a disk configuration can sustain its workload, and we show that disk arrays can sustain the same data temperature as a more expensive mirrored-disk configuration. We use the metric to evaluate the performance of disk arrays in XPRS, an operational shared-memory multiprocessor database system being developed at the University of California, Berkeley.     

分布式存储系统中客户端的设计与实现

BlueOcean是基于对象存储技术的大规模分布式存储系统,详细描述了其客户端软件的设计。客户端基于用户态文件系统fuse框架进行开发,既保证了客户端的通用性,又降低了开发和维护的复杂度。客户端实现了常用的posix接口,可支持绝大多数应用程序的透明运行;设计了一套高效的缓存机制,减少了元数据访问过程中的通信开销,减小了读写延迟,有效地提高了BlueOcean存储系统的性能。     

双拷贝磁盘技术及其性能评价

本文首先介绍了多种冗余存储技术,然后提出了囊使用双拷贝技术减少磁盘找道时间的模型。     

异构盘阵中最优Stripe Unit Size选择技术

缓解计算机IO子系统瓶颈的有效手段是采用磁盘阵列，配置时，SUS(Stripe Unit Size)的选择对盘阵性能的影响非常关键，而以往对异构盘阵的SUS的选择研究较少，该文推导出了确定异构盘阵最优SUS的方程，具体工作如下：首先，该文采用close队列网络模型来描述异构盘阵负载；然后，从该模型推导出系统数据传输率解析表达式，根据该表达式和异构盘阵中设备的特性，可求出使传输率最大的SUS，最后，研究中进行了大量的模拟试验，模拟试验表明在并发的进程数大于10时，所推导的结论与模拟结果非常吻合。     

一种基于闪存固态硬盘的辅助缓冲池设计

基于磁盘数据库系统的瓶颈主要在磁盘I／O,通常采用缓冲池的设计,将读到的数据页先放入到内存缓冲池后再进行操作。因此,缓存池的大小直接决定了数据库的性能。通过研究基于闪存固态硬盘的特性,提出了一种基于闪存固态硬盘的辅助缓冲池设计。最后,通过修改开源数据库MySQL InnoDB存储引擎,并通过TPC-C实验对比分析了启用辅助缓冲池后数据库的性能可有100％-320％的提高。     

面向大规模海洋数据同化算法的并行实现及优化

海洋数据同化是一种将海洋观测资料融合到海洋数值模式中的有效手段,经过同化的海洋数据更加接近海洋的真实情况,对人类理解和认识海洋具有重要意义。围绕海洋数据同化设计了一种基于区域分解的一般性并行实现方法。在此基础上,提出了一种基于IO代理的新并行算法。首先,IO代理进程负责数据的并行读取;接下来,IO代理进程对数据进行切块,然后将块数据发送给相应的计算进程;当计算进程完成局部数据同化后,IO代理进程负责收集计算进程的同化结果,并将其写入磁盘。该方法的主要优势在于：利用IO代理进程来负责IO,而不是像传统方法那样让所有进程都来参与IO（直接并行IO）,这样可以防止大量进程对磁盘的同时访问,有效避免进程排队所导致的等待。在天河二号集群上的测试结果表明,对于1度分辨率的数据同化,在核心数为425时,该并行实现的总运行时间为9.1 s,相对于传统串行程序的加速比接近38倍。此外,对于0.1度分辨率的数据同化,基于IO代理的并行同化算法在使用10 000核时依然具有较好的可扩展性,并且可将其IO时间最大限制在直接并行IO时间的1/9。