一种基于虚拟机的高效磁盘I/O特征分析方法

于磁盘系统的机械运动本质,磁盘系统I/O往往会成为计算机系统的性能瓶颈.为了有效地提高系统性能,收集和分析应用系统的磁盘I/O特征信息将成为性能优化工作的重要基础.与以往I/O特征分析方法不同,给出了一种基于Xen 3.0虚拟机系统的磁盘I/O特征在线分析方法.在虚拟机环境下,该磁盘I/O特征采集方法可以透明地应用于任意无须修改的操作系统.该方法可以高效地在线采集多种基本I/O特征数据,其中包括:磁盘I/O块大小、I/O延迟、I/O时间间隔、I/O空间局部性、时间局部性以及磁盘I/O操作热点分布.通过测试和分析,该在线I/O分析方法有着较小的系统开销,并且对应用系统I/O性能的影响很小.此外,还给出了在大文件拷贝、基于Filebench的filemirco和varmail等工作负载下的I/O特征分析结果.     

高效的自适应文件系统的原型设计

为了改进文件系统的性能,提出的文件系统既具有自适应的RAlD3和RAID5混合结构,又能根据缓存数据在缓冲区的活动性不同而分类缓存,数据被延迟刷新到磁盘来减少、合并写磁盘的次数,进一步采用自适应的文件条带策略来优化文件访问性能.研究结果表明,该文件系统能按需自适应地读写多媒体数据和事务处理数据,当文件系统负载低时,可以尽量积极地将文件分布到所有磁盘来最小化I/O的反馈时间;反之,在系统负载高时,将文件分布的范围小一些以便最大化文件系统整体的吞吐量.     

磁盘驱动程序预写

较好地利用内存作为缓存，并优化磁盘设备的请求处理，是缓解系统I／O瓶颈的有效途径。提出一种驱动程序预写的方法来处理内存缓存中脏数据写回磁盘的方法，其基本思想是：通过将文件系统高速缓存中的脏数据写盘操作由磁盘设备驱动程序发起，磁盘可以在恰当的时间（设备空闲）或者恰当的位置（减少寻遣和设备旋转）完成写请求，减少缓存flush操作对当前应用的影响。模拟试验表明，谊方法能提高磁盘写操作的效率、系统数据的可靠性和系统的I／O性能。     

Xen虚拟机间的磁盘I/O性能隔离

针对当前的虚拟化技术无法使各个虚拟机平等地或按特定比例地共享磁盘带宽、无法保证虚拟机间的I/O性能隔离的问题,基于Xen半虚拟化技术中的块IO请求处理过程,提出一种适用于Xen虚拟机间的磁盘I/O性能隔离算法-XIOS(XenI/O Scheduler)算法,在通用块层调度各虚拟机的块IO操作(bio结构),在I/O调度层保障延迟需求.实验结果表明该算法有效地在虚拟机间按比例地分配磁盘带宽.     

VBR视频流磁盘I/O的平滑调度算法

文章将带宽平滑技术引入磁盘 I/ O调度 ,基于现已取得的研究成果 ,考虑磁盘 I/ O存取特性 ,提出一个针对VBR视频检索的整数块平滑调度算法 .算法所得的结果被证明是优化的 ,实验结果显示该算法在磁盘空间和磁盘 I/ O的带宽利用方面有很好的性能     

一种用磁盘备份SSD的高性能可靠存储系统

固态盘(solid state drive,SSD)因为其优越的性能已被大量部署于当前的存储系统中.但是,由于寿命有限,SSD的可靠性受到广泛的质疑.磁盘阵列(redundant arrays of inexpensive disk,RAID)是一种传统的用来提高可靠性的手段,但并不适用于SSD.这项工作提出一种基于SSD和磁盘的混合存储系统,构建该系统的主要思想是SSD响应所有I/O请求,从而获得较高的性能;磁盘备份所有数据,从而保证系统的可靠性.但是,磁盘的I/O性能显著低于SSD,构建该系统的问题在于磁盘能否及时地备份SSD上的数据.为了解决这一问题,从两方面提出优化:在延迟方面,采用非易失主存弥补磁盘与SSD的延迟差距;在带宽方面,采用两种措施:1)在单块磁盘内部重组I/O请求,使磁盘尽可能的顺序读写;2)采用多块磁盘备份多块SSD,通过将一块SSD上的写请求分散到多块磁盘上,有效应对单块SSD上出现的突发写请求.通过原型系统实现表明,该混合系统是可行的:磁盘能够为SSD提供实时的数据备份;与其他系统相比,该混合系统取得较高的性价比.     

Ro-RAT系统随机调度算法

I/O调度对存储系统的性能、响应速度有很大的影响。本文介绍了一种用于地质勘探领域数据存储的Ro-RAT(ReadOnly RAID-tape-library)系统。该系统采用磁盘作为磁带库的缓存系统,以提高整个系统的读取速度。我们设计了一种适合该系统的磁带I/O调度算法SCAN-M。该算法与应用于磁盘I/O调度的电梯算法类似,但针对磁带的特点进行了调度的排序和合并。从仿真结果看,SCAN-M算法对系统的I/O性能有较大的改进。     

面向QEMU的分布式块存储系统的设计与实现

计算系统虚拟化是当前的主流趋势,然而为虚拟机磁盘提供存储的现有后端系统常直接沿袭分布式文件系统的设计,导致一系列虚拟磁盘I/O场景下不必要的开销。提出的COMET系统,是一个面向QEMU的分布式块存储系统。它基于Proactor模式,针对虚拟磁盘I/O特性扬弃文件系统的语义并在数据读写与一致性等方面采用精简合理的设计,尽可能缩短I/O路径,在具备线性扩展能力、高可用性的同时,实现了写时复制的磁盘快照和写时复制的磁盘克隆等创新功能。测试数据表明,COMET在部分I/O场景下拥有足以媲关乃至超越成熟开源系统的性能。     

一种基于磁盘介质的网络存储系统缓存

随着计算规模越来越大,网络存储系统应用领域越来越广泛,对网络存储系统I/O性能要求也越来越高.在存储系统高负载的情况下,采用低速介质在客户机和网络存储系统的I/O路径上作为数据缓存也变得具有实际的意义.设计并实现了一种基于磁盘介质的存储系统块一级的缓存原型D-Cache.采用两级结构对磁盘缓存进行管理,并提出了相应的基于块一级的两级缓存管理算法.该管理算法有效地解决了因磁盘介质响应速度慢而带来的磁盘缓存管理难题,并通过位图的使用消除了磁盘缓存写Miss时的Copy on Write开销.原型系统的测试结果表明,在存储服务器高负载的情况下,缓存系统能够有效地提高系统的整体性能.     

面向Linux非逻辑卷块设备的快照系统

为满足Linux操作系统下非逻辑卷块设备需要在不添加额外块设备存储数据的场景下创建临时快照的需求, 设计实现了一种针对Linux非逻辑卷块设备的快照系统. 系统基于写时拷贝(COW), 分为应用层和内核层中的通用块层两部分. 应用层部分对用户的快照创建或删除命令分析并传递到通用块层部分, 通用块层部分创建或删除快照设备, 在快照创建后截获快照源设备的通用块层I/O (bio)请求并做COW. 实验结果表明系统能正确创建快照, 其最佳拷贝块大小为4 MB, 对于快照源设备的新增写性能最低影响低于10%.     

支持高并发访问的新型NVM存储系统

I/O系统软件栈是影响NVM存储系统性能的重要因素。针对NVM存储系统的读写速度不均衡、写寿命有限等问题，设计了同异步融合的访问请求管理策略；在使用异步策略管理数据量较大的写操作的同时，仍然使用同步策略管理读请求和少量数据的写请求。针对多核处理器环境下不同计算核心访问存储系统时地址转换开销大的问题，设计了面向多核处理器地址转换缓存策略，减少地址转换的时间开销。最后实现了支持高并发访问NVM存储系统（CNVMS）的原型，并使用通用测试工具进行了随机读写、顺序读写、混合读写和实际应用负载的测试。实验结果表明，与PMBD相比，所提策略能提高1%~22%的读写速度和9%~15%的IOPS，验证了CNVMS策略能有效提高NVM存储系统的I/O性能和访问请求处理速度。     

基于非易失性存储器的存储引擎性能优化

非易失性存储器具有接近内存的读写速度,可利用其替换传统的存储设备,从而提升存储引擎的性能。但是,传统的存储引擎通常使用通用块接口读写数据,导致了较长的 I/O 软件栈,增加了软件层的读写延迟,进而限制了非易失性存储器的性能优势。针对这一问题,该文以 Ceph 大数据存储系统为基础,研究设计了基于非易失性存储器的新型存储引擎 NVMStore,通过内存映射的方式访问存储设备,根据非易失性存储器的字节可寻址和数据持久化特性,优化数据读写流程,从而减小数据写放大以及软件栈的开销。实验结果表明,与使用非易失性存储器的传统存储引擎相比,NVMStore能够显著提升 Ceph 的小块数据读写性能。     

Dual actuator logging disk architecture and modeling

In this paper, we present a dual actuator logging disk architecture to minimize write access latencies. We reduce small synchronous write latency using the notion of logging writes, i.e. writing to free sectors near the current disk head location. However, we show through analytic models and simulations that logging writes by itself is not sufficient to reduce write access latencies, particularly in environments with writes to new data and intermixed reads and writes. Therefore, we augment the logging write method with the addition of a second disk actuator. Our models and simulations show that the addition of the second actuator offers significant performance benefits over a normal disk over a wide range of disk access patterns, and comparisons to strictly logging disk architectures show advantages over a range of disk access patterns.     

A multiple-file write scheme for improving write performance of small files in Fast File System

Fast File System (FFS) stores files to disk in separate disk writes, each of which incurs a disk positioning (seek + rotation) limiting the write performance for small files. We propose a new scheme called co-writing to accelerate small file writes in FFS without sacrificing its advantages. The scheme collects writes to small files in the same directory and stores them together to disk in a single large disk write. Co-writing multiple files in one disk I/O can reduce disk positioning times resulting from small file writes in FFS. Our experiments on OpenBSD show that the co-writing slashes the cost of small file writes in FFS by up to 33%, in both real-world and synthetic benchmarks.     

非定常Monte Carlo输运问题的并行算法

文中给出了非定常MonteCarlo(下文简写为MC)输运问题的并行算法 ,对并行程序的加载运行模式进行了讨论和优化设计 .针对MC并行计算设计了一种理想情况下无通信的并行随机数发生器算法 .动态MC输运问题有大量的I/O操作 ,特别是读取剩余粒子数据文件需要大量的I/O时间 ,文中针对I/O问题 ,提出了三种并行I/O算法 .最后给出了并行算法的性能测试结果 ,对比串行计算时间 ,使用 6 4台处理机时的并行计算时间缩短了 30倍     

Reconstruct versus read-modify writes in RAID

RAID5 (Redundant Arrays of Independent Disk level 5) is a popular paradigm, which uses parity to protect against single disk failures. A major shortcoming of RAID5 is the small write penalty, i.e., the cost of updating parity when a data block is modified. Read-modify writes and reconstruct writes are alternative methods for updating small data and parity blocks. We use a queuing formulation to determine conditions under which one method outperforms the other. Our analysis shows that in the case of RAID6 and more generally disk arrays with k check disks tolerating k disk failures, RCW outperforms RMW for higher values of N and G. We note that clustered RAID and variable scope of parity protection methods favor reconstruct writes. A dynamic scheme to determine the more desirable policy based on the availability of appropriate cached blocks is proposed.     

一种虚拟的非易失性层次Cache的设计和实现

为解决磁盘存储中的小写问题，本文研究了一种新的层次Cache结构。这种层次Cache使用虚存页面文件和部分系统RAM组成二级Cache结构，能很好地利用磁盘访问在大／小写以及随机／顺序访问时的巨大性能差异。经过Ntiogen和Mailbench基准测试程序测试表明，这种层次Cache可以提升I／O子系统处理突发密集小写的性能。     

Block I/O Scheduling on Storage Servers of Distributed File Systems

This paper presents a new scheme of I/O scheduling on storage servers of distributed/parallel file systems, for yielding better I/O performance. To this end, we first analyze read/write requests in the I/O queue of storage server (we name them block I/Os), by using our proposed technique of horizontal partition. Then, all block requests are supposed to be divided into multiple groups, on the basis of their offsets. This is to say, all requests related to the same chunk file will be grouped together, and then be satisfied within the same time slot between opening and closing the target chunk file on the storage server. As a result, the time resulted by completing block I/O requests can be significantly decreased, because of less file operations on the corresponding chunk files at the low-level file systems of server machines. Furthermore, we introduce an algorithm to rate a priority for each group of block I/O requests, and then the storage server dispatches groups of I/Os by following the priority order. Consequently, the applications having higher I/O priorities, e.g. they have less I/O operations and small size of involved data, can finish at a earlier time. We implement a prototype of this server-side scheduling in the PARTE file system, to demonstrate the feasibility and applicability of the proposed scheme. Experimental results show that the newly proposed scheme can achieve better I/O bandwidth and less I/O time, compared with the strategy of First Come First Served, as well as other server-side I/O scheduling approaches.     

基于VDL的附网存储快照及在线备份新技术

针对现有NAS系统在快照及在线备份技术方面存在的问题,该文提出了一种通过虚拟设备层(VDL:VirtualDeviceLayer)实现了NAS的快照和在线备份技术。在VDL中:通过一个快照盘保存在快照和备份期间系统的写操作,实现NAS的快照和在线备份;以设备驱动模块实现,与具体的文件系统无关,使其适用性更为广泛,并让现有的离线备份软件实现在线备份功能;在驱动模块内部对数据的小写进行了优化,较大的提高了办公/工程环境下工作负载的小写性能;备份的初始化时间几乎可以忽略不计,大大提高了存储系统的可用性;实现了存储虚拟化功能,从而将多个存储接点整合成单一的存储池。通过大量的测试表明,VDL对系统整体I/O性能和应用程序影响很小,同时表现出优良的小写性能,达到了预期的效果。     

A Case for Continuous Data Protection at Block Level in Disk Array Storages

This paper presents a study of data storages for continuous data protection (CDP). After analyzing the existing data protection technologies, we propose a new disk array architecture that provides Timely Recovery to Any Point-in-time, referred to as TRAP. TRAP stores not only the data stripe upon a write to the array but also the time-stamped Exclusive ors (xors) of successive writes to each data block. By leveraging the xor operations that are performed upon each block write in today's RAID4/5 controllers, TRAP does not incur noticeable performance overhead. More importantly, TRAP is able to recover data very quickly to any point-in-time upon data damage by tracing back the sequence and history of xors resulting from writes. What is interesting is that the TRAP architecture is very space efficient. We have implemented a prototype of the new TRAP architecture using software at the block level and carried out extensive performance measurements using TPC-C benchmarks running on Oracle and Postgres databases, TPC-W running on a MySQL database, and file system benchmarks running on Linux and Windows systems. Our experiments demonstrated that TRAP not only is able to recover data to any point-in-time very quickly upon a failure but also uses less storage space than traditional daily incremental backup/snapshot. Compared to the state-of-the-art CDP technologies, TRAP saves disk storage space by one to two orders of magnitude with a simple and a fast encoding algorithm. In addition, TRAP can provide two-way data recovery with the availability of only one reference image in contrast to the one-way recovery of snapshot and incremental backup technologies.