一种自适应负载的I/O调度算法

I/O调度算法对磁盘阵列(RAID)性能具有至关重要的影响。虽然已有很多典型的I/O调度算法在一定负载情况下可获得较好的性能,但很难有哪一种算法在各种负载情况下均能获得很好的性能。本文提出了一种智能RAID控制模型,结合C4.5决策树和AdaBoost算法实现负载自动分类,根据负载变化和性能反馈情况动态调整I/O调度策略,实现面向应用需求的自治调度。模拟实验结果表明,自适应调度算法具有较好的适应性,在各种负载情况下优于现有的I/O调度算法,尤其适用于多线程混合负载环境的I/O性能优化。     

基于CN-RAID存储系统的集群VOD服务器的CRS调度策略

磁盘I/O是VOD服务器性能的主要瓶颈之一,利用集群中所有分布的磁盘并行服务和合理的调度策略是缓解这一瓶颈的有效途径.针对传统的网络文件系统需要集中文件服务的不足,设计了一种分布式软件网络磁盘阵列存储系统,并提出了一种基于服务器推(push)模式的并发轮循CRS(concurrent round sweep)调度策略,以提高的系统的服务能力.根据这些思想,在Linux内核级设计了一个协作网络RAID驱动器CN-RAID(cooperative net RAID driver)模块,将所有集群中分布的磁盘组成一个全局虚拟磁盘,并进行视频文件的存储和调度管理.模拟测试表明,该系统能够支持大量并发流的请求,并具有良好的扩展性.     

RAID系统中的一种伪并行I/O调度策略

磁盘阵列系统中,如何提高I/O传输率一直是一个关键性问题。基于并行性思想,一种伪并行I/O调度策略被应用在带缓存的磁盘阵列系统之中。该调度策略力图在外部I/O请求响应和内部数据迁移之间形成并行操作,最大限度地提高close队列的I/O请求的数据传输率。实验表明,该策略有效地提高了磁盘阵列系统外部I/O通道的持续数据传输率,并在一定程度上缓解了RAID5的小写问题。     

RAID的并行I／O调度算法分析

由于越来越多的应用受限于I／O，存储系统正起着越来越重要的作用，磁盘阵列RAID是一种提供高性能I／O的最常见存储设备，本文分析了RAID并行I／O调度算法的I／O执行时间和磁盘利用率，为合理配置高性能阵列提供了依据。     

基于OpenStack的Swift负载均衡算法

为了解决由于OpenStack的负载分发不均衡而引发的存储性能下降、资源利用率降低、I/O响应时长增加等问题,提出对加权最小连接调度算法进行改进. 通过对对象存储的负载均衡调度算法研究,利用存储节点的CPU、内存、硬盘、I/O资源利用率信息,并结合节点任务请求连接数,计算存储节点负载能力、性能和权值. 负载均衡器根据每个存储节点的权值大小判断任务分发方向. 经实验证明改进的负载均衡调度算法能够解决存储读写性能下降的问题,提升数据吞吐率、存储读写性能和系统稳定性.     

基于类TSP问题模型的操作系统磁盘移动臂驱动调度算法

将操作系统磁盘移动臂驱动调度问题抽象为类TSP问题,使用动态规划的方法对类TSP问题模型进行求解,得到某一时刻操作系统响应多个I／O请求最优序列的方法。由此提出基于贪心法的操作系统磁盘移动臂驱动调度的全局调度策略,即最短路径优先调度算法,并将最短路径优先调度算法与现有经典算法进行比较。     

基于Xen的虚拟磁盘调度算法改进

Xen目前所采用的I/O调度算法能够较好的保证公平性;但在实际应用中,不同的虚拟机可能有不同的性能需求。该文研究了Xen虚拟存储的实现和I/O调度算法的原理,提出了基于反馈的动态优先级调度策略,通过对比测试验证了磁盘带宽在不同虚拟机之间的按需分配。     

一种Hadoop中基于作业类别和截止时间的调度算法

Hadoop是一种开源可靠的分布式计算框架,而MapReduce是处理超大规模数据集的编程模型.鉴于Ha-doop内置的调度器不能很好地处理类别不同且有截止时间的作业的调度,提出了一种基于作业类别和截止时间的作业调度算法.作业分为CPU密集型和I/O密集型,并根据截止时间设置优先级来实现作业的调度.实验结果表明,该算法在充分利用集群的CPU和磁盘I/O的同时,能满足作业的截止期需求,当同一时间段内截止时间相近时算法达到最优,当某一队列中作业截止时间均比另一种队列短时,算法效率最低.     

一种基于请求大小的固态盘I／O调度算法

对于同类型的I／O请求,基于闪存固态盘的请求响应时间与请求大小基本呈线性比例关系,并且固态盘的读写性能具有非对称性。针对该特性,提出一种基于请求大小的固态盘I／O调度（SIOS）算法,从I／O请求平均响应时间的角度提高固态盘设备的I／O性能。根据读写性能的非对称性,对读写请求进行分组并且优先处理读请求。在此基础上首先处理等待队列中的小请求,从而减少队列中请求的平均等待时间。采用SLC和MLC2种类型的固态盘进行实验,在5种测试负载的驱动下与Linux系统中的3种调度算法进行比较,对于SLC固态盘,SIOS平均响应时间分别减少18．4％、25．8％、14．9％、14．5％和13．1％,而对于MLC固态盘,平均响应时间分别减少16．9％、24．4％、13．1％、13．0％和13．7％,结果表明,SIOS能有效减少I／O请求的平均响应时间,提高固态盘存储系统的I／O性能。     

pSOS实时系统RAID驱动及调度实现

介绍了pSOS实时操作系统RAID（独立的冗余磁盘阵列）I/O调度策略的实现，并给出了几种高性能的RAID结构，最后是有关性能分析及测试方法。     

FAIRIO: A Throughput-oriented Algorithm for Differentiated I/O Performance

Providing differentiated service in a consolidated storage environment is a challenging task. To address this problem, we introduce FAIRIO, a cycle-based I/O scheduling algorithm that provides differentiated service to workloads concurrently accessing a consolidated RAID storage system. FAIRIO enforces proportional sharing of I/O service through fair scheduling of disk time. During each cycle of the algorithm, I/O requests are scheduled according to workload weights and disk-time utilization history. Experiments, which were driven by the I/O request streams of real and synthetic I/O benchmarks and run on a modified version of DiskSim, provide evidence of FAIRIO’s effectiveness and demonstrate that fair scheduling of disk time is key to achieving differentiated service in a RAID storage system. In particular, the experimental results show that, for a broad range of workload request types, sizes, and access characteristics, the algorithm provides differentiated storage throughput that is within 10% of being perfectly proportional to workload weights; and, it achieves this with little or no degradation of aggregate throughput. The core design concepts of FAIRIO, including service-time allocation and history-driven compensation, potentially can be used to design I/O scheduling algorithms that provide workloads with differentiated service in storage systems comprised of RAIDs, multiple RAIDs, SANs, and hypervisors for Clouds.     

网络存储I/O流水机制研究

将I／O请求处理划分为多个阶段，为流水线技术引入网络存储提供了新思路．同时，I／O请求处理的各阶段必定通过缓存（内存）来传递或处理数据．I／O请求处理除了直通方式外，大部分依赖存储转发方式（例如对I／O命令的聚散、排队操作等），存储转发的方式下的网络存储I／O流水线具有一些新的特点厦其自身特有的制约因素．探讨I／O流水机制，对提高网络存储系统整体性能，具有一定的指导及实践意义．     

Performance vs. cost of redundant arrays of inexpensive disks

Data redundancy has been widely used to increase data availability in critical applications and several methods have been proposed to organize redundant data across a disk array. Data redundancy consists of either total data replication or the spreading of the data across the disk array along with parity information which can be used to recover missing data in the event of disk failure. In this paper we present an extended comparative analysis, carried out by using discrete event simulation models, between two disk array architectures: the Redundant Arrays of Inexpensive Disks (RAID) level 1 architecture, based on data replication; and the RAID level 5 architecture, based on the use of parity information. The comparison takes both performance and cost aspects into account. We study the performance of these architectures simulating two application environments characterized by different sizes of the data accessed by I/O operations. In addition, several scheduling policies for I/O requests are considered and the impact of non-uniform access to data on performance is investigated.     

一种高可用对象存储系统的数据组织研究

通过对现有不同存储系统的容错能力进行认真分析,提出了一种新的高可用对象存储系统架构HAOSS(High Availability Object Storage System).HAOSS系统分两层:上层存储的对象采用在多个设备之间的数据备份的方式来实现高可靠性,多个备份能够同时对外提供服务,保证系统的高性能,但是磁盘利用率比较低.下层采用RAID5,RAID6以及RAID_Blaurn等不同的容错编码来实现多盘容错功能,磁盘利用率较高,但是由于编码越来越复杂,容错编码需要大量的计算,性能受到很大的影响.在数据组织上,新对象和热点对象放上层,这样大部分请求都能够在上层命中,从而保证系统的性能.下层主要用来放不常用的数据.磁盘利用率比较高.在1000Mbps以太网环境下对HAOSS性能进行了测试,结果表明,HAOSS顺序读写性能都比较好,最大可以达到104MB/s,达到1000Mb以太网的理论最大物理带宽.     

事务处理环境下的磁盘阵列响应时间分析

建立事务处理环境下磁盘阵列的磁盘服务排队模型,计算分析I／O响应时间及最在吞吐量。     

基于分条单元热度的RAID数据分布优化

磁盘具有离磁盘轴心越远的分区其数据传输率越高的特点,然而传统 RAID 中文件分条单元在磁盘中是随机和静态存放的。针对此种情况,为了充分改进 RAID的 I/O 性能,本文提出了一种动态的 RAID 数据分条存放和迁移策略 PMSH(Placement and Migration based on Stripe unit Heat)。PMSH 根据 RAID 中的文件分条单元的访问热度,动态地将访问频率高的分条单元迁移到数据传榆率较高的磁盘分区,从而优化文件在 RAID 的存放位置,使RAID 中的数据分布能够适应文件访问率的动态变化。仿真实验的结果表明:PMSH 算法能够显著地改进整个 RAID的 I/O 性能,具有很好的实用价值。     

阵列矩阵RAID50研究——容量聚合与全并发策略

提出了一种跨多阵列通道的海量存储RAID50模型,通过采取多阵列卡的RAID0分条和阵列卡上多磁盘RAID5分条和校验的二级并发的数据组织与分块方式,以扩展块（大小等于阵列卡上的一个RAID5校验组）作为Cache和阵列之间数据交换的单位,实现了将阵列矩阵中所有磁盘的容量聚合及全并发访问。设计了该模型逻辑卷管理的最佳适配算法及二级地址映射算法。理论分析与实验结果表明：该策略将I/O响应时间降到了最低,且获得了与阵列通道数线性相关的逻辑卷容量和I/O性能。     

Performance Modeling and Evaluation of a Two-Dimensional Disk Array System

This paper presents a performance model of a two-dimensional disk array (TIDA) system, which is composed of several major subsystems including disk cache, intelligent disk array controller, SCSI-like I/O bus, and two-dimensional array of disk devices. Accessing conflict in these subsystems and fork/join synchronization of physical disk requests are considered in the model. The representation for the complex behavior, including the interactions among subsystems, of a whole disk array system distinguishes the model from others that model only individual subsystems. To assist evaluating the architectural alternatives of TIDA, we employ a subsystem access time modeling methodology, in which we model for each subsystem the mean subsystem access time per request (SATPR). Fed with a given set of representative workload parameters, the performance model is used to conduct performance evaluation and the SATPRs of the subsystems are utilized to identify the bottleneck subsystem for performance improvement. The results show that (1) the values of some key design parameters, such as data block size and I/O bus bandwidth that yield the best system throughput are dependent not only on the subsystem performance but also on the interaction among subsystems; (2) an I/O bus bandwidth of 5 Mbytes/s per disk device is large enough for data transfers from/to disk devices equipped with a cache of 1 Mbytes; and (3) the activity of fork/join synchronization of physical disk requests may cause performance degradation, which can be improved by using large I/O bus bandwidth and/or placing a cache in each disk device.     

多驱动器实现动态大容量影像实时存储

通过对单驱动器磁盘系统和由多驱动器配置构成的磁盘阵列系统存储性能的对比研究发现，多驱动器配置的磁盘阵列系统是解决动态大容量影像数据实时存储的有效解决方案。在多驱动器配置中应尽量使用具有异步I/O功能的SCSI磁盘以降低I/O系统对CPU的占用率，同时尽可能采用多个SCSI通道以进一步提高I/O性能。