基于分条单元热度的RAID数据分布优化

磁盘具有离磁盘轴心越远的分区其数据传输率越高的特点,然而传统 RAID 中文件分条单元在磁盘中是随机和静态存放的。针对此种情况,为了充分改进 RAID的 I/O 性能,本文提出了一种动态的 RAID 数据分条存放和迁移策略 PMSH(Placement and Migration based on Stripe unit Heat)。PMSH 根据 RAID 中的文件分条单元的访问热度,动态地将访问频率高的分条单元迁移到数据传榆率较高的磁盘分区,从而优化文件在 RAID 的存放位置,使RAID 中的数据分布能够适应文件访问率的动态变化。仿真实验的结果表明:PMSH 算法能够显著地改进整个 RAID的 I/O 性能,具有很好的实用价值。     

一种高性能多媒体对象存储系统的研究

通过对多媒体应用中多用户并发访问的特点和性能进行分析,提出一种高性能多媒体对象存储系统MOSS(Multime-dia Object Storage System)的对象数据组织结构.MOSS结构采用两层结构,下层采用RAID5的方式组织数据,这样可以利用RAID5磁盘利用率高的优势.上层放常用的热点数据,通过将不同对象存放在不同磁盘,从而将不同用户的请求尽量分散到不同的磁盘上,可以提高多用户的并发访问性能.通过仿真测试,在4用户情况下,MOSS的性能平均比RAID高90%,随着用户数的增加,传统RAID方式的性能下降明显,而MOSS的性能下降很少,在16用户情况下,MOSS的性能平均比RAID高550%.     

一种新的基于RAID的CACHE技术研究与实现

设计了一个新的基于 RAID的 Cache系统 ,本系统有如下创新之处 :(1)在全局配置 Cache时 ,采取了预留与动态分配相结合的策略 ,并建立了分配模型 ,从理论上确定了预留与动态分配的最佳比例 .(2 )建立了二级读 Cache结构 ,其中 :一级读 Cache实现时间的局部性 ;二级读 Cache实现空间的局部性 .(3)提出了定时搬移并按阈值淘汰的策略 ,即定时把二级 Cache的节点中最近访问过的数据小块搬移到一级 Cache,当搬移的数据小块超过一个阈值时 ,淘汰二级 Cache的相应节点 .通过仿真测试证明了定时搬移策略较好地实现了时间的局部性 ,提高了 Cache系统的性能     

一种基于iSCSI的网络RAID设计与实现

RAID是存储系统的基础和关键部件,它通过数据分布存储、并行访问以及信息冗余等技术,极大地扩大了存储容量、增强了I/O请求处理能力、提高了数据可靠性。论文将RAID的思想扩展到了分布的存储网络环境之中,设计了一种基于iSCSI的网络RAID系统,实现了系统原型,并对该系统进行了性能测试和分析。结果表明,该系统可以通过并行数据读写提高存取速度,通过奇偶校验技术提高数据的可靠性。     

异构磁盘阵列RAID5结构数据布局研究

由于应用需求的快速发展以及网络存储系统的出现,因此异构磁盘阵列的变得越来越常见。RAID5由于较高的性能和可靠性以及较低的代价,是应用最为广泛的RAID结构。目前对异构磁盘阵列RAID5结构的研究,重点主要放在充分利磁盘存储空间以及对性能的定性研究。论文提出了一种异构磁盘阵列RAID5结构数据布局优化方法,该方法充分考虑异构磁盘的相对容量和性能,以及校验单元的散布对RAID5小数据写性能的影响,可以生成负载均匀分布或接近均匀分布的布局。仿真实验结果表明,对于多用户小数据访问模式,优化布局的性能明显优于简单RAID5布局,且具有更高的伸缩性。     

OHPSS:一种基于对象的高性能存储系统

现有存储系统主要存在以下问题:信息存储规模有限、系统结构限制了高速应用范围以及系统实时性和可靠性不够.为了满足大容量、高效、可扩展和高服务质量的存储系统需求,提出了一种基于对象的高性能存储体系结构--OHPSS.其特点是充分利用对象属性并采用适应性服务,达到提高访问性能的目的;基于对象存储设备(OBSD)有处理器和操作系统的硬件支持,既可避免系统性能瓶颈,又能提供异步I/O方式;存储磁盘采用SRAID(similar RAID)结构,提高了磁盘的并行性和可扩展性.测试结果表明,与其他存储系统相比,该存储结构显著提高了小块数据的随机读/写性能,并且多线程 异步I/O的工作方式也使系统扩展性得到了显著提高.     

基于RAID50的存储系统高速缓存设计

设计了一种多个控制卡分条的RAID50模型和主机虚拟卷地址到所属高级别阵列、低级别阵列分条的二级地址映射模式，以提高I/O访问的并发性。定义多个连续I/O块为扩展块并等同于Cache页大小，且作为RAID50传输粒度，进一步改善内存与存储设备之间的传输效率。设计了基于Cache描述符控制块的哈希链式查找算法和基于Cache页访问频率计数的二次机会置换算法，实现了一种主机数据接收与RAID50存储设备预读并发进行的策略。结果表明，该设计有效地提高了存储系统的I/O性能。     

一种基于iSCSI的双控制器RAID

设计一种基于iSCSI的双控制器独立冗余磁盘阵列(RAID),以解决因单控制器失效引起的数据丢失及损坏问题。在此基础上建立随机Petri网模型,分析该设计对控制器性能的影响。功能测试结果证明,设计的双控制器RAID可以提高串控制器的利用率,具有容错、高可用、低成本等特点。     

基于备份的RAID1在线重构框架

针对国内外现有研究一直解决不了重负载持续访问下RAID1重构性能急剧恶化的问题,提出"利用外部存放的备份数据来加速磁盘阵列RAID1在线重构"的思想,构建了基于备份的RAID1在线重构框架。此框架利用备份系统所提供的恢复带宽将处于最近一次备份时间点的版本数据整合热备盘;利用磁盘阵列RAID1所提供的重构带宽将自最近一次备份时间点之后已修改数据重构至热备盘;完成磁盘阵列RAID1重构过程,使得磁盘阵列RAID1恢复正常运行。测试结果说明了该框架相对于现有重构方法显著改善了磁盘阵列RAID1的重构性能和服务性能。     

基于InfiniBand的RAID存储系统设计

以Infiniband(IB)体系结构和SCSI远程直接内存访问协议(SRP)为基础,结合RAID技术,设计了一种RAID存储系统,系统与主机接口的前端采用IB,为主机的I/O访问提供无限带宽,与物理存储设备接口的后端设计了多个RAID5控制卡的RAID0分条技术,以提高磁盘访问的并发性.从而获得了很好的主机存取I/O性能.     

多通道组合阵列存储系统结构与并行I/O设计

本文基于开放硬件平台和软件环境提出了一种集成式多通道组合阵列存储系统结构;设计了多个阵列适配卡分条和卡上多个磁盘分条的两级并行数据组织和分布方式,以提高I/O访问的并发性;提出了一种将来自主机的I/O命令并行分散到多个阵列通道上的调度方法。实验表明,在10Gb/s的Infiniband主机接口通道下,组合阵列的I/O性能基本上是多个阵列适配卡I/O带宽的线性叠加。     

Optimal striping in RAID architecture

To access a RAID (redundant arrays of inexpensive disks), the disk stripe size greatly affects the performance of the disk array. In this article, we present a performance model to analyze the effects of striping with different stripe sizes in a RAID. The model can be applied to optimize the stripe size. Compared with previous approaches, our model is simpler to apply and more accurately reveals the real performance. Both system designers and users can apply the model to support parallel I/O events. Copyright © 2000 John Wiley & Sons, Ltd.     

Ripple-RAID:一种面向连续数据存储的高效能盘阵

视频监控、备份、归档等应用具有独特的负载特性和I/O访问模式,需研究特定的存储节能方法.磁盘阵列的局部并行策略有利于实现该类存储系统的节能,但通常会导致RAID执行小写操作而严重影响性能.为此,提出一种面向该类存储系统的高效能盘阵——Ripple-RAID,采用新的局部并行数据布局,通过综合运用地址转换、异地更新、基于流水技术渐进生成校验、分段数据恢复等策略,在单盘容错条件下,保持了局部并行的节能性,又有效解决了局部并行带来的小写问题.Ripple-RAID具有突出的性能和节能效率,在80%顺序写负载情况下,请求长度为512KB时,写性能为S-RAID 5的3.9倍,Hibernator、MAID写性能的1.9倍,PARAID、eRAID 5写性能的0.49倍;而比S-RAID 5节能20%,比Hibernator、MAID节能33%,比eRAID 5节能70%,比PARAID节能72%.     

阵列矩阵RAID50研究——容量聚合与全并发策略

提出了一种跨多阵列通道的海量存储RAID50模型,通过采取多阵列卡的RAID0分条和阵列卡上多磁盘RAID5分条和校验的二级并发的数据组织与分块方式,以扩展块（大小等于阵列卡上的一个RAID5校验组）作为Cache和阵列之间数据交换的单位,实现了将阵列矩阵中所有磁盘的容量聚合及全并发访问。设计了该模型逻辑卷管理的最佳适配算法及二级地址映射算法。理论分析与实验结果表明：该策略将I/O响应时间降到了最低,且获得了与阵列通道数线性相关的逻辑卷容量和I/O性能。     

Reducing I/O variability using dynamic I/O path characterization in petascale storage systems

In petascale systems with a million CPU cores, scalable and consistent I/O performance is becoming increasingly difficult to sustain mainly because of I/O variability. The I/O variability is caused by concurrently running processes/jobs competing for I/O or a RAID rebuild when a disk drive fails. We present a mechanism that stripes across a selected subset of I/O nodes with the lightest workload at runtime to achieve the highest I/O bandwidth available in the system. In this paper, we propose a probing mechanism to enable application-level dynamic file striping to mitigate I/O variability. We implement the proposed mechanism in the high-level I/O library that enables memory-to-file data layout transformation and allows transparent file partitioning using subfiling. Subfiling is a technique that partitions data into a set of files of smaller size and manages file access to them, making data to be treated as a single, normal file to users. We demonstrate that our bandwidth probing mechanism can successfully identify temporally slower I/O nodes without noticeable runtime overhead. Experimental results on NERSC’s systems also show that our approach isolates I/O variability effectively on shared systems and improves overall collective I/O performance with less variation.     

RAID系统中的一种伪并行I/O调度策略

磁盘阵列系统中,如何提高I/O传输率一直是一个关键性问题。基于并行性思想,一种伪并行I/O调度策略被应用在带缓存的磁盘阵列系统之中。该调度策略力图在外部I/O请求响应和内部数据迁移之间形成并行操作,最大限度地提高close队列的I/O请求的数据传输率。实验表明,该策略有效地提高了磁盘阵列系统外部I/O通道的持续数据传输率,并在一定程度上缓解了RAID5的小写问题。     

基于强化学习的智能I/O调度算法

利用机器学习方法解决存储领域中若干技术难题是目前存储领域的研究热点之一。强化学习作为一种以环境反馈作为输入、自适应环境的特殊的机器学习方法,能通过观测环境状态的变化,评估控制决策对系统性能的影响来选择最优的控制策略,基于强化学习的智能RAID控制技术具有重要的研究价值。本文针对高性能计算应用特点,将机器学习领域中的强化学习技术引入RAID控制器中,提出了基于强化学习的智能I/O调度算法RL-scheduler,利用Q-学习策略实现了面向并行应用的自治调度策略。RL-scheduler综合考虑了调度的公平性、磁盘寻道时间和MPI应用的I/O访问效率,并提出多Q-表交叉组织方法提高Q-表的更新效率。实验结果表明,RL-scheduler缩短了并行应用的平均I/O服务时间,提高了大规模并行计算系统的I/O吞吐率。     

BW-VSDS:大容量、可扩展、高性能和高可靠性的网络虚拟存储系统

设计并实现了一个大容量、可扩展、高性能和高可靠性的网络虚拟存储系--BW-VSDS.和其他网络存储系统对比,它有如下的特点:1)采用带内元数据管理和带外数据访问的虚拟存储管理架构,存储管理更灵活,并且系统扩展性更好;2)在单个节点内部的多个虚拟卷、多个虚拟池和多个网络存储设备上利用存储虚拟化技术重构得到面向多种存储应用的网络虚拟存储设备,实现了3层的层次化存储虚拟化模型,对内共享存储设备的容量和带宽,对外提供不同属性的虚拟磁盘;3)采用写时按需分配策略提高了存储空间的利用率,使用数据块重组提高了I/O读写性能;4)使用设备链表和位图实现了层叠式虚拟快照,支持增量快照、写时拷贝和写时重定向机制,实现源卷和快照卷的数据共享;5)提出结合带外存储虚拟化管理的后端集中的带外冗余管理结构,数据读写直接访问存储节点,冗余管理节点在磁盘上以日志方式缓存从存储节点镜像写的数据,然后在后台进行RAID5冗余计算,提高了活跃数据的可靠性,减轻了冗余计算对写性能的影响.