基于奇偶校验的三容错数据布局研究

基于单容错编码的数据布局已经不能满足存储系统对可靠性越来越高的要求。对基于多容错编码的数据布局的研究受到了广泛的关注,并且出现了一些三容错的布局算法,如HDD1,HDD2等。但这些布局算法普遍存在冗余度较差、计算负载大等缺点。提出了一种基于三重奇偶校验的多容错数据布局算法TP-RAID(Triple Parity RAID)。该算法只需要在RAID5阵列系统中增加两个校验磁盘,通过水平、正向对角和反向对角三重奇偶校验,可容许同时发生的三个磁盘故障。该算法编码、解码简单,三重校验条纹长度相等,计算负载小,易于实现。此外,由于该算法中尽量减少了三重校验之间逻辑关联,使得该算法的小写性能比其他的三容错算法相比有了大幅度的提高。     

用双目标加权遗传算法解决网络磁盘阵列系统下校验散布布局优化问题的研究

廉价磁盘冗余阵列(RAID)作为一种提高存储系统可靠性和性能的技术,已经得到了广泛的应用,有关磁盘阵列结构和数据布局的研究也一直很活跃,但有关网络磁盘阵列下的数据布局的研究还不太多。本文首先概述了校验散布布局的技术和遗传算法的相关知识,提出了利用双目标加权遗传算法的思想解决网络磁盘阵列系统校验散布布局优化的问题。然后以“重构负截均匀分布”和“校验均匀分布”为双目标,使用改变的NSGA来解决网络磁盘阵列系统下校验散布布局的优化问题。最后给出了实验结果。     

基于局部冗余混合编码的故障快速恢复方法

最大距离可分（MDS）码中校验块均为全局校验块,重构链长度随着存储系统规模扩大而增长,重构性能逐渐降低。针对上述问题提出一种新型的非最大距离可分（Non-MDS）码：局部冗余混合编码Code-LM（s,c）。首先,为缩小重构链长度,任意条带单元组内只有局部校验块,分别为组内水平校验块和水平对角校验块,并设计了局部冗余混合编码的校验布局;然后,根据不同校验块的生成规则,设计了失效数据块的4种重构方式,不同失效块的重构链具有公共块;最后,根据两个故障磁盘所在条带单元组距离不同,将双盘故障分为3种情况,并设计了对应的重构算法。理论分析和实验结果表明,存储规模相同时,与RDP相比,Code-LM（s,c）的单盘重构时间和双盘重构时间可减少84%和77%;与V²-Code相比,Code-LM（s,c）的单盘重构时间和双盘重构时间可减少67%和73%。因此局部冗余混合编码可支持故障磁盘快速恢复,提高存储系统可靠性。     

双容错磁盘阵列校验散布布局的优化

采用模拟退火算法,对双容错磁盘阵列RAID6的数据布局进行校验散布优化,并且根据理想数据布局最主要的标准"重构负载均匀分布",以及对性能影响也较大的标准"校验负载均匀分布",对这种校验散布算法进行了验证,最后通过仿真实验,测试它的性能,并做出分析,结果显示该方法使RAID6在降级模式和重构模式下的负载得以均匀分布,从而使它的性能得以提高。     

存储系统中的局部修复阵列码模型

对于单容错和双容错的存储系统,在磁盘修复过程中发生的任何故障都可能引起数据丢失,导致修复失败,保证数据的修复效率对于存储系统的可靠性至关重要。RDP码在进行单盘故障修复时使用混合恢复算法能减少25%的读取总量,但是在进行双盘故障修复时需读取所有的元素。针对目前难以同时提升单双盘故障修复效率的问题,对RDP码进行拓展,提出了一种具有局部修复性质的阵列码模型——DRDP码。DRDP码在RDP码的基础上将部分数据列按水平线进行异或计算生成局部水平校验列,并将其参与到全局校验列的编码计算中,从而缩短了修复链,使其拥有局部修复的功能。通过理论分析,DRDP码拥有良好的编译码复杂度和更新效率,大幅节省了单盘故障修复读取开销,并对双盘故障修复读取开销进行了优化,同时能修复75%三盘故障的情况。实验结果表明,与RDP码、LRRDP码和RDP(p,3)码相比,DRDP码的编码时间可节省8.23%～32.89%、单盘故障修复时间可节省7.08%～35.01%、双盘故障修复时间可节省5.07%～29.26%。     

低编译复杂度的双容错阵列码

纠删码技术是独立磁盘冗余阵列-6(RAID-6)的双容错能力的底层实现技术，它的性能是左右RAID-6性能的重要因素。针对RAID-6中常用阵列纠删码的I/O不平衡和数据恢复速度慢的问题，提出一种基于异或（XOR）的混合阵列码——J码（J-code）。J-code采用新的校验生成规则，首先，利用原始数据构造的二维阵列计算出对角校验位并构造新的阵列；然后，利用新阵列中数据块之间的位置关系计算得到反对角校验位。此外，J-code将原始数据与部分校验位存储于同一磁盘，能减少编译码过程中的异或（XOR）操作次数和单盘恢复过程中读取数据块的个数，从而降低编译码复杂度和单盘故障修复的I/O成本，缓解磁盘热点集中现象。仿真实验结果表明，相较于RDP(RowDiagonal Parity)、EaR(Endurance-aware RAID-6)等阵列码，J-code的编码时间减少了0.30%～28.70%，单磁盘故障和双磁盘故障的修复用时分别减少了2.23%～31.62%和0.39%～36.00%。     

网络RAID布局研究

1 背景随着大容量存储系统需求的不断增加,RAID技术得到了越来越广泛的应用。对于使用简单的奇偶校验(RAID5)的RAID系统,平均无故障时间与磁盘数和修复时间成反比,因此当系统规模较大时,可靠性就会大大降低。为解决此问题,Muntz 和Lui提出了校验散布(parity declustering)思想:设置条纹大小小于磁盘总数,将重构负载均匀分布到所有磁盘,这就降低了故障状态下单个磁盘负载增加的比率,提高了重构性能,减少了重构时间,从而提高了阵列的可靠性。Holland和Gibson对校验散布思想进行了较为系统的研究,提出了理想布局的6条标准和采用不完全区组设计(BIBD)的布局构造方法。之后此领域的研究工作集中于设计更优的布局构造方法,主要成果有随机排列法,基于环的BIBD,DATUM,PRIME,RELPR,PDDL等。     

异构磁盘阵列RAID5结构数据布局研究

由于应用需求的快速发展以及网络存储系统的出现,因此异构磁盘阵列的变得越来越常见。RAID5由于较高的性能和可靠性以及较低的代价,是应用最为广泛的RAID结构。目前对异构磁盘阵列RAID5结构的研究,重点主要放在充分利磁盘存储空间以及对性能的定性研究。论文提出了一种异构磁盘阵列RAID5结构数据布局优化方法,该方法充分考虑异构磁盘的相对容量和性能,以及校验单元的散布对RAID5小数据写性能的影响,可以生成负载均匀分布或接近均匀分布的布局。仿真实验结果表明,对于多用户小数据访问模式,优化布局的性能明显优于简单RAID5布局,且具有更高的伸缩性。     

基于EVENODD码的单盘故障快速恢复算法

在基于EVENODD码的阵列存储系统中,考虑单个磁盘故障时的快速恢复问题,通过减少恢复过程中数据的读取量来减少恢复时间,提高数据存储的可靠性。理论上证明了对于任意单个磁盘的故障恢复,需要从系统中其他盘读取的数据量的下界,并设计出一种新的混合恢复算法,使得恢复过程中的数据读取量达到该理论下界。相比于传统恢复算法,混合恢复算法综合利用了EVENODD码的两类校验进行单盘恢复,能够有效地减少恢复时所需的数据读取量。实验结果表明混合恢复算法在恢复时间和磁盘访问时间方面相比于传统算法有明显的提高。     

一种基于3容错阵列码的RAID数据布局

在EVENODD码的基础上,提出一种新的基于EEOD码的RAID数据布局,只需要3个额外的磁盘保存校验信息,能容许任意3个磁盘同时故障,并给出了EEOD的代数定义,理论上证明了EEOD码的MDS性质.从一种新的途径讨论了EEOD码的译码过程:用图的回路表示通过"异或"运算得到的校验方程组,把译码过程归结为图回路的叠加,进而校验方程组图中度为偶数的顶点逐步消除.讨论了基于EEOD码阵列布局的性能,与其它RAID结构相比,容灾能力大幅度提高,编码和译码过程只需要简单的异或运算,但是空间利用率影响非常小,并且EEOD具有很好的性能,具有很好的应用前景.     

Flexible Usage of Redundancy in Disk Arrays

It is well known that dedicating one disk's worth of space in a disk array to parity check information can allow the array to tolerate a single failure. More recently, two possible ways of increasing that benefit through the use of additional redundant information have been demonstrated: the additional redundancy can be used to allow the array to tolerate more than one disk failure without the loss of information (multiple-fault tolerance ), or it can be used to speed up the reconstruction of a single failed disk and thus reduce the impact of on-line reconstruction on array performance (using a technique known as {parity declustering ). However, these two advantages could not be obtained simultaneously. In this paper we demonstrate for the first time how to divide the benefits of extra space for redundant information arbitrarily between increased fault tolerance and accelerated reconstruction of failed disks. In addition, we give general lower bounds on the space overhead required to protect information in a disk array by storing redundant information. These bounds widen the optimality of some known multiple-fault-tolerant data layouts. Received September 1997, and in final form October 1998.     

Efficient parity placement schemes for tolerating up to two disk failures in disk arrays

In order to achieve high reliability in disk array systems, two new schemes using dual parity placement, called DH1 (diagonal–horizontal) and DH2 schemes, are presented. Both DH schemes can tolerate up to two disk failures by using two types of parity information placed in the diagonal and the horizontal directions, respectively, in a matrix of disk partitions. DH1 scheme can reduce the occurrences of the bottleneck problem significantly because the parity blocks are evenly distributed throughout the disk array. DH2 scheme uses one more disk than DH1 scheme in order to store the horizontal parities, while the diagonal parities are placed in the same way as in DH1 scheme with a minor change. Even though both DH schemes use almost optimal disk space for storing the redundant information, the encoding algorithms for them are quite simple and efficient. Moreover, both DH schemes can recover rapidly from any two disk failures.     

Reconstruct versus read-modify writes in RAID

RAID5 (Redundant Arrays of Independent Disk level 5) is a popular paradigm, which uses parity to protect against single disk failures. A major shortcoming of RAID5 is the small write penalty, i.e., the cost of updating parity when a data block is modified. Read-modify writes and reconstruct writes are alternative methods for updating small data and parity blocks. We use a queuing formulation to determine conditions under which one method outperforms the other. Our analysis shows that in the case of RAID6 and more generally disk arrays with k check disks tolerating k disk failures, RCW outperforms RMW for higher values of N and G. We note that clustered RAID and variable scope of parity protection methods favor reconstruct writes. A dynamic scheme to determine the more desirable policy based on the availability of appropriate cached blocks is proposed.     

构造高可靠性盘阵列结构的研究

本文比较分析了纠单错阵列与纠双错盘阵列的可靠性；指出若只考虑盘一级可靠性，纠双错阵列平均无故障时间（ＭＴＴＦ）是纠单错阵列的几千倍；介绍了一种新型的适用于阵列的纠双错编码——ＥＶＥＮＯＤＤ码，以及两种考虑阵列支撑硬件容错能力的阵列结构：正交结构和Ｃｒｏｓｓｈａｔｃｈ结构；指明将纠双错编码应用于正交结构或Ｃｒｏｓｓｈａｔｃｈ结构的盘阵列中，可大大提高阵列可靠性，并提出了一种应用现有单端口盘构造Ｃｒｏｓｓｈａｔｃｈ结构的方案     

一种基于RAID5的Disk Cache的实现

介绍了一种基于RAID5的Disk Cache的实现。在对磁盘阵列Cache的实现过程中，使用了组相联映射、LRU替换算法等比较成熟的技术，在Cache回写策略上采用write-back方式。从而提高了写磁盘速度，减少冗余写盘操作。另外通过对校验组加锁，有效地防止了同一校验组里多个块同时降级而导致的数据不一致现象。     

一种低单盘故障恢复开销的局部修复码

如今随着存储系统规模的扩大和廉价磁盘的大量使用,单一磁盘故障在存储系统中发生故障的概率也不断上升。而在基于RDP编码的阵列存储系统中,恢复单个故障磁盘,需要读取全部的剩余数据磁盘,读取开销大,故障恢复时间长。而故障时间长就会导致系统在恢复过程中出错的概率增大,影响系统整体的稳定性。为进一步降低单个磁盘故障恢复的读取开销,减少恢复时间,提升存储系统可靠性,提出一种局部修复RDP码,通过增加一个局部冗余列来减少故障恢复时需要读取的数据量。实验结果表明改进方法在降低读取开销和减少恢复时间方面相对于传统的RDP单盘故障恢复方法有明显提高,并且能够恢复75%的三盘故障情况。     

磁盘阵列校验信息的放置策略

廉价磁盘冗余阵列（ＲＡＩＤ）采用许多小的廉价磁盘来代替大容量昂贵的磁盘，以取得更高的性能和更低的功耗。本文介绍了ＲＡＩＤ－５级磁盘阵列中校验信息的八种不同的分布策略，即奇偶校验信息的放置策略，并从几个不同的应用情况对不同的放置策略进行了研究，结论是不同的奇偶校验信息放置策略对磁盘阵列的Ｉ／Ｏ读写性能有很大的影响。