一种低单盘故障恢复开销的局部修复码

如今随着存储系统规模的扩大和廉价磁盘的大量使用,单一磁盘故障在存储系统中发生故障的概率也不断上升。而在基于RDP编码的阵列存储系统中,恢复单个故障磁盘,需要读取全部的剩余数据磁盘,读取开销大,故障恢复时间长。而故障时间长就会导致系统在恢复过程中出错的概率增大,影响系统整体的稳定性。为进一步降低单个磁盘故障恢复的读取开销,减少恢复时间,提升存储系统可靠性,提出一种局部修复RDP码,通过增加一个局部冗余列来减少故障恢复时需要读取的数据量。实验结果表明改进方法在降低读取开销和减少恢复时间方面相对于传统的RDP单盘故障恢复方法有明显提高,并且能够恢复75%的三盘故障情况。     

基于局部冗余混合编码的故障快速恢复方法

最大距离可分（MDS）码中校验块均为全局校验块,重构链长度随着存储系统规模扩大而增长,重构性能逐渐降低。针对上述问题提出一种新型的非最大距离可分（Non-MDS）码：局部冗余混合编码Code-LM（s,c）。首先,为缩小重构链长度,任意条带单元组内只有局部校验块,分别为组内水平校验块和水平对角校验块,并设计了局部冗余混合编码的校验布局;然后,根据不同校验块的生成规则,设计了失效数据块的4种重构方式,不同失效块的重构链具有公共块;最后,根据两个故障磁盘所在条带单元组距离不同,将双盘故障分为3种情况,并设计了对应的重构算法。理论分析和实验结果表明,存储规模相同时,与RDP相比,Code-LM（s,c）的单盘重构时间和双盘重构时间可减少84%和77%;与V²-Code相比,Code-LM（s,c）的单盘重构时间和双盘重构时间可减少67%和73%。因此局部冗余混合编码可支持故障磁盘快速恢复,提高存储系统可靠性。     

一种基于多层次校验的低恢复成本纠删码

随着纠删码在分布式存储系统中的实际应用,纠删码为存储系统提供了更加优秀的存储效率,但当节点丢失时,相较于传统副本技术更多的网络传输带宽开销成为了造成系统性能瓶颈的关键因素。为了解决MDS编码高带宽开销对系统性能的影响,一类新型编码方案——分组码被应用在分布式存储系统中,相较于传统MDS编码能够有效地降低节点修复时的数据传输量,从而减少网络带宽需求。在Pyramid分组码的基础上进行层次扩展,提出一种HLRC（hierarchical local repair codes）纠删码。HLRC相较于LRC引入了层次编码模型,将原始数据块构建为编码矩阵,根据层次进行分别编码,生成包含数据块范围不同的局部校验块;每个层次包含的数据块数量不同,可以保证修复节点时的低修复成本,同时还拥有较高的存储效率。HLRC相较于Pyramid拥有额外的校验块冗余,能够降低校验块出错和多节点出错时的恢复开销。在基于Ceph的分布式存储系统中的实验结果表明,HLRC与Pyramid等分组码相比,单节点修复开销最高可降低48.56%,多节点修复开销最高可降低25%。     

基于RAID6编码的校验盘故障修复算法

针对基于RAID6编码的分布式存储系统中校验盘故障修复问题,提出一种快速修复算法。通过对RDP和EVENODD编码的理论分析,利用节点的计算编码能力,传输经过编码的数据块来修复校验盘,减少修复过程中的数据传输量,缩短修复时间。理论分析表明,相比于传统修复算法,该算法可显著减少校验盘故障修复过程中耗费的带宽资源,提高修复效率。     

分布式存储系统中的低修复成本纠删码

纠删码技术是分布式存储系统中典型的数据容错方法,与多副本技术相比,能够以较低的存储开销提供较高的数据可靠性;然而,纠删码修复成本过高的特点限制了其应用。针对现有纠删码修复成本高、编码复杂和灵活性差的问题,提出一种编码简单的低修复成本的纠删码——旋转分组修复码（RGRC）。RGRC首先将多个条带组合成条带集,然后利用条带之间的关联关系对条带集内的数据块进行分层旋转编码,以此得到相应的冗余块。RGRC大幅度地减少了单节点修复过程中所需要读取和传输的数据量,从而能节省大量的网络带宽资源。同时RGRC在解决单节点修复成本高的问题时,依然保留着较高的容错能力,且为满足分布式存储系统的不同需求,可以灵活地权衡系统的存储开销和修复成本。在分布式存储系统中进行的对比实验分析结果展示,与其他常用的RS（Reed-Solomon）码、LRC（Locally Repairable Codes）、basic-Pyramid、DLRC（Dynamic Local Reconstruction Codes）、pLRC（proactive Locally Repairable Codes）、GRC（Group Repairable Codes）、UFP-LRC（Unequal Failure Protection based Local Reconstruction Codes）相比,RGRC只需要增加少量的存储开销,就能降低单节点修复14%~61%的修复成本,同时减少14%~58%的修复时间。     

分布式存储系统中的低修复成本纠删码

纠删码技术是分布式存储系统中典型的数据容错方法，与多副本技术相比，能够以较低的存储开销提供较高的数据可靠性；然而，纠删码修复成本过高的特点限制了其应用。针对现有纠删码修复成本高、编码复杂和灵活性差的问题，提出一种编码简单的低修复成本的纠删码——旋转分组修复码（RGRC）。RGRC首先将多个条带组合成条带集，然后利用条带之间的关联关系对条带集内的数据块进行分层旋转编码，以此得到相应的冗余块。RGRC大幅度地减少了单节点修复过程中所需要读取和传输的数据量，从而能节省大量的网络带宽资源。同时RGRC在解决单节点修复成本高的问题时，依然保留着较高的容错能力，且为满足分布式存储系统的不同需求，可以灵活地权衡系统的存储开销和修复成本。在分布式存储系统中进行的对比实验分析结果展示，与其他常用的RS（Reed-Solomon）码、LRC（Locally Repairable Codes）、basic-Pyramid、DLRC（Dynamic Local Reconstruction Codes）、pLRC（proactive Locally Repairable Codes）、GRC（Group Repairable Codes）、UFP-LRC（Unequal Failure Protection based Local Reconstruction Codes）相比，RGRC只需要增加少量的存储开销，就能降低单节点修复14%~61%的修复成本，同时减少14%~58%的修复时间。     

低编译复杂度的双容错阵列码

纠删码技术是独立磁盘冗余阵列-6(RAID-6)的双容错能力的底层实现技术，它的性能是左右RAID-6性能的重要因素。针对RAID-6中常用阵列纠删码的I/O不平衡和数据恢复速度慢的问题，提出一种基于异或（XOR）的混合阵列码——J码（J-code）。J-code采用新的校验生成规则，首先，利用原始数据构造的二维阵列计算出对角校验位并构造新的阵列；然后，利用新阵列中数据块之间的位置关系计算得到反对角校验位。此外，J-code将原始数据与部分校验位存储于同一磁盘，能减少编译码过程中的异或（XOR）操作次数和单盘恢复过程中读取数据块的个数，从而降低编译码复杂度和单盘故障修复的I/O成本，缓解磁盘热点集中现象。仿真实验结果表明，相较于RDP(RowDiagonal Parity)、EaR(Endurance-aware RAID-6)等阵列码，J-code的编码时间减少了0.30%～28.70%，单磁盘故障和双磁盘故障的修复用时分别减少了2.23%～31.62%和0.39%～36.00%。     

RDP码存储系统节点故障恢复的读盘优化

实际的分布式存储系统面临着频繁的磁盘故障。为了保障数据可靠性,纠删码被广泛地部署在大规模存储系统中。在基于纠删码的存储系统中,快速有效地修复故障磁盘上的数据对于维护数据可靠性有重要意义。研究最重要的容两错纠删码——RDP(Row-diagonal parity)编码的磁盘故障修复问题,优化修复过程中磁盘访问的连续性。提出的单磁盘故障修复方案在保证读取数据量最小的前提下,最大程度避免了磁盘数据的随机读取,保持数据读取的连续性。通过在实际的分布式存储系统中实验,验证了该修复方案的实际性能,证实该算法可以很好地改善混合修复方案的随机读取引起的修复速度下降问题,最终提高了修复效率。     

一种新的三容错最大距离可分阵列码

随着海量存储系统的发展,双容错数据布局已不能满足系统对可靠性要求.在双容错行对角线奇偶码的基础上,只增加1冗余校验列,提出一种新的3容错最大距离可分阵列码.采用二元矩阵给出了新的阵列码代数编码定义,并通过基二元矩阵变换,给出结构简单易于软硬件实现的译码算法.并理论上证明新阵列码具有最大距离可分编码特性,空间利用率达到了3容错编码最优.与现有其它3容错编码进行比较,分析结果表明新码的编译码效率,小写性能,以及平衡性的综合性能达到最优.     

性能优化的双盘非同时故障容错布局分析

在分析双盘非同时故障容错模型的基础上,本文建议两种性能优化的布局：预留和约束的校验散布容错布局。当出现单盘故障后,这两种布局在不需要立即替换故障磁盘的情况 下自动过渡到另一个单磁盘故障容错的数据布局。约束的校验散布单盘故障布局便于提高校验写和单盘故障恢复性能,而且过渡算法实现较快。     

基于之字形解码算法优化的高效低存储ZD码

ZD码(ZigZag-decodable codes)是基于之字形解码算法设计生成的一类纠删码, 它仅需要少量的计算即可修复存储系统中的故障数据, 但需要存储相对其他纠删码更多的冗余数据以保证系统的高可靠性. 为了降低ZD码产生的存储开销, 本文通过分析当前在存储系统中使用的之字形解码的思想, 提出了一种优化的之字形解码算法. 新的解码算法能够更充分利用校验数据中的信息来完成数据修复. 基于新的解码算法, 本文相应的提出了一种新的ZD码编码方案, 由于新算法更高的信息利用率, 新的编码方案能够用更少的存储开销来满足存储系统的高可靠性. 实验结果表明, 本文提出的ZD码编码方案具有最优的存储开销, 且编解码性能远高于目前广泛使用的RS码.     

一种优化的小写操作RAID6算法

提出一种优化的小写操作RAID6算法XP-Code。该算法按对角线和逆对角线划分校验组,每个校验组中有一个校验块和N-2个数据块,校验块均匀分布在2条主对角线上。由于使用MDS编码,XP-Code只需XOR计算,且使用公式推导,实现简单。理论分析及与其他典型RAID6算法的比较表明,XP-Code的校验块计算、丢失数据恢复和小写操作等操作的效率都是最优的。     

基于EVENODD码的单盘故障快速恢复算法

在基于EVENODD码的阵列存储系统中,考虑单个磁盘故障时的快速恢复问题,通过减少恢复过程中数据的读取量来减少恢复时间,提高数据存储的可靠性。理论上证明了对于任意单个磁盘的故障恢复,需要从系统中其他盘读取的数据量的下界,并设计出一种新的混合恢复算法,使得恢复过程中的数据读取量达到该理论下界。相比于传统恢复算法,混合恢复算法综合利用了EVENODD码的两类校验进行单盘恢复,能够有效地减少恢复时所需的数据读取量。实验结果表明混合恢复算法在恢复时间和磁盘访问时间方面相比于传统算法有明显的提高。     

一种新型的能够防止两块磁盘失败的技术

海量存储系统的建设是目前计算机系统最热门和发展最快的领域,存储系统的主要部分是在线存储系统。RAID(磁盘阵列)对于提升存储系统的效率、数据的高可靠性、防止数据破坏和业务停顿具有重大意义。目前实际应用中的RAID 1,RAID 0+1,RAID 4,RAID 5都只能防止单块磁盘的损坏,实际生产中已经出现了很多由于双盘损坏造成业务长时间停顿的事故。在介绍了通用的RAID级别的基础上,介绍了一种新型的对角线奇偶校验方法,结合水平奇偶校验,可以防止两块磁盘损坏。通过可靠的数学分析,可以看到该方法可以极大提高磁     

分布式存储系统中的预测式纠删码研究

纠删码消耗的存储空间较少,获得的数据可靠性较高,因此被分布式存储系统广泛采用。但纠删码在修复数据时较高的修复成本限制了其应用。为了降低纠删码的修复成本,研究人员在分组码和再生码上进行了大量的研究。由于分组码和再生码属于被动容错方式,对于一些容易出现失效的节点,采用主动容错的方式能更好地降低修复成本,维护系统的可靠性,因此,提出了一种主动容错的预测式纠删(Proactive basic-Pyramid,PPyramid)码。PPyramid码利用硬盘故障预测方法来调整basic-Pyramid码中冗余块和数据块之间的关联,将预测出的即将出现故障的硬盘划分到同一小组,使得在修复数据时,所有的读取操作在小组内进行,从而减少读取数据块的个数,节省修复成本。在基于Ceph搭建的分布式存储系统中,在修复多个硬盘故障时,将PPyramid码与其他常用的纠删码进行对比。实验结果表明,相比basic-Pyramid码,PPyramid码能降低6.3%~34.9%的修复成本和减少7.6%~63.6%的修复时间,相比LRC码、pLRC码、SHEC码、DLRC码,能降低8.6%~52%的修复成本和减少10.8%~52.4%的修复时间。同时,PPyramid码构造灵活,具有很强的实际应用价值。