异构分布式存储系统中部分重复码的构造

部分重复(FR)码因对故障节点提供精确无编码修复,能够提高分布式存储系统的修复效率和可靠性。异构分布式存储系统中FR码的构造更接近于存储数据的实际应用,即每个节点的存储容量和数据块的重复度不同。考虑到用户访问数据的不均衡性,基于数据热度不同重复度不同的思想,文章提出了基于循环置换矩阵(CPMs)与映射置换矩阵(APMs)的异构分布式存储系统中部分重复码的构造。性能分析表明,异构分布式存储系统中的部分重复码可实现存储系统中故障节点的快速修复,具有较低的修复局部性;相对于RS编码以及简单再生码,部分重复码具有更优的修复带宽开销和修复复杂度。     

一种异构分布式存储再生码变换原理

再生码是一类分布式存储编码,由于在节点存储和修复带宽两方面均有效而被广泛研究。基于乘积矩阵(PM)理论的最小存储再生(PM-MSR)码是一类同构分布式存储再生码,具有最小的节点存储。提出一种再生码变换原理,能够根据PM-MSR码产生新的再生码,新的再生码用于异构分布式存储系统。严格证明了新再生码结构的数据重构和数据修复性质,并提供了编码实例。新的再生码与PM-MSR码具有相同的存储消耗和带宽消耗,但新的再生码具有更小的平均节点故障率,这对实际应用具有吸引力。     

基于再生码的云存储系统——Ustor

摘 要：Ustor是一个构建在多个商业云存储服务之上的云存储系统,它旨在保证数据可靠性的同时减少单点失效时占用的修复带宽。不同于将所有数据存储在单个云中,Ustor将数据编码后分布在多个云存储系统中保证可靠性。Ustor的编码模块部署了包括Reed-Solomon码和功能性修复再生码（FRC）在内的多种纠删码,是第一个将功能性修复再生码应用于多个异构的、真实的云存储系统中的应用。与传统的冗余编码比较,FRC显著地减少了单个云存储发生数据丢失时需要从网络上传输的数据量。实验表明：与不编码比较,冗余编码给系统增加了5%~10%的响应时间开销,但可保障节点失效;FRC码编、解码和修复速度与Reed-Solomon码基本相当,256 MB大小文件编码时间差距在0.5 s以内;FRC码修复时与传统的Reed-Solomon码相比减少了25%以上需要下载的数据量。     

一种三容错数据布局

随着存储介质的增多,单容错、双容错的数据布局方案已经无法满足现有分布式存储系统对可靠性要求。该文在双容错行对角奇偶校验(Row Diagonal Parity, RDP)码的基础上,提出一种新的扩展行对角奇偶校验(Extending Row Diagonal Parity, E-RDP)码,能够容许任何3存储节点出错,具有最大距离可分(Maximum Distance Separable, MDS)编码特性,冗余率与纠错能力达到3容错编码最优。并采用不同斜率几何直线图描述编译码过程,给出了一种快速译码算法,易于软硬件实现。与其它纠删码数据布局方案进行比较,理论分析结果表明, E-RDP码的空间利用率、编译码效率、小写性能以及平衡性的综合性能达到最优,具有实用价值。     

基于Fano图的局部循环码构造

为了提高分布式存储系统中数据的可靠性及修复故障节点的可靠性,提出一种基于Fano图的局部循环码。该编码采用了局部性编码的思想,并在局部组内采用基于Fano图的循环码,可以在局部修复组内对故障节点进行快速修复,计算复杂度低。实验结果表明,该编码单节点故障的修复局部性为2,小于现有的RS码与SRC码,且修复带宽开销,与现有的RS码和简单再生码相比具有更低的修复局部性、修复复杂度与修复带宽开销,且修复效率高。     

网络存储系统容错编码技术进展

专业的大型磁盘存储系统均发展为包含多块磁盘的大型阵列系统。随着系统中的磁盘数目的不断增加,由磁盘失效引起的数据丢失的可能性越来越大。对于由存储系统中部分磁盘失效所引起的数据丢失的问题,目前业界公认的比较好的解决方案是使用冗余容错编码技术来实现磁盘的容错。在工程实践中,目前广泛应用的编码方法大多局限于双容错阵列码。随着系统规模的进一步加大,3容错甚至更多容错的编码方法已引起研究者的重视。今后的5至10年间,对于3容错或多容错的编码方法的研究将会成为新的热点。     

大数据环境下的可靠存储技术思考

针对分布式容错技术的研究,提出了两点关键要求:降低冗余开销、提高节点修复效率。分析目前主流的容错策略:复制、纠删码、再生码、基于局部可修复码,并认为这些容错策略存在不同程度的缺陷,因此设计出容错能力、计算效率及存储利用率更高的容错策略,仍是未来很长一段时间内值得深入研究的问题。     

基于负载均衡的纠删码修复流水线

大数据分布式存储系统中,修复流水线（Repair Pipelining,RP）减少90%的修复时间,有效地解决由于修复时间开销较大,纠删码不适用于存储热数据的问题.然而,现有的RP存在节点负载不均衡的问题,导致系统性能下降.通过研究后,设计节点负载均衡的纠删码修复流水线（Node Load Balancing-based Repair Pipelining,NLB-RP）,并根据性能评价指标提出计算节点负载的算法和计算修复时间的算法.理论分析及实验结果表明,在没有引入额外修复代价的情况下,NLB-RP从局部到整体有效地平衡并减少节点的负载.相比RP,NLB-RP的节点负载方差为0,即每个节点的负载相同.因此,NLB-RP具有最优的负载均衡性.     

面向海量数据的分布式用户态文件系统研究与设计

云计算、物联网、互联网技术的迅猛发展,使社会进入了大数据时代。随着数据量的指数增长,面对海量数据的高效存储与访问成为目前人们面临的主要问题。使用分布式存储作为底层数据存储系统,基于用户空间文件系统fuse,结合MongoDB数据库管理元数据,研究设计出一种面向分布式存储的用户态文件系统。相对于传统分布式对象存储系统的数据访问,设计的文件系统具有很高的灵活性和可扩展性,同时对于用户有着可操作性强、易于管理等优点,使其更适用于现代海量数据的访问与管理。     

异构对等分布式存储中的DHitchhiker码

具有高可用性和安全性的去中心化存储因其应用的相同参数低码率RS(Reed-Solomon codes)码存在修复带宽较高的问题.对此,提出一种基于可信度的低修复带宽DHitchhiker码.首先将Hitchhiker码的第一子条带中的数据节点和部分校验节点捎带在余下的校验节点的第二个子条带上;接着将节点分类,让高可信节点存储余下的校验节点,低可信节点存储数据节点和部分校验节点,并让不同类型的节点采用不同的修复策略;最后理论结合实验证明,在修复低可信节点时,DHitchhiker可降低约25％的修复带宽;在整体上,未分类存放的DHitchhiker码可降低约0.5％的修复带宽,基于可信度的DHitchhiker码可降低约1％的修复带宽和2.5％ ～3.3％的修复时间.