RS类纠删码的译码方法

RS(Reed-Solomon)码可以根据应用环境构造出任意容错能力的码字,有很好的灵活性,且使用RS纠删码作为容错方法的存储系统能达到理论最优的存储效率.但是,与异或(exclusive-OR, XOR)类纠删码相比,RS类纠删码译码计算的时间开销过大,这又很大程度上阻碍了它在分布式存储系统中的使用.针对这一问题,提出了一类RS纠删码的译码方法,该方法完全抛弃了当前大多RS类纠删码译码方法中普遍使用的矩阵求逆运算,仅使用计算复杂度更小的加法和乘法,通过构造译码变换矩阵并在此矩阵上执行相应的简单的矩阵变换,能够直接得出失效码元由有效码元组成的线性组合关系,从而降低译码计算复杂度.最后,通过理论证明了该方法的正确性,并且针对每种不同大小的文件,进行3种不同大小文件块的划分,将划分得到的数据块进行实验,实验结果表明：在不同的文件分块大小情况下,该新译码方法较其他方法的译码时间开销更低.     

基于纠删码的HDFS存储方案

HDFS 文件系统通过多副本备份的方式解决数据损坏或丢失的问题,但是随着存储系统内容增多,在数据量级很大的时候,这种容灾方案消耗的额外存储空间是实际存储内容的数倍,不利于系统资源长期积累。文章提出使用纠删码编/解码文件代替 HDFS 的副本备份容灾策略,在保证数据安全性的前提下大大提高了存储空间利用率,降低存储额外消耗。     

纠删码在分布式容错存储中的应用

在分布式存储中,海量数据被存储到同一个数据中心的不同节点或不同数据中心的节点上,数据的位置和组织方式对用户是透明的,由于面临的数据规模和用户规模更加庞大,在容错安全性上面临着严峻的挑战。本文提出一种基于纠删码的分布式存储系统模型,利用纠删码高效的编码效率和容错能力,为数据安全性保障提供了一个可靠的解决方案。     

基于RS纠删码的信息分散算法

利用基于RS纠删码的信息分散算法可构建高顽存的分布式存储系统。RS纠删码的编/译码速率是衡量其可用性的一个重要指标。对RS纠删码的纠删原理进行了理论分析,讨论了编/译码运算所在的伽罗瓦域,基于伽罗瓦域算术运算的特征设计了双表法以提高编/译码速率。最后对该信息分散算法的效率进行了理论分析和实验测试。测试结果表明,该信息分散算法可提供18Mbps的编/译码速率,基于该测试结果分析了基于RS纠删码的信息分散算法的适用环境,指出信息分散算法未来的研究方向。     

基于多斜率码链的阵列纠删码

针对当前大多阵列纠删码容错能力偏低以及构造时需要满足的约束条件较强的问题,提出一类基于码链构造的阵列纠删码。该阵列纠删码使用不同斜率码链组织数据元素和校验元素间的关系,从而能达到理论上不受限制的容错能力;而在构造时避开了类似素数约束的强约束条件,易于实用和扩展。仿真实验结果表明,相对于RS（Reed-Solomon）码,基于多斜率码链阵列纠删码在运算效率上的提升超过了2个数量级;在固定的容错能力下,存储效率能随着条块尺寸的增加而提高。此外,该类阵列码的修复代价和更新代价为一个固定常量,不会随着系统规模的扩大或容错能力的提高而增加。     

云文件系统中纠删码技术的研究与实现

云文件系统凭借高性能、高扩展、高可用、易管理等特点,成为云存储和大数据的基础和核心。云文件系统一般采用完全副本技术来提升容错能力,提高数据资源的使用效率和系统性能。但完全副本的存储开销随着副本数目的增加呈线性增长,存储副本时造成额外的写带宽和数据管理开销。纠删码在没有增加过量的存储空间的基础上,通过合理的冗余编码来保证数据的高可靠性和可用性。研究了纠删码技术在云文件系统中的应用,从纠删码类型、编码对象、编码时机、数据更改、数据访问方式和数据访问性能等六个方面,对云文件系统中纠删码的设计进行了探究,以增强云文件系统的存储模型。在此基础上,设计并实现了纠删码原型系统,并通过实验证明了纠删码能有效地保障云文件系统的数据可用性,并且节省存储空间。     

低密度纠删码度分布序列的若干分析性质

研究了删除信道中逼近容量的度分布序列。证明了低密度纠删码的度分布序列为逼近容量序列的充分必要条件，给出并证明了左边正刚度分布序列的若干分析性质，指出删除信道中逼近容量的度分布序列也应具有某些类似的分析性质。这些分析性质对低密度纠删码度分布序列的设计有着重要的理论指导意义。     

存储系统中的纠删码研究综述

随着海量存储系统的发展和在复杂环境中的应用,存储系统的可靠性受到了严重的挑战.纠删码作为存储系统容错的主要方法越来越受到重视.首先介绍了当前典型和常见的纠删码技术的发展现状,从评价纠删码性能的各项重要指标的角度详细地对比和分析了现有的纠删码技术,给出了不同纠删码在容错能力与磁盘要求、空间利用率、编码效率、更新效率、重构效率等方面的不足和可能的改进见解,并讨论了磁盘阵列系统、P2P存储系统、分布式存储系统、归档存储系统等不同存储系统对于纠删码各类性能的差别要求,并进一步指明了当前存储系统纠删码研究中尚未解决的一些难题和未来纠删码可能的发展方向.通过分析得出,目前不同纠删码在容错能力、计算效率、存储利用率等方面都存在不同程度的缺陷,如何平衡这些影响纠删码性能的因素,设计出更高容错能力、更高计算效率及更高存储利用率的纠删码,仍是未来很长一段时间内值得不断深入研究的问题.     

基于纠删码的HDFS存储调度技术

云计算环境下,对数据的实时处理要求高,降低时延、加快数据处理,可以提高客户对数据服务的满意度。在HDFS存储系统下,纠删码技术可以极大节省数据副本的存储空间,并能较好地实现冷数据的存储和使用。通过分析存储节点的负载率和性能指标对文件获取的平均时延的影响,设计了一种基于负载信息和吞吐量的调度算法。通过实验验证发现,调度算法在时延方面最高减少了20%平均时延,服务的稳定性提高了15%,使数据处理更加高效。     

分布式存储系统中自适应纠删码的研究综述

随着海量存储系统的发展和在复杂环境中的应用,存储系统所面临数据丢失的风险也不断提升,因此存储系统中数据的可靠性受到了严重的挑战,成为了当前学术界和工业界关注的一大热点。为了解决该问题,海量数据存储系统通常使用具有低存储成本的纠删码技术。海量数据存储系统需要满足海量用户复杂多变的存储需求,以及提供高可用的存储服务,而这给海量数据存储系统中纠删码技术带来了关键性科学问题,即,纠删码的存储扩展性能较低与频繁变化的存储扩展需求之间的矛盾。为此,针对基于纠删码的海量数据存储系统,围绕存储扩展和数据修复的性能开展了一个综述性的研究。首先介绍了当前典型和常见的具有自适应特性的纠删码技术的发展现状,然后从评价纠删码性能的各项重要指标的角度详细地对比和分析了现有的纠删码技术,最后指出了现有自适应纠删码的不足和可能的改进见解。     

基于RS纠删码的无线传感器网络信息分发协议性能评价

无线传感器网络中,传感器节点的能量、存储和计算能力有限,且无线传感器网络具有数据链路不对称、拓扑易变化等特点,设计节能可靠的网络协议是困难的。设计良好的网络协议不仅能降低网络的负载,还有助于节省传感器节点的能量,从而延长网络的生存周期。在无线传感器网络操作系统TinyOS平台上实现了基于RS纠删码的信息分发协议,并理论分析了在单跳情况下的协议性能,最后在仿真环境TOSSIM上模拟比较了在多跳、多路径情况下该信息分发协议和洪泛分发协议的性能。模拟仿真表明,提出的基于RS纠删码的信息分发协议明显减少了发送方发送数据包的数量,同时提高了节点的报文接收率,从而达到了降低网络能耗的目的。     

基于MEL的纠删码容错能力分析

最小删除错误列表（Minimal Erasure List,MEL）是最近提出的一种衡量纠删码容错能力的新方法。MEL方法不但能够反映码字的汉明距离,而且还能充分描述其他各种情况下码字的容错能力。因此,MEL可以作为各种码字容错能力的一个度量标准。将MEL方法用于阵列码的分析与比较,详细分析了常见阵列码（例如EVENODD）的MEL性质,显示了阵列码构造参数与容错能力之间的关系。改进了MEL的构造算法。     

Lamda码:一种新的纠双删阵列码

为了解决集成存储系统或者分布式存储系统中的数据安全问题,提出了一种新的阵列码,名为Lamda码。Lamda码可以同时恢复最多两个删除错,或者纠正一个突发错误。该码是极大距离可分码(MDS),因此理论上具有最优的空间效率,并附有相应的证明。详细描述了编码算法与解码算法,同时讨论了相应算法的复杂度问题。结论表明,Lamda码也是一种有效的数据冗余方案。     

纠删码分片验证技术研究

纠删码分片验证技术在拜占庭环境中非常重要。分析了现有的纠删码分片验证技术。基于同态指纹技术提出了一种新的验证方法。分析结果表明,新的方法具有更好的效率。     

分布式存储系统中的纠删码容错方法研究

HRC码是一种具有存储效率高、计算复杂度低等优点的纠删码,但其存在编解码计算开销大、实现较为复杂等不足。通过对HRC码的译码算法进行优化,提出一种新型的纠删码HRCSD。采用内外层分层结构,内部的冗余由HRC码的编码结构组成,外层采用偏移复制策略,将原始信息进行旋转存储,能够实现并行读写。实验结果表明,与三副本技术和S~2-RAID纠删码相比,HRCSD纠删码具有容错性能高、修复开销低等优势,可满足大规模分布式存储系统的容错需求。     

基于纠删码的区块链存储优化

区块链具有去中心化、不可篡改、可追溯以及公开透明等特性,可以解决去中心化网络中节点之间相互不信任的问题,为构建价值互联平台提供了可能.然而,区块链要求每个节点都存储一份完整的数据,以高存储冗余来保证数据的可靠性,给节点带来了巨大的存储压力,降低了存储资源的利用效率,也导致系统的存储可扩展性成为区块链性能的一个瓶颈.采用...     

纠删码存储系统中数据修复方法综述

纠删码技术具有存储开销低的优势,然而在进行数据修复时面临修复时间长和对前端应用性能影响高的缺陷。给出纠删码技术中数据修复完成时间的计算模型,指出影响修复性能的关键因素,进而选取计算开销、读写开销、传输开销作为修复性能的评价标准;分析了现有研究工作如何降低计算、读写和传输3种开销,重点讨论了其关键性技术的优缺点;最后从修复性能、可靠性、存储开销等方面对现有编码方案进行对比,并指出未来可能的研究方向。     

基于纠删码的动态副本冗余存储研究

为保证数据的完整性和可靠性,云存储中主要采用多副本和纠删码两种存储策略对数据进行冗余保存.针对单一冗余存储策略的不足,考虑存储开销和访问质量等方面因素,根据用户访问数据的规律,提出一种基于纠删码的动态副本冗余存储方案.采用RC纠删码来存储云中海量数据,使用曲线拟合预测访问热度,适时调整副本的数量.实验结果表明,该方案空间利用率高,能有效减小用户访问的平均延迟,提高用户访问的成功率.     

拜占庭容错纠删码分布式存储协议

研究了从数据密集大部分拜占庭容错分布式存储协议使用复制技术,但是当存储的数据块很大时,复制技术要求大量的存储空间并占用网络带宽,效率低下。采用纠删码技术则将数据块编码为长度相同的分片,然后把各个分片分别存储在对应的存储节点上,这样可以节省存储空间和网络带宽。拜占庭容错纠删码分布式存储需要额外的开销、附加的服务器甚至要版本化存储,才能保证数据的一致性。通过对通常的情况进行优化,采用新颖的机制并引入同态指纹检验码,使得需要最少的服务器、最小的额外计算量和最小的通信回合数目,达到了低开销,并且可以保证时间戳不跳跃。