非均匀故障保护的分组修复码构造

考虑到实际分布式存储系统中存在热度不同的文件,构造了一种基于非均匀故障保护的分组修复码（GRC-NFP）,可对热文件和高故障概率节点提供更高等级保护,并降低多故障节点修复的磁盘读取开销.在文件冷热分组后,用所存目标节点故障概率表征数据块故障概率,并排序,存入长度依次递增的多个数据分组,并生成组编码块.性能分析和实际系统部署结果表明,与里德-所罗门码和分组修复码相比,GRC-NFP可在存储开销较小的条件下拥有较高的容错能力和较低的修复局部性,并且使热文件能够受到更有效地保护.系统部署下较少的编码和故障修复时间进一步证明了GRC-NFP的可行性.     

基于Hadamard矩阵构造部分重复码

针对分布式存储系统故障节点修复问题,提出一种部分重复(FR)码的构造算法。由Hadamard矩阵经过简单变换直接构造FR码。随后引入了分组思想,由8阶Hadamard矩阵构造分组FR码(HGFR),构造更加简洁直观,实现多故障节点在局部修复组内进行精确无编码修复。理论分析发现,与RS码和SRC简单再生码相比,设计的HGFR码在分布式存储系统节点发生故障时的修复局部性、修复复杂度和修复带宽开销都降低,且修复效率提高,减少了故障节点的修复时间。     

基于二叉排序树的哈夫曼编码

传统的哈夫曼编码的实现方式是在构造哈夫曼的基础上,从叶子节点到根节点逆向进行的。为了提高编码的效率,给出了一种新的哈夫曼编码实现方式,该方式通过利用二叉排序树的数据结构,从哈夫曼的根节点出发,向叶子节点进行编码,在编码过程中仅将哈夫曼树的每个叶子节点进行一次扫描便可以得到各个叶子节点的哈夫曼编码。该方法不仅符合编码的思维方式,而且解决了原先编码过程中大量指针移动的问题。     

一种有效的局部可修复码的构造方法

为了能够同时优化局部可修复码的平均信息修复度、平均修复度以及更新复杂度,并降低构造局部可修复码的算法复杂度,通过分析Tanner图的特点,提出了一种新的构造方法。首先,对局部校验节点进行设计,在满足局部可修复码的平均信息修复度为最优的基础上,通过区分局部组的特点,对重叠组进行分类构造,优化码的平均修复度;其次,对全局校验节点进行设计,优化码的更新复杂度;最后对构造码的算法复杂度进行分析和对比。结果表明,所提出的方法优化了以上所述的性能,且降低了局部可修复码在构造过程中的复杂度。     

DPHI-Tree:一种新型的并行高维主存索引树

随着主存技术的发展,系统级分布式主存多媒体数据库存储规模不断扩大,查询越来越复杂,分布式并行索引以其高性能而逐渐成为解决此类复杂查询问题的有效手段.文章提出一种新的适合于分布式并行索引的树结构--DPHI-Tree.该索引树以B树为基础,利用PCA降维技术,将树的各层节点采用不同的维度表示,提高了缓存空间的利用率,降低了CPU负载.另外,采用标识根到节点路径的二进制编码来对节点索引,在查询数据量急剧增加时,PHI-Tree对基于树的数据随机访问具有良好性能.     

云存储系统中基于MSR码的局部性修复编码

为了提高分布式云存储系统的存储可靠性和故障节点修复效率,提出一种基于最小存储再生码的局部性修复编码方案. 具体地,构造适用于云存储的系统最小存储再生码,以此码为局部码构造局部性修复编码,确保最大距离可分性质和简单修复特性. 性能分析和仿真结果表明,该局部性修复编码方案可实现云存储系统中多个故障节点的快速修复,具有较低的修复局部性,相对于三副本复制方式和简单再生码,该局部性修复编码方案在存储开销和修复带宽开销方面的性能更优.     

基于循环矢量构造的精确修复MDS编码

为解决分布式存储系统节点精确修复的问题,构造了一类最小存储再生编码,该编码属于最大距离可分(MDS)删除码. 利用循环矢量构造生成矩阵,将冗余数据与系统数据混合存储,编码过程中所有的运算都属于伽罗华2域. 采用该编码的存储系统,在发生单节点故障时,精确修复的最小带宽为理论最小值,在系统正常工作时,能为单用户提供最大理论值的可用带宽. 与最小存储再生码和最小带宽再生码相比,编码矩阵简单,解码计算量较小,能提供较高的可用带宽.     

基于非均匀循环编码的分组修复码构造

考虑到实际分布式存储系统中节点故障情况的多样性,该文提出一种基于非均匀循环编码的分组修复码(GRC-NCC),使高故障率节点得到更有效的保护.具体地,根据节点故障率对存储节点进行非均匀分组,将数据块依次存入长度递增的节点分组,再使用跨条带循环编码的思路生成组编码块和全局校验块.性能分析以及实验仿真表明,GRC-NCC虽...     

基于Hadamard向量的新型(k+2,k)MSR码

在分布式存储系统中,再生码是一种能够最优修复节点丢失数据的编码策略.在存储空间有限的前提下,设计出一种高码率的最小存储再生码可以进一步提高存储空间的利用率.利用Hadamard向量设计出一种新型高码率最小存储再生码,实现最优精确修复所有系统节点数据.这种新的编码策略将Hadamard向量进行变型,同时改变了Hadamard向量放置在编码矩阵中的位置.与原有的(k+2,k)Hadamard MSR码策略不同,将编码矩阵中的Hadamard向量从主对角线位置移至非主对角线上时,能够减少修复过程中有限域上的运算次数.从而使这种新型再生码策略在能够精确修复系统节点数据的同时,进一步降低数据修复过程中的计算复杂度.     

码率兼容LDPC码的构造方法

采用LDPC码编码校验矩阵的构造方法构造的编码校验矩阵,可以生成一系列性能优异的码率兼容子码.根据删除LDPC码译码恢复的特点,依次构造各级可恢复节点对应的子校验矩阵,然后根据剩余节点度对编码校验矩阵进行PEG扩展,得到适合删除的LDPC码校验矩阵.仿真结果表明,新方法构造的LDPC码比其他方法构造的LDPC码有更好的码字删除性能,并且删除子码可以获得更高的码率.     

基于结点映射的XML数据关系存储与查询

目的提出一种XML文档存储和查询方法,解决XML文档有效的存储和查询,避免处理XML数据时进行多级复杂的转换.方法充分利用关系数据库成熟技术,有效实现大量数据的存储和查询.采用SAX技术解析XML文档,并通过对现有哈夫曼编码进行扩展,实现将XML文档结点信息和属性以关系结构进行存储和查询.利用扩展后的哈夫曼编码来存储结点信息和结点之间关系.结果通过遍历XML文档生成了XML文档对应扩展哈夫曼编码,实现了XML文档信息以关系数据形式存储和查询,并实现了SQL语句与XML查询语句的转换.结论基于扩展哈夫曼编码结点映射的存储与查询方法能较好地实现结点信息与结点关系的存储,并有效地实现查询,在应用中具有一定可行性.     

General reliability model of the non-MDS coded storage system

An open problem is how different configurations influence the reliability of a storage system using non-maximum distance separable codes as redundancy strategy.This paper proposes a repairable probability algorithm for solving data objects with non-maximum distance separable code encoding by considering the construction matrix of non-maximum distance separable codes.This algorithm exhaustively loses all possible combinations of several blocks and judges whether the matrix corresponding to each combination is reversible for calculating the probability of recoverability.We propose an analytical model based on the Markov chain to quantify the reliability of the non-maximum distance separable coded storage system.This model could quantify the impact of a series of design factors on the reliability of the storage system,such as the effect of non-maximum distance separable code configuration,the capacity of the storage system,the capacity of the object-based storage device nodes,the repair bandwidth,the mean time to data loss of the object-based storage device nodes and so on.Finally,the numerical analytical method is used to verify the correctness of the model and the influence of different factors on the reliability of the storage system.Our model enables system practitioners to decide the appropriate configuration based on their reliability requirements.     

一种新的对称可逆变长码的构造方法

在分析对称可逆变长码码树结构的基础上，提出了一种独立于Huffman码的对称可逆变长码构造算法．该算法根据符号概率求得对称可逆变长码的最小码字长度后．将所有候选码字依次存放到队列．选择其中符合码字选取机制的候选码字作为对称可逆变长码码字．实验表明，该算法能够得到较小的平均码长．并具有码字选取机制简单、实现复杂度小等优点．     

基于访问频率的Hash树

Hash树是一种常用的数据结构。当Hash树不能完全装入内存时,会增加缺页中断次数,导致算法效率下降,为此本文研究并提出了根据项集的联合概率生成Hash树的方法。按访问频率将Hash树结点数据顺序地排放在线性空间中。这种数据存储方式既能适应操作系统中的程序局部性特征,又能达到减少I/O次数、提高数据存取效率的目的。     

基于扩展哈夫曼编码的XML存储和查询研究

提出一种新型XML数据存储和查询的方法，解决了XML文档有效的存储和查询复杂的问题.采用SAX技术输出XML流，并通过对哈夫曼编码的分析，对XML文档中各个元素生成基于哈夫曼编码加以扩展，并随元素信息存入关系数据库.即在关系数据库中存放结点信息及结点之间的关系，使查询结点与子结点信息更方便，实现以文档为中心的文档粒度较大的文档的存储和查询.应用SAX技术生成扩展的哈夫曼编码，存储结点的信息，方便地实现XML文档信息的查询.基于扩展哈夫曼编码的XML有效地提高了XML文档存储和查询效率，在应用中具有一定可行性.