面向纠删码的低成本多节点失效修复方法

针对现有纠删码修复方法开销大、效率低的问题,提出一种低成本多点失效修复方法。通过基于网路距离的节点选择算法增加节点之间的可用带宽,采用多线程以及流水线的数据传输方法提高多节点失效修复效率,同时使用基于中心节点的多点修复方法降低多节点失效修复开销。实验结果表明,与基于星型结构的串行修复策略、基于树型结构的串行修复策略和最小存储再生码相比,该方法多点修复效率较高,平均修复时间分别减少了25%,16%和20%。     

基于稀疏随机矩阵的再生码构造方法

针对已有的再生码编码方案的运算是基于有限域GF（q）、运算复杂度高、效率低的问题,提出了一种将GF（2）上的稀疏随机矩阵和乘积矩阵框架相结合的再生码构造方法。首先,将文件数据矩阵式排布后根据编码矩阵进行行异或运算;其次,节点失效后,参与帮助节点根据失效节点的编码向量编码本地数据并发送至修复节点;最后,修复节点根据接收到的数据译码出失效节点原有的数据。实验结果表明修复带宽至多只有传统纠删码修复方案的1/10,相比基于传统范德蒙编码矩阵的再生码,编码速率提升了70%,译码恢复速率提升了50%,方便了再生码在大规模存储系统中的应用。     

基于矩阵运算的最小冗余存储再生码MSRRC研究

分布式存储系统常常使用纠删码冗余技术提高数据的安全性和可靠性,从而使系统具有自修复失效数据的能力,但传统纠删码在修复失效节点时需要传输的数据量较大。再生码是纠删码的一种改进形式,它的主要特点是无需下载整个数据文件就能恢复单个节点数据,从而有效减少了数据修复时的网络带宽。相关文献证明数据修复时存在最小存储再生点(MSR),由此提出最小冗余存储再生码MSRRC。本研究主要采用数据矩阵和修复矩阵实现MSRRC再生码,通过实例详细给出再生码的实现过程,并理论证明其正确性,最后仿真实验验证了MSRRC的有效性。     

基于简单再生码的带宽感知的分布式存储节点修复优化

分布式存储系统为保证可靠性会采用一定存储冗余策略如多副本策略、纠删码策略.纠删码相对于副本具有存储开销小的优点,但节点修复网络开销大.针对修复网络开销优化,业界提出再生码与以简单再生码为代表的局部可修复码,显著降低了修复网络开销.然而,现有基于编码的分布式容错存储方案大都假设节点处于星型逻辑网络结构中,忽略了实际的物理网络拓扑结构和带宽信息.为实现拓扑感知的容错存储优化,相关研究在纠删码和再生码修复过程结合网络链路带宽能力,建立树型修复路径,进一步提高了修复效率.但由于编码和修复过程的差异性,上述工作并不适合于简单再生码修复.针对该问题,本文结合实际物理网络拓扑结构,将链路带宽能力引入到简单再生码的修复过程中,对带宽感知的简单再生码修复优化技术开展研究.论文建立了带宽感知节点修复时延模型,提出了基于最优瓶颈路径和最优修复树的并行修复树构建算法.并通过实验对所提算法性能进行了评估.实验结果表明,与星型修复方式相比,论文所提算法有效地降低了节点修复时延,提高了修复效率.     

异构环境下纠删码的数据修复方法综述*

在大规模云存储系统中,由于磁盘或网络故障造成的存储节点失效事件频发,系统需要数据冗余技术以保证数据的可靠性和可用性。纠删码,相对于副本方式而言,能大大提高存储空间的利用率,但纠删码在冗余数据修复方面的代价较副本方式高很多。目前针对纠删码的冗余数据修复研究大都无差别对待每个存储节点,然而实际分布式存储系统中,节点通常存在带宽资源、计算资源、存储容量资源等方面的差异性,这些资源的异构性对冗余数据修复性能影响很大。本文指出影响修复性能的关键因素,选取带宽开销、磁盘访问开销、修复时间、参与修复的节点数量和修复代价作为修复性能的评价标准;分析了现有研究方法如何降低这五种开销,重点讨论了这些方法的优缺点;阐述当前异构分布式存储系统中纠删码修复技术的研究现状;最后指出纠删码数据修复技术中尚未解决的一些难题和未来纠删码修复技术可能的发展方向。     

基于简单再生码的分段编码方案

简单再生码将可容多错的RS纠删码与简单的异或运算相结合,在达到容忍任意n－k个节点故障可靠性的基础上,可以实现对单个失效节点的高效快速修复。对简单再生码的失效节点修复过程进行改进,提出一种新的基于简单再生码的分段编码方案,将f个具有相同下标的编码块分成两段,将每段中的编码块进行异或操作,生成一个新的校验块。对该方案的存储开销、磁盘读取的开销以及修复带宽开销进行性能分析和仿真实验,结果表明提出的基于简单再生码的分段编码方案在增加少量存储开销的同时,其修复带宽和磁盘读取的开销性能有了很大程度的优化,进一步验证了改进方案的正确性和有效性。     

一类精确修复多个节点的简单再生码

海量数据环境下要求存储系统具有高扩展性、高可靠性和低成本等特点。大规模存储系统的节点因数目巨大而易频繁失效,为保证节点的可用性,系统会利用冗余数据对失效节点进行修复。作为一种新的容错技术,再生码可有效降低分布式存储系统中失效节点修复时需要的下载数据量。基于简单再生码,为分布式存储系统设计一种新的编码方式。它不仅可容忍多个节点同时出错并进行修复,而且编码形式简单并具有较高的码率。     

基于冗余节点选择模型的水下传感器网络拓扑修复

现有水下传感器网络的拓扑修复算法大多只是完成网络连通性修复,未考虑节点能耗过快造成网络寿命缩短的问题。为此,提出一种基于冗余节点选择模型的拓扑修复算法。该算法在网络部署完成后利用分布式的方法选择关键节点并对其进行监控。当节点失效时,使用冗余节点选择模型选择冗余节点,通过移动冗余节点对失效节点进行修复,同时对冗余节点采取睡眠唤醒策略以延长网络寿命。实验结果表明,与区域移动修复算法相比,该算法在节点移动总距离、网络寿命、失效节点首次出现时间、投递率等方面性能均有所提高。     

RDP码存储系统节点故障恢复的读盘优化

实际的分布式存储系统面临着频繁的磁盘故障。为了保障数据可靠性,纠删码被广泛地部署在大规模存储系统中。在基于纠删码的存储系统中,快速有效地修复故障磁盘上的数据对于维护数据可靠性有重要意义。研究最重要的容两错纠删码——RDP(Row-diagonal parity)编码的磁盘故障修复问题,优化修复过程中磁盘访问的连续性。提出的单磁盘故障修复方案在保证读取数据量最小的前提下,最大程度避免了磁盘数据的随机读取,保持数据读取的连续性。通过在实际的分布式存储系统中实验,验证了该修复方案的实际性能,证实该算法可以很好地改善混合修复方案的随机读取引起的修复速度下降问题,最终提高了修复效率。     

基于数据挖掘的存储数据纠删码容错方法仿真

在存储数据的纠删码容错中,针对传统存储数据纠删码容错方法容错速度较低的问题,提出一种基于数据挖掘的存储数据纠删码容错方法。采用数据挖掘方法对存储数据纠删码进行重构,计算存储数据纠删码的丢失片段;利用CHR算法对存储数据纠删码进行异构修复,通过建立存储数据纠删码容错模型实现存储数据的纠删码容错。为了验证存储数据纠删码容错方法的有效性,将存储数据纠删码容错方法与传统存储数据纠删码容错方法进行对比,实验结果得出:上述方法与基于流水线的存储数据纠删码容错方法、基于RapidRaid码的存储数据纠删码容错方法、基于非规则LDPC码的存储数据纠删码容错方法的容错速度分别为:286Mbps/s、262Mbps/s、243Mbps/s、232Mbps/s,比较可知,所提方法的容错速度最快,证明了上述方法的优越性。     

图因子分解的故障节点快速修复

为了提高分布式存储系统中故障节点的修复效率, 提出一种新的部分重复(fractional repetition, FR)码的构造算法. 该算法利用完全图的因子分解进行构造, 称为CGFBFR (complete graph factorization based FR)码. 该算法首先对完全图进行因子分解, 分解完成以后确定完全图的因子分解个数, 根据需要存储数据块的重复度来选择完全图的因子个数, 将完全图选中的因子所有顶点当做分布式存储系统中需要存储的数据块, 然后对选中因子图的边进行标记, 标记的边当做分布式数据节点进行存储. 最后根据选中的因子的顶点和边生成编码矩阵, 在分布式存储系统中按照编码矩阵中的数据对数据块分别进行存储. 实验仿真结果显示, 本文提出的一种新的部分重复码构造算法, 与分布式存储系统中的里所(reed-solomon, RS)码、简单再生码(simple regenerating codes, SRC)以及最新的循环可变部分重复(variable fractional repetition, VFR)码相比, 在系统修复故障节点时, 能够快速地修复故障节点, 有效降低了故障节点的修复带宽开销、修复局部性、修复复杂度, 而且构造过程简单, 同时可以灵活选择构造参数, 广泛适用于分布式存储系统中.     

一种基于节点嵌入表示学习的社区搜索算法

针对已有社区搜索算法采用高维稀疏向量表示节点时间复杂度高的问题,提出一种基于节点嵌入表示学习的社区搜索算法CSNERL.节点嵌入技术能够直接从网络结构中学习节点的低维实值向量表示,为社区搜索提供了新思路.首先,针对已有节点嵌入算法存在较高概率在最亲近邻居间来回游走的问题,提出基于最亲近邻居但不立即回访随机游走的节点嵌入模型NECRWNR,采用NECRWNR模型学习节点的特征向量表示;然后,采用社区内所有节点的向量均值作为社区的向量表示,通过选择与当前社区距离最近的节点加入社区的方法实现一种新的社区搜索算法.在真实网络和模拟网络数据集上分别与相关的社区搜索算法进行实验对比,结果表明所提出社区搜索算法CSNERL具有更高的准确性.     

异构传感网中基于组合指派编码模型的节点调度算法

针对感知半径异构无线传感器网络(WSN)中的节点调度问题,提出了一种基于组合指派编码模型的分布式节点调度算法。首先确定最大可能的组个数;然后基于两跳簇概念进行分布式分簇;最后对每个簇中的节点采用组合指派编码模型分布式调度到不同的组中。理论分析与仿真实验表明,与已有基于随机方式与两跳簇方式的调度算法相比,所提算法能更有效地延长网络的生命周期,因此更加适合感知半径异构无线传感器网络环境。     

基于节点共边的异构部分重复码构造

为了满足分布式存储系统的动态存储和异构存储, 本文提出一种基于节点共边的异构部分重复码(heterogeneous fractional repetition codes based on node common edge, HFRC-NCE)的构造算法. 具体地, 将MDS码编码后的数据块分为冷数据块和热数据块, 结...     

结合社区发现和局部恢复码的区块链扩容研究

区块链全节点需要存储完整的账本,不能满足数据快速增长的需求,其存储扩容成为当前研究热点之一。现有最优研究成果虽然结合分片和RS(Reed-Solomon)纠删码技术,降低了存储开销,实现了数据可恢复,但存在网络开销较高和跨节点数据请求效率较低的问题。因此,提出了一种基于社区发现和局部恢复码（local reconstruction codes,LRC）的区块链存储扩容方案,一定程度上解决了这些问题。改进现有基于传导性的社区发现方法,在此基础上提出了一种区块链节点分组方法,使平均连接速度更快的节点分为一组,有效地缩短了跨节点请求区块的响应时间;采用了更优的LRC码来替代RS纠删码,利用更少的原始数据实现单点故障数据恢复,降低了网络开销。大量实验结果表明提出的存储方案在保持目前最优方案的数据恢复能力和存储开销的基础上,能有效减少网络开销和跨节点请求区块的时间。     

杰卡德系数差分误差跳距修正的DV-hop改进算法

为了减小无需测距的DV-hop算法的定位误差,提出基于杰卡德系数跳数修正因子的DV-hop改进算法（JDV-Hop）。改进算法使用节点个数集合的杰卡德系数细化节点间的跳数,减小对节点单跳距离内未知节点跳数的估计误差,然后利用DDV-hop算法中的差分误差系数进一步修正节点间的平均跳距。最后在选择参与定位计算的锚节点时,引入一种节点间可以协作式定位的可信度因子,将定位结果精度高的节点升级为新的锚节点,进行下一轮定位。MATLAB仿真结果显示,在相同条件下,改进算法不仅无需增加额外的硬件开销,且与DDV-hop等现有改进算法相比具有明显更高的定位精度。     

无线传感器网络中基于闭合环包围的边界节点检测

由于无线传感器网络中可能会出现覆盖漏洞,导致网络无法提供高质量的数据,所以需要检测边界节点以准确找到覆盖漏洞进行修复。已有研究大多是通过传感器的坐标或者依据大量节点信息进行检测, 现提出算法通过检测每个节点的邻居节点是否能形成包围检测节点的闭合环来判别当前节点是否为边界节点。该算法使得节点能够仅基于小邻域的信息自主地决定它是否是边界节点,使其适用于节点分布不均匀的网络中。仿真实验验证了该算法在识别准确率、降低通信量等方面的有效性。     

一种WSN栅栏间隙修复优化方法

无线传感器网络栅栏覆盖对目标穿越保护区域时进行有效监测,如果栅栏出现间隙可能会使监测失效,因而需要及时修复。现有的栅栏间隙修复方法存在可移动节点的总移动距离长导致代价高的问题。本文提出一种WSN栅栏间隙修复优化方法,将实际节点拓扑图转化为可移动节点数量需求拓扑图,利用KSP算法计算修复栅栏间隙需要的最少可移动节点数量,采用匈牙利算法派遣可移动节点,并对修复路径进行优化,使可移动节点修复栅栏间隙的移动距离总和最短。仿真实验结果表明该方法能够花费较小代价完成栅栏间隙的修复工作。     

基于“次中心”的社区结构探寻算法

当前社区结构探测算法在寻求社区结构划分正确性的同时,算法效率较低。为此,提出一种在算法正确性和算法效率两个方面能取得较好均衡的社区结构探寻算法CoreScan。该算法寻找节点集合中一类称之为“次中心”的特殊节点,再将其作为聚类中心,然后通过D模块度来发现社区结构。理论分析表明,该算法能正确识别Fortunato提出的一类特殊社区结构,且算法效率可达O(n*kmax),其中n是节点数量,kmax是“次中心”最大数量。最后通过多项实验证明,CoreScan算法能够在效率和正确性上取得较好的均衡,适合于在大规模节点集合中进行快速社区结构探寻。