纠删码在分布式容错存储中的应用

在分布式存储中,海量数据被存储到同一个数据中心的不同节点或不同数据中心的节点上,数据的位置和组织方式对用户是透明的,由于面临的数据规模和用户规模更加庞大,在容错安全性上面临着严峻的挑战。本文提出一种基于纠删码的分布式存储系统模型,利用纠删码高效的编码效率和容错能力,为数据安全性保障提供了一个可靠的解决方案。     

海量数据分布式存储与检索优化分析研究

本文主要是针对关系型数据库的信息管理系统在处理海量数据的存储与检索方面的一些可选方案进行探讨与分析,并结合实际应用,分别从分布式数据存储、动态表、索引、查询语句优化等4个方面对海量数据的存储与检索给出可行的优化配置解决方案。     

基于分布式存储的OHitchhiker码

为推进纠删码在分布式存储系统中的应用,研究提高系统修复效率的算法。Hitchhiker码作为一种最新的具有最优存储空间和较低修复成本的纠删码,已在Hadoop等分布式系统中部署实现。针对目前Hitchhiker码采用均分的数据分配模式,存在网络带宽浪费的问题,提出一种最优分配的Hitchhiker编码(optimal allocation of Hitchhiker,OHitchhiker)。通过在编码的分配环节引入一种动态选择分配算法,使得OHitchhiker码可以针对不同(n,k)值选择具有最小修复代价的编码结构。理论分析以及实验结果验证了OHitchhiker码在保持较低存储空间的同时,进一步降低了下载带宽。     

云计算环境下异构数据节点冗余存储模式的优化

现有的纠删码假设存储节点的可用性是相同的,而现实的应用系统往往由可用性不同的异构存储节点组成,这使得系统的实际可用性与设计的最优值之间存在一定的差异。为了减小系统的实际可用性与设计最优值的差异,将存储节点看作是异构的,提出一种异构存储节点下的可用性分析框架,以及优化的纠删码部署方法。实验表明,所提出的纠删码部署方法的可用性与系统实际可用性的差异小,性能明显优于现有的相关工作。     

分布式存储纠删码技术的性能研究

纠删码技术广泛应用于分布式存储系统,以保证数据高效可靠存储。在数据存储过程中,纠删码存储系统需要执行数据读写、传输和编解码操作,主要采用RS(Reed-Solomon Code)编码、再生码（Regeration Code,RGC码）、局部修复码（Locally Repairable Code,LRC码）等编码方法。在实际应用中形成了Jerasure、ISA、LRC、SHEC、Clay等常用纠删码方案来适应不同的应用场景。通过分析验证各分布式存储纠删码方案的性能差异,为存储系统设计人员在实际应用中选择适合的纠删码实现方案提供思路。     

拜占庭容错纠删码分布式存储协议

研究了从数据密集大部分拜占庭容错分布式存储协议使用复制技术,但是当存储的数据块很大时,复制技术要求大量的存储空间并占用网络带宽,效率低下。采用纠删码技术则将数据块编码为长度相同的分片,然后把各个分片分别存储在对应的存储节点上,这样可以节省存储空间和网络带宽。拜占庭容错纠删码分布式存储需要额外的开销、附加的服务器甚至要版本化存储,才能保证数据的一致性。通过对通常的情况进行优化,采用新颖的机制并引入同态指纹检验码,使得需要最少的服务器、最小的额外计算量和最小的通信回合数目,达到了低开销,并且可以保证时间戳不跳跃。     

云际存储系统性能优化研究现状与展望

云际存储系统提供了一个云存储资源管理平台,该平台被广泛地部署到了不同的在线应用场景中。通过将用户数据加密分发到多个云,云际存储系统可以保证存储数据的安全性和可靠性。为了高效地管理云际存储系统的各种资源,云际存储系统设计了不同数据分发方案来满足应用需求。从存储性能优化的角度出发,综述了当前云际存储的主要应用场景、系统功能及对应的实现方案。首先,介绍了云际存储系统的背景及当前主要的数据分发方案。其次,比较了当前主流云际存储系统网络传输及资源管理方案。其中,包括分析云际存储系统数据读写和修复操作中主要网络传输方案及当前云际存储系统对于用户端设备及云端资源策略。最后,总结了当前云际存储的主要应用场景和相应系统实现方案。在此基础上,分析了当前云际存储系统中亟待解决的问题及其带来的挑战,并给出了可能的系统解决方案。     

去中心化的安全分布式存储系统

提出一种去中心化的安全分布式存储系统。通过公钥加密和单钥加密相结合的方法,提高存储数据的保密性。对每个数据源使用不同的对称密钥进行分布式加密,采用分布式纠删码对加密后的数据进行编码。使用RS多项式编码和List Decoding译码方法存储加密的对称密钥,以保证系统的鲁棒性。分析结果表明,该方案的计算复杂度较低。     

基于门限属性加密的安全分布式云存储模型

针对云存储存在越来越多的安全问题,设计了一种新的基于门限属性加密的安全分布式云存储模型。该模型由加密、存储、解密三个阶段组成且均具有分布式特点。利用基于属性加密体制不仅提高数据存储的安全性,而且多属性服务器的模式也使得该模型能支持门限解密功能及任意个属性服务器的加入与撤出问题;在存储阶段使用的分布式删除码可充分保障模型的健壮性,且该模型能抵抗共谋攻击。在一些特有云环境中,该模型可向用户提供较好的安全云存储服务。     

分布式云灾备平台搭建及性能分析

云存储服务,作为云计算的衍生产物,目的是为网络海量数据的存储提供有效的解决方案,节约存储成本和系统资源,提供一个完善的备份、容灾的数据中心,并能够保证数据安全性、容错性.现阶段云灾备模型局限于有限的网络位置,使用虚拟化技术,依托本地服务器实现,与传统云灾备模型不同,介绍了一种基于DHT的云灾备模型,可适用于广域网的、普适的数据级灾备解决方案;最后,在本地云计算集群中对该方案进行模拟,验证该模型的可行性.     

一种面向数据可用性和存储可靠性动态要求的自适应纠删码存储策略设计

为了满足指数级增长的大数据存储需求,现代的分布式存储系统需要提供大容量的存储空间以及快速的存储服务.因此在主流的分布式存储系统中,均应用了纠删码技术以节约数据中心的磁盘成本,保证数据的可靠性,并且满足应用程序和客户端的快速存储需求.在实际应用中数据往往重要程度并不相同,对数据可用性要求不一,且不同磁盘的故障率和可靠性动...     

纠删码存储系统单磁盘错误重构优化方法综述

随着云存储的迅猛发展与大数据时代的来临,越来越多的存储系统开始采用纠删码技术,以保障数据的可靠性.在基于纠删码的存储系统中,一旦有磁盘出错,系统需根据其他磁盘里存储的冗余信息,重构所有失效数据.由于当前存储系统中绝大部分磁盘错误都是单磁盘错误,因此,如何快速地在单磁盘错误的情况下重构失效数据,已成为存储系统的研究热点.首先介绍了存储系统中基于纠删码的单磁盘错误重构优化方法的研究背景与研究意义,给出了纠删码的基本概念与定义,并分析了单磁盘错误重构优化的基本原理;接着归纳了现有的一些主流单磁盘错误重构方法的构造算法及其优缺点与适用范围,并分类介绍了一些用于优化单磁盘错误重构效率的新型纠删码技术;最后指出了存储系统中基于纠删码的磁盘错误重构方法的进一步研究方向.     

分布式系统中纠删码容错机制的研究与实现

为降低分布式系统中容错机制的存储开销,在分布式文件系统中使用纠删码容错机制。本文总结纠删码容错机制实现的几个理论基础,并分析其系统可靠性,在阐明实现该机制的具体步骤后对几个关键算法模块进行了说明,最后对该机制在分布式系统环境下进行实验。实验结果表明,该机制能够有效地恢复受损数据。在合理的缓存块大小和文件分块数策略下,该机制的编、译码率能够较好地匹配局域网中的网络传输速率,且能够节省存储空间。     

Joint video adaptation and erasure code for video broadcast in wireless networks

Advances in wireless access technologies such as WiMax and LTE have accelerated the development of wireless video applications.Though existing erasure codes are designed for wireless data broadcasting,their potential can only be realized for wireless video broadcasting if the distortions associated with video packets and their complex decoding dependency are taken into consideration.In this paper,we propose the greedy video erasure code(GVEC)to minimize average video distortion by accounting for the temporal scalable decoding dependency among video frames e.g.I,P and B frames in MPEG.GVEC is a greedy algorithm and sufers from high computational complexity.For practical implementation,we have designed the joint video adaptation and erasure code(JVEC)with lower complexity,which can generate erasure codes on the fly to guarantee the decoding of important video frames.Simulation results show that the performance of JVEC is very close to that of GVEC,and is superior to that of existing erasure codes.Our results also show the existence of a performance tradeof between video distortion and video packet throughput.     

分布式存储系统中的低修复成本纠删码

纠删码技术是分布式存储系统中典型的数据容错方法,与多副本技术相比,能够以较低的存储开销提供较高的数据可靠性;然而,纠删码修复成本过高的特点限制了其应用。针对现有纠删码修复成本高、编码复杂和灵活性差的问题,提出一种编码简单的低修复成本的纠删码——旋转分组修复码（RGRC）。RGRC首先将多个条带组合成条带集,然后利用条带之间的关联关系对条带集内的数据块进行分层旋转编码,以此得到相应的冗余块。RGRC大幅度地减少了单节点修复过程中所需要读取和传输的数据量,从而能节省大量的网络带宽资源。同时RGRC在解决单节点修复成本高的问题时,依然保留着较高的容错能力,且为满足分布式存储系统的不同需求,可以灵活地权衡系统的存储开销和修复成本。在分布式存储系统中进行的对比实验分析结果展示,与其他常用的RS（Reed-Solomon）码、LRC（Locally Repairable Codes）、basic-Pyramid、DLRC（Dynamic Local Reconstruction Codes）、pLRC（proactive Locally Repairable Codes）、GRC（Group Repairable Codes）、UFP-LRC（Unequal Failure Protection based Local Reconstruction Codes）相比,RGRC只需要增加少量的存储开销,就能降低单节点修复14%~61%的修复成本,同时减少14%~58%的修复时间。     

分布式存储系统中的低修复成本纠删码

纠删码技术是分布式存储系统中典型的数据容错方法,与多副本技术相比,能够以较低的存储开销提供较高的数据可靠性;然而,纠删码修复成本过高的特点限制了其应用.针对现有纠删码修复成本高、编码复杂和灵活性差的问题,提出一种编码简单的低修复成本的纠删码——旋转分组修复码(RGRC).RGRC首先将多个条带组合成条带集,然后利用条带...     

纠删码存储系统中基于网络计算的高效故障重建方法

目前分布式存储系统的规模越来越大,不论存储设备是磁盘还是固态盘,系统都始终面临着数据丢失的风险.传统分布式存储系统大多采用基于三副本的高可靠性技术,但为了追求较低的存储开销,大量系统正在转向基于纠删码的可靠性方法.但是在纠删码方案下,重建故障数据需要读取多个存储设备,这将导致大量的网络传输和存储I/O操作,增大系统恢复开销.为了能够在不损失其他性能的同时降低恢复开销,利用软件定义网络(software defined networking, SDN)技术,提出一种基于网络计算的高效故障重建方案——网络流水线(in-network pipeline, INP),其中SDN 控制器利用网络的全局拓扑信息构造重建树,系统依据重建树进行数据传输,并在交换机上完成部分计算,减少向后传输的网络流量,从而消除网络瓶颈,提升恢复性能.测试评估了不同网络带宽下INP的恢复效率.实验结果表明：与传统的纠删码系统相比,INP总是能大幅减少网络流量,并且在一定带宽条件下,能够接近正常读的时间开销.