基于DHT的P2P系统中高可用数据冗余机制

在基于DHT的P2P系统中需要采用冗余机制以保证数据的高可用性.文中结合用户下载行为来衡量数据存储与共享系统中的不同冗余机制.此外,作者提出了一种混合式的数据冗余策略,它兼具传统的复制策略和分片冗余策略的优点.实验表明,复制策略虽然比分片冗余策略需要更多的存储空间,但当节点平均可用性高于47%时,更节省网络维护带宽.混合式冗余策略在各种网络环境中均能较传统冗余策略更节省网络带宽,并且冗余因子适中.     

一种云存储系统数据持久存储机制

针对云存储中的可靠性产生的担忧,提出一种云存储系统完善的数据存储保障机制,以保证系统的高可靠性和数据的高可用性。在处理与数据持久存储的相关的数据分片、数据分发、完整性检查以及冗余数据的维护中,引入基于纠删码的数据冗余机制,与传统的复制冗余方案相比,能够在获得相同的数据可用性时降低存储空间和网络带宽的开销多达50%以上。采用基于缓冲区的分段读入编码对纠删码算法进行优化后,提高了对文件分片与合并的平均编码速率。     

时态关系数据模型C-TRDM的存储技术研究

针对传统数据库和现有时态数据库中存在数据冗余及时态数据库中数据量快速增长等现象,结合现有的压缩技术,提出了时态数据压缩存储策略来解决时态数据存储中的数据冗余现象,并用分立时钟法和共用时钟法对缓变域、瞬变域时态数据进行存储.提出网格存储策略来解决时态数据快速增长问题.     

基于云存储的冗余分片自适应分发策略

水利信息化的发展促进水利大数据的快速增长,在实际生产中发现,水利数据的整合与共享能充分发挥水利大数据的综合效益,但由于各数据中心存储能力不均衡等问题,很容易产生数据交换热点。本文在混合存储模型的研究基础上,根据数据中心之间交换需求量以及数据中心存储能力,设计基于水利数据领域空间特性的冗余分片自适应分发策略,并利用该策略进行数据分片的分发决策。实验表明,该策略能够基本保证各数据中心存储负载趋于均衡。      

一种冗余调度的可靠网格计算模型

为了解决动态、不稳定的网格环境下的可靠计算问题,提出一种基于冗余调度的可靠网格计算模型.首先给出计算网格系统可靠性的定义,并基于系统可靠性定义给出了冗余调度的可靠网格计算模型,设计了冗余调度算法,模拟实验结果证明了提出的模型可以提高计算网格任务调度的可靠性.为了使提出的模型更好应用于实际网格计算环境,给出基于概率的冗余度优化公式,将该公式引入到冗余调度模型,可以获得优化的调度冗余度,不仅可以提高任务调度系统的可靠性,而且能提高资源的利用率.     

一种面向数据抗毁性的对等网络数据存储策略*

现有评价机制不能准确评估结构化对等网络冗余存储策略,因此,引入数据抗毁性这一评价指标,从全复制、分块复制和有中心节点的分块复制三个角度对数据抗毁性进行建模分析。在此基础上,提出了一种基于动态中心确认机制的数据存储策略（DCDS）。实验证明,该策略在网络节点不断失效的情况下,对提高网络中可用数据的数量是有效的。     

P2P存储网络中的冗余维持

在P2P存储网络中,为保证数据安全可靠,当网络中数据丢失后需生成新的冗余数据.因此,如何快速生成新的冗余数据并保持数据的可靠性就成为评价存储网络性能的关键.网络编码作为一项新兴技术,已被证明可以提高网络吞吐率和鲁棒性.将网络编码思想引入冗余数据维持,可以加快冗余生成速度,从而提高数据可靠性.通过理论分析和仿真给出了快速修复冗余数据的方法、开销和相应的传输策略.仿真结果表明,较传统修复方式所提出的快速修复方法可以节省60%以上的传输时间.     

基于纠删码的动态副本冗余存储研究

为保证数据的完整性和可靠性,云存储中主要采用多副本和纠删码两种存储策略对数据进行冗余保存.针对单一冗余存储策略的不足,考虑存储开销和访问质量等方面因素,根据用户访问数据的规律,提出一种基于纠删码的动态副本冗余存储方案.采用RC纠删码来存储云中海量数据,使用曲线拟合预测访问热度,适时调整副本的数量.实验结果表明,该方案空间利用率高,能有效减小用户访问的平均延迟,提高用户访问的成功率.     

一种面向网格计算的自适应动态冗余预留策略

针对网格环境中冗余机制在系统可靠性和任务执行效率之间难以平衡的问题,提出一种冗余度可动态调整的自适应冗余策略.该策略以可靠性指标为约束条件,依据负载变化自适应地优化系统冗余度,在不降低可靠性的前提下减少冗余度过高对网格任务执行效率的负面影响.理论分析给出了冗余度与可靠性之间的量化关系,实验分析对比了该动态冗余策略与其他冗余策略的性能差异,并对策略关键参数进行了对比分析.实验结果显示,当系统面临较高的任务负载或负载变化剧烈时,自适应的动态冗余预留策略能够显著提高资源有效利用率,并在任务执行效率和系统可靠性之间实现动态平衡,从而降低传统冗余策略对系统性能的负面影响.     

VANET中基于捎带确认机制的自适应数据传播策略

车载自组网（VANET）通过自组织分散环境传播交通数据,交通数据的特点使得VANET数据传播方法更适合依赖广播。然而,当在高密度场景下广播数据时,可扩展问题和数据传播冗余问题变得尤为突出,可能导致广播风暴的发生。针对数据传播冗余和广播开销等问题,以最远转发策略和捎带确认机制为基础,提出一种捎带确认的自适应最远转发策略（AckAMFR）,根据存储转发的概念进行信息的传输和存储,降低了数据冗余,具有较强的可靠性和较小的广播开销。仿真结果表明,该转发策略具有低广播开销和高数据传输率的特性。     

Hierarchical codes: A flexible trade-off for erasure codes in peer-to-peer storage systems

Redundancy is the basic technique to provide reliability in storage systems consisting of multiple components. A redundancy scheme defines how the redundant data are produced and maintained. The simplest redundancy scheme is replication, which however suffers from storage inefficiency. Another approach is erasure coding, which provides the same level of reliability as replication using a significantly smaller amount of storage. When redundant data are lost, they need to be replaced. While replacing replicated data consists in a simple copy, it becomes a complex operation with erasure codes: new data are produced performing a coding over some other available data. The amount of data to be read and coded is d times larger than the amount of data produced, where d, called repair degree, is larger than 1 and depends on the structure of the code. This implies that coding has a larger computational and I/O cost, which, for distributed storage systems, translates into increased network traffic. Participants of Peer-to-Peer systems often have ample storage and CPU power, but their network bandwidth may be limited. For these reasons existing coding techniques are not suitable for P2P storage. This work explores the design space between replication and the existing erasure codes. We propose and evaluate a new class of erasure codes, called Hierarchical Codes, which allows to reduce the network traffic due to maintenance without losing the benefits given by traditional erasure codes.     

Insight into redundancy schemes in DHTs

In order to provide high data availability in peer-to-peer (P2P) DHTs, proper data redundancy schemes are required. This paper compares two popular schemes: replication and erasure coding. Unlike previous comparison, we take user download behavior into account. Furthermore, we propose a hybrid redundancy scheme, which shares user downloaded files for subsequent accesses and utilizes erasure coding to adjust file availability. Comparison experiments of three schemes show that replication saves more bandwidth than erasure coding, although it requires more storage space, when average node availability is higher than 47%; moreover, our hybrid scheme saves more maintenance bandwidth with acceptable redundancy factor.

减少重建数据量的冗余编码技术研究

为防止硬件故障或机器宕机导致的数据丢失,冗余编码技术被广泛应用于分布式存储系统中来保证数据的可靠性。然而,传统的冗余编码技术,如里德-所罗门码,存在着重建数据量大的问题。副本技术在重建丢失数据时只需要读取和传输丢失的数据,而冗余编码需要读取和传输更大的数据量,从而消耗更多的磁盘I/O带宽和网络带宽。因此,基于冗余编码的分布式存储系统在重建数据时将消耗更长的时间,从而将整个系统长时间暴露在一种降级的模式下,进而增加了发生永久性数据丢失的风险。为解决这个问题,减少重建数据量的冗余编码技术不断被提出,然而只有这些冗余编码与传统的里德-所罗门码的比较,缺少它们在存储系统的综合比较。系统地从减少重建数据量等几个重要方面研究了这些减少重建数据量的冗余编码技术,从而为实际系统中采用合适的编码提供重要参考和依据。     

Robust Redundancy Scheme for the Repair Process: Hierarchical Codes in the Bandwidth-Limited Systems

High performance computing can be well supported by the Grid or cloud computing systems. However, these systems have to overcome the failure risks, where data is stored in the “unreliable” storage nodes that can leave the system at any moment and the nodes’ network bandwidth is limited. In this case, the basic way to assure data reliability is to add redundancy using either replication or erasure codes. As compared to replication, erasure codes are more space efficient. Erasure codes break data into blocks, encode these blocks and distribute them into different storage nodes. When storage nodes permanently or temporarily abandon the system, new redundant blocks must be created to guarantee the data reliability, which is referred to as repair. Later when the churn nodes rejoin the system, the blocks stored in these nodes can reintegrate the data group to enhance the data reliability. For “classical” erasure codes, generating a new block requires to transmit a number of k blocks over the network, which brings lots of repair traffic, high computation complexity and high failure probability for the repair process. Then a near-optimal erasure code named Hierarchical Codes, has been proposed that can significantly reduce the repair traffic by reducing the number of nodes participating in the repair process, which is referred to as the repair degree d. To overcome the complexity of reintegration and provide an adaptive reliability for Hierarchical Codes, we refine two concepts called location and relocation, and then propose an integrated maintenance scheme for the repair process. Our experiments show that Hierarchical Code is the most robust redundancy scheme for the repair process as compared to other famous coding schemes.     

云文件系统中纠删码技术的研究与实现

云文件系统凭借高性能、高扩展、高可用、易管理等特点,成为云存储和大数据的基础和核心。云文件系统一般采用完全副本技术来提升容错能力,提高数据资源的使用效率和系统性能。但完全副本的存储开销随着副本数目的增加呈线性增长,存储副本时造成额外的写带宽和数据管理开销。纠删码在没有增加过量的存储空间的基础上,通过合理的冗余编码来保证数据的高可靠性和可用性。研究了纠删码技术在云文件系统中的应用,从纠删码类型、编码对象、编码时机、数据更改、数据访问方式和数据访问性能等六个方面,对云文件系统中纠删码的设计进行了探究,以增强云文件系统的存储模型。在此基础上,设计并实现了纠删码原型系统,并通过实验证明了纠删码能有效地保障云文件系统的数据可用性,并且节省存储空间。     

网格环境下基于编码机制的数据复制研究

本文提出了基于编码机制的网格数据复制思想,通过对副本数据进行线性分组编码,并将其分散保存到网格存储节点,可形成具有纠删能力的编码子副本组.针对目前热点研究的线性分组编码,探讨基于Cauchy Reed-Solo-mon Code、Tornado Code和Random Linear Code的编码数据复制方案,通过建模手段讨论三者的副本数据访问性能和副本数据可靠性,并与传统的完整数据复制和分块数据复制进行时比分析,证明所提出的编码数据复制有着较优的综合性能.具体实验数据进一步说明,编码副本的编码开销占整个数据复制开销的较小比例,表明编码数据复制是具有可行性的技术方案.     

一种基于多层次校验的低恢复成本纠删码

随着纠删码在分布式存储系统中的实际应用,纠删码为存储系统提供了更加优秀的存储效率,但当节点丢失时,相较于传统副本技术更多的网络传输带宽开销成为了造成系统性能瓶颈的关键因素。为了解决MDS编码高带宽开销对系统性能的影响,一类新型编码方案——分组码被应用在分布式存储系统中,相较于传统MDS编码能够有效地降低节点修复时的数据传输量,从而减少网络带宽需求。在Pyramid分组码的基础上进行层次扩展,提出一种HLRC（hierarchical local repair codes）纠删码。HLRC相较于LRC引入了层次编码模型,将原始数据块构建为编码矩阵,根据层次进行分别编码,生成包含数据块范围不同的局部校验块;每个层次包含的数据块数量不同,可以保证修复节点时的低修复成本,同时还拥有较高的存储效率。HLRC相较于Pyramid拥有额外的校验块冗余,能够降低校验块出错和多节点出错时的恢复开销。在基于Ceph的分布式存储系统中的实验结果表明,HLRC与Pyramid等分组码相比,单节点修复开销最高可降低48.56%,多节点修复开销最高可降低25%。     

分布式存储系统(OceanStore)的复制策略

OceanStore项目是因特网上基于P2P结构的分布存储应用,目标是向用户提供强持久性、高可用性、可扩展性和安全性的服务。它的整个复制策略分为两个大的方面：ErasureCoding和Replication。ErasureCoding主要是保证数据的持久性,Replication主要是保证用户的访问速度。一份数据同时用ErasureCoding和Replication实现。