分布式存储方案的设计与研究

针对基于纠删码的分布式存储方法中信息分割算法IDA在运算中涉及构造拆分矩阵,计算开销大,且单纯基于纠删码的方案无法确保所存储数据的完整性、机密性等特性,只能够容忍系统中存在的良性故障,无法容忍入侵者的恶意入侵。提出了分布式系统中一种基于Tornado码的浏览器-服务器工作模式的数据存储方案。在数据写入过程中通过构造编码后数据分块的Hash值级联（即数字指纹）,并与每个数据分块一起分布在存储服务器集中的不同服务器中,当需要读出时对分块及数据指纹进行验证,然后利用Tornado译码方法恢复原始文件,即可实现Byzantine环境数据的完整性保护,并提高了系统的容错能力。     

P2P存储系统拜占庭容错机制研究*

综述了近年来P2P存储系统拜占庭错误冗余相关技术的研究成果;概述了P2P存储系统容错的要求与技术,对现有拜占庭错误冗余技术进行了总结;详细分析对比了目前各种典型拜占庭容错系统的容错方式,探讨了P2P存储系统中拜占庭容错技术需要改进的关键问题,并对未来的研究方向进行了讨论;最后,给出了一个实际环境下的解决方案框架。     

基于RS码的错误容忍存储方案

在分布式存储系统存储数据时,如果一个或几个设备出现故障,不仅该设备中的数据不能使用,而且会导致用户无法完整地访问资源。针对该问题,提出一种基于RS码的错误容忍存储方案,当系统中错误设备的数量不超过m时,就可以对其进行恢复,实现容错。该方案具有较高的安全性与执行效率,能满足存储系统容错的要求,可以利用其构造对可靠性要求较高的存储系统。     

分布式存储系统中自适应纠删码的研究综述

随着海量存储系统的发展和在复杂环境中的应用,存储系统所面临数据丢失的风险也不断提升,因此存储系统中数据的可靠性受到了严重的挑战,成为了当前学术界和工业界关注的一大热点。为了解决该问题,海量数据存储系统通常使用具有低存储成本的纠删码技术。海量数据存储系统需要满足海量用户复杂多变的存储需求,以及提供高可用的存储服务,而这给海量数据存储系统中纠删码技术带来了关键性科学问题,即,纠删码的存储扩展性能较低与频繁变化的存储扩展需求之间的矛盾。为此,针对基于纠删码的海量数据存储系统,围绕存储扩展和数据修复的性能开展了一个综述性的研究。首先介绍了当前典型和常见的具有自适应特性的纠删码技术的发展现状,然后从评价纠删码性能的各项重要指标的角度详细地对比和分析了现有的纠删码技术,最后指出了现有自适应纠删码的不足和可能的改进见解。     

P2P持久存储研究

P2P（peer-to-peer）的组织模式已经成为新一代互联网应用的重要形式,它为应用带来了更好的扩展性、容错性和高性能.P2P存储系统一直是研究界所关注的热点,被认为是P2P最具前途的应用之一.数据的持久存储是制约P2P存储系统发展的关键问题,也是其研究的难点.综述了P2P存储系统及数据持久存储相关技术的研究现状.首先概述了P2P存储系统的基本技术组成及其在不同应用环境中的优势,并介绍了数据冗余、数据分发、错误检测和冗余数据维护等多种持久存储的基本技术.在一个P2P存储系统研究框架下,介绍了目前知名的P2P存储系统及其使用的持久存储技术.对各种技术进行了详细综述和对比讨论,分析了各种技术的适应环境及优劣,指出了存在的问题和未来研究的方向.     

拜占庭容错纠删码分布式存储协议

研究了从数据密集大部分拜占庭容错分布式存储协议使用复制技术,但是当存储的数据块很大时,复制技术要求大量的存储空间并占用网络带宽,效率低下。采用纠删码技术则将数据块编码为长度相同的分片,然后把各个分片分别存储在对应的存储节点上,这样可以节省存储空间和网络带宽。拜占庭容错纠删码分布式存储需要额外的开销、附加的服务器甚至要版本化存储,才能保证数据的一致性。通过对通常的情况进行优化,采用新颖的机制并引入同态指纹检验码,使得需要最少的服务器、最小的额外计算量和最小的通信回合数目,达到了低开销,并且可以保证时间戳不跳跃。     

分布式存储系统中的纠删码容错方法研究

HRC码是一种具有存储效率高、计算复杂度低等优点的纠删码,但其存在编解码计算开销大、实现较为复杂等不足。通过对HRC码的译码算法进行优化,提出一种新型的纠删码HRCSD。采用内外层分层结构,内部的冗余由HRC码的编码结构组成,外层采用偏移复制策略,将原始信息进行旋转存储,能够实现并行读写。实验结果表明,与三副本技术和S~2-RAID纠删码相比,HRCSD纠删码具有容错性能高、修复开销低等优势,可满足大规模分布式存储系统的容错需求。     

分布式存储系统可靠性的研究

通过对分布式存储系统可靠性的研究,运用了具有MDS特性的X码的编码模式,实现了能纠正2个疑符的译码新算法,从而有效地增强了分布式存储系统的可靠性。     

应用于分布式存储系统的准循环再生码构造方案

传统纠错码编码方案能够提高系统容错能力,但在数据修复时会占用大量带宽。为此,基于循环结构,构造一种面向分布式存储系统的准循环最小存储再生码。根据该准循环再生码的冗余系数向量权重和修复带宽边界,设计一种改进的节点修复算法,证明其修复带宽在最好情况能达到最小割下界,在最坏情况下也优于最大距离可分码的修复带宽。实验结果表明,该再码构造方案不仅节省存储空间,而且具有构造简单、运算代价低和修复带宽小等特点。     

分布式网络存储管理系统的研究与实现

The distributed network storage management system will effectively organize the users' storage spaces which are distributed and heterogeneous to provide the users with a piece of integrated and uniform virtual storage space.This paper summarily introduces the fundamental function and structure of the system, and mainly describes the related protocols and the method for realizing.     

基于共享存储池的元数据服务器机群的设计研究

在大型分布式对象存储系统中,元数据服务系统是一个潜在的访问瓶颈.本文提出一种通过分层式文件系统构建共享存储池的采用两次分布式哈希函数方式的元数据服务系统.其具有不需要人工干预的故障恢复性和易扩展特性,而且最大程度减少了MDS之间大量元数据的物理迁移.实验测试证明系统具有良好的I/O性能.     

一种有效的分布式数据存储保密方案设计

结合对称加密技术和门限加密技术,提出了一种适用于分布式数据存储需要的有效的系统机密性保护方案,其中对称加密技术用于对所存储的文件进行加密,分布式门限加密技术则对对称加密方案中所用的密钥进行保护,可在不带来密钥存储问题情况下满足恶意环境中分布式数据存储系统的机密性要求。     

分布式存储系统中元数据系统的研究与设计

在分布式存储系统中,元数据服务系统是一个潜在的访问瓶颈。文章提出了一种基于分布式哈希函数和共享存储器思想的元数据服务器系统,并且与LazyHybrid(LH)方法进行了对比研究,通过仿真测试表明其具有较高的元数据操作吞吐量和减少了元数据服务器之间元数据移动及易扩展等特性。     

海量地震数据的复合分层式存储方案

该文介绍了网络及其存储技术在地震数据管理中的作用,分析了地震数据存储面临的特点,并通过分析对比各存储结构及网络结构．设计了一个用于地震数据存储的网络存储方案。     

数据网格中高效的分布式存储策略

在当前数据网格软件中间件系统的基础上,提出一种基于信息散列算法的分布式存储策略。采用信息散列算法对数据文件进行散列处理,将其分布存储于数据网格系统的多个存储服务器。理论分析和实验模拟结果证明,与传统的数据复制技术相比,该策略具有较高的可靠性和并行访问性能。     

简易型分布式图片存储的设计与实现

本文在．net环境下,以C#语言来实现分布式图片存储,在不增加投入的情况下,提高用户对网站的访问速度。以crc32算法为核心,较为全面的讨论了分布式图片存储的实现过程,并给出了算法。     

面向存储服务的分布式缓存系统研究

针对分布式环境下高频率异地数据访问造成的系统性能下降的问题,对SBM模型进行改进,提出分布式缓存系统D-Cache,给出基于最优价值度的缓存文件替换算法——OCV。数字模拟实验结果证明,与DartCache系统相比,D-Cache系统能更有效地减少系统访问延迟,增加吞吐量,提高分布式环境下系统的性能。