分布式存储系统的数据冗余策略

针对分布式存储系统的数据可用性问题展开了深入的研究,提出了一种支持纠删码的冗余倍数估计算法,根据数据统计特征获取单个数据块最优冗余方案;并基于该算法模型设计了一种适用于分布式存储系统的数据冗余策略,旨在消耗最小的存储开销获得最优的数据可用性.在实现该数据冗余策略的过程中,为了优化理论算法模型的工程可行性,提出了基于采样计算中间经验参数的方法,有效地利用目标存储数据的统计特征降低算法的计算复杂度.仿真实验验证了这种数据冗余策略的可行性和有效性.     

基于纠删码的云文件系统数据放置方法

当前,在分布式云文件系统中,纠删码冗余技术以较高的容错性能和较大的空间利用率逐步取代副本冗余技术来保证数据的可靠性。多数基于纠删码的云文件系统中,数据放置方法采用随机放置策略并假设集群节点同构,然而在实际的云存储系统中节点的同构性并不理想,且节点的存储性能会随着系统的运行动态地发生变化,所以随机地选取节点进行数据放置并不能有效地保证系统的均衡性。为此,文中分析确定了影响节点负载性能的关键因素,并采用层次分析法建模求出不同存储数据类型的负载影响因子。同时基于节点负载性能,计算提出了一种全局随机、局部顺序的数据放置算法,该算法在选择节点的过程中综合考虑节点内的实时负载均衡和数据可靠性两个因素。实验结果显示,相比于随机放置方法,提出的该数据放置方法不仅能够实现存储系统节点内的实时负载均衡,还能加快数据写入和恢复的速度。     

基于网络编码的多播网络故障恢复

针对多播网络中的链路失败恢复问题,从纠删码的编译码思想出发,提出了一种基于网络编码的可靠多播网络系统的构造方法.该方法采用静态的网络码,当多播网络发生有限条链路失败时,可采用基于接收节点的方式恢复可恢复的链路失败,而不需改变中间节点的编码.同时在网络信息流分解基础上给出了在较小的符号域上构造网络码字的方法.通过这种编码多播方式,不仅可以利用较小的网络资源构造近似即时的自我修复多播通信网络,提高多播网络链接的鲁棒性,而且能够获得较高的多播传输速率.     

云服务中数据完整性验证技术综述

随着业务量的不断增长,越来越多的企业接受了云计算,数据也从本地迁移到了云端.这种新的数据存储模式也引发了众多安全问题,而如何确保云服务器中数据的完整性是其中的关键问题.数据拥有者亟需一个稳定、安全、可信的完整性审计方案,用于审核云服务器中数据的完整性和可用性.阐述了云计算环境下数据完整性系统模型和安全模型,以及云存储数据完整性审计的研究现状,并重点分析了部分经典方案,通过方案对比,指出当前方案存在的优点、缺陷,以及云服务中数据完整性验证当前仍然面临的安全与隐私挑战,并探讨了该领域未来的研究趋势.     

基于水平纠删码的云存储数据布局方法

针对云存储系统的扩展性和数据容错问题,设计了一种基于水平阵列纠删码的通用云存储系统方案,系统可按存储节点子集进行规模扩展;给出了一种可容3列随机删除错的数据布局方法,并利用校验数据位与信息数据位之间的对应关系,寻找到一种具有低计算复杂度的数据重构算法,提高了丢失数据的恢复性能.理论分析和原型系统测试表明,本布局方法与存储方案适合于构建对数据编译码复杂度、系统扩展性都具有较高要求的云存储系统.     

基于ASP.NET平台的远程粮油数据更新

从简单、实用的角度出发,提出了一种利用存储过程更新远程粮油数据的方法。主要说明了如何在SQL Server建立存储过程,具体在ASP.NET中实现数据更新遇到的问题,同时给出了该方法的关键程序实现代码分析。采用存储过程操纵数据方法不但可以提高数据的访问速度,并且很好地屏蔽了数据库表的逻辑,对于任何三层B/S结构管理信息系统的开发具有很好的参考价值。     

基于FSL数据集的去重性能分析

重复数据删除技术作为一种数据缩减技术,实现了对高度冗余数据集的压缩功能,可以有效地解决存储系统空间浪费所带来的成本开销问题。相较于过去大多针对小规模静态快照或是覆盖时间较短的快照的研究,该文基于从共享用户文件系统选取的覆盖时间较长的大规模快照,从文件、数据块以及用户的角度研究备份数据集的特征,分析不同数据分块方法、策略下去重性能的优缺点,得到最高的重复数据删除率,为未来的重复数据删除系统设计提出建议。     

基于喷泉码的分布式鲁棒存储

一种基于喷泉码的分布式鲁棒数据存储技术,可以保证数据的可靠存储和高效获取.将喷泉码及其改进型的LT码和Raptor码的原理运用于分布式网络数据存储中,指出要恢复M个数据包,只须接收略大于M个数据包即可,一部分数据包丢失的影响可以忽略,从而实现了数据存储的鲁棒性和高效性.讨论了影响存储鲁棒性的关键因素.     

数据存储技术综述

针对海量数据存储技术的产生过程进行了具体的描述.介绍目前3种典型的数据存储模式:传统存储、传统分布式存储及云存储.讨论每种存储模式的优缺点及其适应范围.主要介绍云存储模式和Hadoop技术,并将Hadoop技术与其他技术进行比较,分析它的性能、效率以及其他方面的优点和的不足,从而使Hadoop可以更好地服务于具体问题.     

基于云存储的数据安全性分析及措施

云存储随着云计算的发展应运而生,然而针对上传到云存储里的数据,数据的安全性又是当今云存储的瓶颈,本文针对数据安全采用了传输加密和文件碎片存储加密两种措施,实现了基于云存储中的数据的机密性、完整性、可用性等安全特性.     

基于Bloom Filtering检测的安全重复数据删除技术分析

数据的不断增长推动了云计算、云存储的发展,大量数据被存储到云端,数据的不断积累占据了太多存储空间.为了节省空间,重复数据删除技术被提出并广泛使用.在原始信息锁加密的基础上进行改进,引入布隆过滤器来实现重复检测,继而完成安全存储.对方案性能进行分析后发现,可以实现基本的安全机密性,并降低了计算开销.     

防止数据泄露的云存储数据分布优化模型

基于数据节点泄露和用户关联数据泄露,研究了云存储环境下数据泄露的发生及其传播,建立了数据泄露及传播模型。提出了由数据泄露造成的用户不满意度和由运营成本造成的云存储服务提供商不满意度的度量方法。以此为基础,建立了一种以降低数据泄露率和运营成本的云存储优化模型。在仿真平台上的实验表明,优化后的数据存储分布能满足所有用户对泄漏率的要求,系统的泄漏率和运营成本均有明显的下降,且用户和云存储服务提供商的不满意度几乎降为零。     

基于高性能云的分布式数据并行处理机制

描述了一个基于高性能云的分布式数据并行处理机制,该机制简化了数据并行处理操作,且能实现数据尽可能在同一个地点处理而无需移动;重点对相关的存储云和计算云基本的框架结构设计思想进行了简要的介绍;实验结果表明,该数据并行处理机制能用于高性能广域网络连接的计算机集群所产生的大型分布式数据集的数据并行处理,实验数据显示,其性能较其它系统（如Hadoop）有显著的提高。     

云存储系统中基于MSR码的局部性修复编码

为了提高分布式云存储系统的存储可靠性和故障节点修复效率,提出一种基于最小存储再生码的局部性修复编码方案. 具体地,构造适用于云存储的系统最小存储再生码,以此码为局部码构造局部性修复编码,确保最大距离可分性质和简单修复特性. 性能分析和仿真结果表明,该局部性修复编码方案可实现云存储系统中多个故障节点的快速修复,具有较低的修复局部性,相对于三副本复制方式和简单再生码,该局部性修复编码方案在存储开销和修复带宽开销方面的性能更优.     

正则低密度纠删码的分析

深入研究了基于正则度序列的低密度纠删码,通过对正则度序列的详细分析,提出了正则低密度纠删码可接受最大损失的一个结论.利用这一结论对(3,6)和(d,nd) 正则度分布给出了两阈值δ (3,6)与δ (d,nd)的关系(d≥3,n≥2).同时从理论上证明了基于(d,2d) 正则度序列的低密度纠删码都不是渐近最优码(d≥3),而且给出了这一结论的直观性解释和仿真结果.这些分析有助于低密度纠删码度序列的设计.     

一种新的3容错扩展RAID码

随着存储系统规模的扩大,如何提高存储系统可靠性成为一个必须解决的问题. 目前的双容错独立冗余磁盘阵列(RAID)码已经无法满足存储系统可靠性要求. 在双容错行对角奇偶校验(RDP)码的基础上,提出了一种编码冗余率和纠错能力达到编码最优的新的扩展RDP-RAID码,可以允许任意3磁盘同时故障,并给出了一种基于二元矩阵变换的简单和直观的译码算法. 与STAT码和EEOD码相比,扩展RDP-RAID码的编译码复杂度、更新复杂度、存储效率的综合性能可达到最优,存储可靠性高.     

网络环境下的数据存储技术

介绍了当前的网络存储技术，提出在相应的网络选型时应注意的问题，分析了网络存储技术领域的发展前景。     

基于march算法的网络多维数据优化存储方法

传统的多维数据优化存储方法存在存储性能较差,信噪比较低的问题。为此,提出一种基于march算法的网络多维数据优化存储方法。根据映射函数,对网络多维数据进行映射函数整数编码;通过映射获得多维数组的坐标值,完成维数据组织构建;依据二进制编码获取更高的网络多维数据存储效率;利用顺序存储与分块存储完成度量数据组织,通过块的压缩存储节约数据存储占用空间;利用march算法测试网络多维数据存储方法,完成存储方法的优化。实验结果表明,在不同压缩比时,该方法在数据存储过程中的最高信噪比可达96;在不同稀疏度时,该方法在数据存储过程中的信噪比依旧较高,具备较优的数据存储性能。     

基于V码的一种数据布局研究

提出一类新的双容错编码——V阵列码,冗余数据均匀分布在每个磁盘中,能容许任意两个磁盘同时故障。并证明基于V码阵列布局是最优双容错数据布局方法,给出了恢复任意两个磁盘同时故障的快速译码算法。与其他的编码方案相比,基于V码阵列布局同时具有较高的可靠性和吞吐量、较好的I/O性能、简单的编码和解码算法,以及编译码的复杂度最低和较好的平衡特性。