一种基于 DHT 的分布式云灾备模型研究

云存储服务,作为云计算的衍生产物,目的是为网络海量数据的存储提供有效的解决方案,节约存储成本和系统资源,提供一个完善的备份、容灾的数据中心,并能够保证数据安全性、容错性。现阶段云灾备模型局限于有限的网络位置,使用虚拟化技术,依托本地服务器实现,与传统云灾备模型不同,介绍了一种基于DHT的云灾备模型,可适用于广域网的、普适的数据级灾备解决方案。     

RS纠删码在云存储中的应用

云存储作为一种旨在为用户提供高效、廉价、安全、可扩展、可定制的存储服务的存储模式,已然成为存储服务的发展趋势.但是因为其云端存储节点的不可控性,云存储在如何保障数据安全性的问题上面临着挑战.通过将RS纠删码引入云存储中,采用分片聚合机制,为云存储的数据安全性保障提供了一种新的解决方案.     

云存储中副本冗余技术的研究

本文介绍了云存储的概念、发展现状以及特征。研究了云存储关键技术之一:副本冗余技术。分析并比较了云存储中常用的两种副本冗余技术:完全副本冗余和纠删码技术。通过分析两种技术的优缺点,得出结论:构建云存储时要充分考虑其应用需求,权衡利弊,选择合适的冗余技术。     

一种基于云存储的安全存储方法

随着大数据时代的来临,分布式存储系统和云存储系统得到广泛应用,越来越多的个人和企业将自己的数据存储在云端。本文提出一种基于云存储的安全存储方法,保证用户数据的可靠性和私密性,对用户数据进行加密和冗余编码,分布式存储于多个云端,当用户数据被窃取时,加密技术保证数据的私密性;当用户数据发生丢失时,能够从其他可用的云存储中恢复数据,保证数据的可靠性。     

基于Ceph的云存储容错机制研究与实现

Ceph是当前热门的开源云存储项目,具有良好的可扩展性,可轻松扩展至PB级,提供对象存储,块存储,文件存储三种存储服务,研究了Ceph对象存储中数据容错机制,对副本容错和纠删码容错机制进行对比分析,并提出一种基于冷热数据分层的云存储容错机制。实验表明该机制可以提高存储空间利用率和存储可用性。     

基于Kademlia的云存储系统数据冗余方案研究

云存储是分布式存储技术与虚拟化技术结合的产物,是分布式存储技术的最新发展。云存储意味着存储可以作为一种服务,通过互联网提供给用户。相对于当前各种C/S计算模式的GFS、HDFS、Sector等云存储文件系统,提出了一种基于对等计算模式的云存储文件系统通用模型,并采用Kademlia算法构建了原型系统MingCloud。主要进行了存储系统冗余方案的选择与设计,实验中采用Cauchy Codes作为编码算法,分别从K桶大小对系统可用性影响、文件分块数量对系统可用性的影响、相同的冗余度下系统可用性比较等方面对系统进行了评估。与完全副本冗余模式相比,纠删码冗余模式能获得较理想的系统可用性,更适合应用于提议的对等云存储系统。     

一种基于正常读带宽的数据修复方法

云存储系统主流采用副本的方式提供数据可靠性保证.当前,纠删码的方式正逐渐被采用取代传统的三副本方式,以节省存储开销.业界目前主要选择Reed-Solomoncodes作为纠删码的实现方式,但是,Reed-Solomoncodes较高的修复开销对于高效率和高可用性的存储系统而言往往是不可避免的.本文针对这一问题,提出一种基于正常读带宽的数据修复方法,减少数据修复过程中的开销.我们在一个开源的存储系统上实现了我们的算法,并进行测试比较,与之前的实现相比,要节约大约一半的修复开销.     

一种三容错数据布局

随着存储介质的增多,单容错、双容错的数据布局方案已经无法满足现有分布式存储系统对可靠性要求。该文在双容错行对角奇偶校验(Row Diagonal Parity, RDP)码的基础上,提出一种新的扩展行对角奇偶校验 (Extending Row Diagonal Parity, E-RDP)码,能够容许任何3存储节点出错,具有最大距离可分(Maximum Distance Separable, MDS)编码特性,冗余率与纠错能力达到3容错编码最优。并采用不同斜率几何直线图描述编译码过程,给出了一种快速译码算法,易于软硬件实现。与其它纠删码数据布局方案进行比较,理论分析结果表明,E-RDP码的空间利用率、编译码效率、小写性能以及平衡性的综合性能达到最优,具有实用价值。     

适用于再生编码分布式存储的轻量型隐私保护审计方案

为了降低面向再生编码分布式存储系统的外包数据审计机制的安全实现开销,提出了一种正交化代数编码方法,以此构造一类基于线性同态认证的轻量型隐私保护审计方案.利用文件编码数据与私有密钥向量的正交化构造外包存储向量的同态认证标签,并提出利用密钥特定分量的正交基向量组的随机化掩码来完成审计响应消息的隐私保护,实现代数编码、隐私保...     

基于再生码的云存储系统——Ustor

摘 要：Ustor是一个构建在多个商业云存储服务之上的云存储系统,它旨在保证数据可靠性的同时减少单点失效时占用的修复带宽。不同于将所有数据存储在单个云中,Ustor将数据编码后分布在多个云存储系统中保证可靠性。Ustor的编码模块部署了包括Reed-Solomon码和功能性修复再生码（FRC）在内的多种纠删码,是第一个将功能性修复再生码应用于多个异构的、真实的云存储系统中的应用。与传统的冗余编码比较,FRC显著地减少了单个云存储发生数据丢失时需要从网络上传输的数据量。实验表明：与不编码比较,冗余编码给系统增加了5%~10%的响应时间开销,但可保障节点失效;FRC码编、解码和修复速度与Reed-Solomon码基本相当,256 MB大小文件编码时间差距在0.5 s以内;FRC码修复时与传统的Reed-Solomon码相比减少了25%以上需要下载的数据量。     

基于X-RDP阵列码的一种数据分布策略

对双容错RDP(row diagonal parity)码进行了扩展,提出了一种基于X-RDP阵列码3容错的数据分布策略。利用X-RDP码的代数定义,从理论上证明了X-RDP码具有MDS编码特性。并采用不同斜率几何直线图描述编译码过程,易于软硬件实现。与其他数据分布策略进行比较,理论分析结果表明,X-RDP码的空间利用率、编译码效率、小写性能以及平衡性的综合性能达到最优,具有实用价值。     

一种基于纠删码的分布式存储容灾的设计与实现

在广域的文件存储系统中,每一个节点的可用性是至关重要的,这就需要在该系统中引入一定的冗余来提高每个存储节点的可用性以对存储的数据起到保护的作用。传统的冗余方式是完全复制,但随着副本个数的增加,该机制在存储空间上的浪费暴露无遗,而且在一定程度上这对整个系统性能的提高几乎没有帮助。本丈提出一种基于纠删码的分布式网络容灾模型,在空间冗余度和性能上均优于传统的存储模型。     

云存储体系结构及其主要应用

云存储通过网络对分布式存储资源进行整合利用。网络运营商分别使用分布式文件系统、分布式对象存储和分布式表存储这三种存储技术来满足不同的存储需求。文章主要根据三种云存储技术的应用,列举目前市场上多种云存储服务,并且分析这些服务的功能和特性,最后分析云存储的发展趋势。     

如何用云存储构建IDC中的存储云服务

电信运营商的IDC是信息的集散地。采用云计算的理念和技术来建设、管理IDC可以有效地提高资源的利用率,提升IDC服务的内容和服务质量。本文通过分析云存储的种类和特点．阐述了如何科学地选择合适的云存储来构建IDC的存储云服务．以满足IDC在开展和推广不同层次的业务时对存储的服务要求。     

一种异构分布式存储再生码变换原理

再生码是一类分布式存储编码,由于在节点存储和修复带宽两方面均有效而被广泛研究。基于乘积矩阵(PM)理论的最小存储再生(PM-MSR)码是一类同构分布式存储再生码,具有最小的节点存储。提出一种再生码变换原理,能够根据PM-MSR码产生新的再生码,新的再生码用于异构分布式存储系统。严格证明了新再生码结构的数据重构和数据修复性质,并提供了编码实例。新的再生码与PM-MSR码具有相同的存储消耗和带宽消耗,但新的再生码具有更小的平均节点故障率,这对实际应用具有吸引力。     

激光点云数据库分布式存储模型构建

网络技术与三维激光扫描技术飞速发展,点云数据量激增,大幅降低了存储效率与稳定度,因此,面向激光点云数据库,采用分布式存储理念构建一种存储模型.通过边角定位与多角度扫描,采集三维激光点云数据,组建点云数据库,分割目标三维扫描区域为固定大小独立块,利用立体六边形长、宽、高的向上取整函数,描述三类独立块个数,按序嵌入独立块坐...     

基于分布式环境的存储负载均衡算法研究

随着网络的高速发展以及海量数据的扩充,云存储技术得到广泛的应用,分布式存储中动态负载均衡策略也逐渐为人们所重视。本文在已有的负载均衡策略基础上,提出了一种加权轮询负载算法,通过阀值的设置划分节点,并查询负载表轮询分配存储任务,保证分布式系统能够合理的提高资源利用率,动态调整存储节点的工作负载。     

一种面向视频监控的云存储系统设计与实现

提出一种面向视频监控大容量存储的分布式云存储系统,系统包括元数据节点集群、存储节点集群、客户端;元数据负责管理所有的存储服务器,存储所有的文件基本信息,负责客户端连接请求等,是存储系统的核心;存储节点集群是实际数据存储的节点,负责存储数据;客户端负责连接云存储系统,与客户端上的应用交付,进行数据的存储和读取。整套系统可以实现存储容量的动态增加、多客户端并发读写、存储节点的动态扩容等,非常符合视频监控大规模存储的需求。     

基于HDFS的云存储在高校信息资源整合中的应用

研究如何将基于HDFS的云存储应用于整合高校信息资源,旨在通过合适的构建基于HDFS的云存储服务系统,解决高校的海量数据存储问题。通过对概念的解析,结合高校信息资源存储的特点,构建了一个低成本、高效率、高安全性的分布式信息资源整合解决方案,并给出了系统结构图。     

云存储在数字化校园中的应用研究

基于校园私有云的云存储服务,可以充分发挥存储系统的特性,除提供传统的存储服务功能以外,还能够提供备份服务、同步服务、共享服务等更丰富的功能,充分的发挥校园信息化平台的价值。