云存储系统中基于MSR码的局部性修复编码

为了提高分布式云存储系统的存储可靠性和故障节点修复效率,提出一种基于最小存储再生码的局部性修复编码方案. 具体地,构造适用于云存储的系统最小存储再生码,以此码为局部码构造局部性修复编码,确保最大距离可分性质和简单修复特性. 性能分析和仿真结果表明,该局部性修复编码方案可实现云存储系统中多个故障节点的快速修复,具有较低的修复局部性,相对于三副本复制方式和简单再生码,该局部性修复编码方案在存储开销和修复带宽开销方面的性能更优.     

分布式存储系统的数据冗余策略

针对分布式存储系统的数据可用性问题展开了深入的研究,提出了一种支持纠删码的冗余倍数估计算法,根据数据统计特征获取单个数据块最优冗余方案;并基于该算法模型设计了一种适用于分布式存储系统的数据冗余策略,旨在消耗最小的存储开销获得最优的数据可用性.在实现该数据冗余策略的过程中,为了优化理论算法模型的工程可行性,提出了基于采样计算中间经验参数的方法,有效地利用目标存储数据的统计特征降低算法的计算复杂度.仿真实验验证了这种数据冗余策略的可行性和有效性.     

一种新的3容错扩展RAID码

随着存储系统规模的扩大,如何提高存储系统可靠性成为一个必须解决的问题. 目前的双容错独立冗余磁盘阵列(RAID)码已经无法满足存储系统可靠性要求. 在双容错行对角奇偶校验(RDP)码的基础上,提出了一种编码冗余率和纠错能力达到编码最优的新的扩展RDP-RAID码,可以允许任意3磁盘同时故障,并给出了一种基于二元矩阵变换的简单和直观的译码算法. 与STAT码和EEOD码相比,扩展RDP-RAID码的编译码复杂度、更新复杂度、存储效率的综合性能可达到最优,存储可靠性高.     

随机阵列码:一种高容灾易扩展的RAID存储容灾方法

针对大数据存储容灾系统中数据存储的可靠性和扩展性等问题,提出一种具有较高容灾能力且高效易扩展的存储容灾方法,称之为随机阵列码。通过研究 上随机矩阵列满秩的性质,并将其应用在RAID阵列存储容灾方案中。首先,依据RAID存储系统环境配置和容灾需求设置条带参数,构建相应规模且满足特定性质的随机矩阵作为编码矩阵,并利用它将数据分块编码存储到不同磁盘上。当发生磁盘损毁、扇区失效等原因造成数据丢失时,可依据相应的校验矩阵及剩余的编码分块进行失效数据的高概率译码恢复。从而,实现了数据高效、可靠地容灾存储。实验及理论表明,① 上的随机矩阵,在随机概率p=0.5,矩阵行列差 时,即具有高概率列满秩的性质。②随机阵列码在编码参数上,不再受到素数或有限域规模的限制,具有灵活的设置方式,同时其容灾能力也可根据容灾需求灵活扩展。③随机阵列码基于XOR运算,与相关文献提出的RS码,CRS码方法相比,具有较高的编译码速率,特别是在较大规模存储容灾系统中表现良好。④在存储空间利用率上,与相关文献提出的Tornado码和LT码相比,随机阵列码随着规模的增长,趋于近似MDS码,具有较高的存储空间利用率。随机阵列码为大数据存储容灾技术的概率性存储容灾方案提供了一种新的解决思路,具有高效,可靠,易扩展等特点,可实现一般化存储容灾方案的订制,此外,也可与其它的存储容灾技术结合使用,共同构建特定需求下的存储容灾系统。     

基于Hadamard向量的新型(k+2,k)MSR码

在分布式存储系统中,再生码是一种能够最优修复节点丢失数据的编码策略.在存储空间有限的前提下,设计出一种高码率的最小存储再生码可以进一步提高存储空间的利用率.利用Hadamard向量设计出一种新型高码率最小存储再生码,实现最优精确修复所有系统节点数据.这种新的编码策略将Hadamard向量进行变型,同时改变了Hadamard向量放置在编码矩阵中的位置.与原有的(k+2,k)Hadamard MSR码策略不同,将编码矩阵中的Hadamard向量从主对角线位置移至非主对角线上时,能够减少修复过程中有限域上的运算次数.从而使这种新型再生码策略在能够精确修复系统节点数据的同时,进一步降低数据修复过程中的计算复杂度.     

哈夫曼树的异构部分重复码构造

针对分布式存储系统中数据被访问频率的不同,提出一种基于哈夫曼树的可变重复度的异构部分重复(HVFR)码,将不同访问频率的数据块作为哈夫曼树带有确定权值的叶子节点,构造哈夫曼树并确定数据块的重复度,利用成对平衡设计构造异构部分的重复码,能够提高热数据的并行访问速度和系统存储效率. 性能分析和实验结果表明,与里所码以及简单再生码相比,HVFR码可以显著减少故障节点的修复时间及修复局部性,提高热数据的并行访问速度,达到负载均衡,且计算复杂度低.     

基于对等网络的面向小文件的云存储系统

针对目前主从结构的云存储系统在存储小文件延迟过大的问题,提出基于对等网络(P2P)的分布式云存储系统.通过改进Chord路由算法提高了资源的查询效率,在系统中引入中心路由节点,中心路由节点上存储系统中所有节点的路由和状态信息,使资源查询时间复杂度缩短到O(l),客户端预取中心路由节点数据,从而减少数据操作时的时间开销;系统通过备份的策略来保证数据的可靠性,实现中数据备份数为3;系统实现了文件存储、读取、删除及列目录等基本操作功能.实验结果表明,与Hadoop HDFS文件系统相比,该系统的小文件操作时间减少了一个数量级.     

具有马尔科夫特性的云存储改进优化算法

为了提高传统移动端云存储系统的存储效率,文中提出了一种基于马尔科夫链的安全云存储优化算法,将云系统中任意两节点的存储过程近似为马尔科夫过程,通过分阶段采用稳态马尔科夫策略对云系统中数据的安全存储进行预测,在计算各节点的存储代价的基础上采用再加密技术及优化技术,构建移动端云存储系统的安全优化模型,实现云存储的安全优化,保证移动端云存储访问。在存储过程将高级加密标准(AES)和公钥加密(RSA)加密算法结合并再次加密用于云存储的安全设计,以实现移动端云存储策略的安全性。仿真实验表明:存储优化算法能根据数据大小不同选择存储代价最小的节点,保证云系统数据的安全存储,提高了移动端云系统的存储效率,验证了基于马尔科夫链的云存储优化算法具有较高的可靠性。     

一种云存储系统分层性能监测和采集方法

为了解决现有云存储监测方法无法获得完整的系统特性,以确定最佳应用场景并定位性能瓶颈,根据云存储系统的分层架构,调查研究了云存储系统层上的性能监测和采集方法,并提出了一种针对云存储系统层进行分层性能监测和采集的框架。该框架可以获得云存储系统各个系统层次的性能数据,并做进一步的综合对比分析,确定系统的应用场景并定位系统瓶颈,从而对其进行进一步优化。最后在ceph云存储系统上进行了实验,验证了新方法的可用性。     

面向分布式存储的安全云存储系统研究

云环境下的分布式存储主要研究数据在数据中心上的组织和管理,数据中心通常由百万级以上节点组成,云存储系统所存储的数据规模往往达到PB级甚至EB级,一些数据安全的隐患也由此产生。本文首先介绍了云存储系统的安全需求;然后阐述了安全云存储系统的研究现状;并采用一些关键技术设计了一种安全云存储系统。其中包括密钥分发与管理、用户与存储节点身份认证机制、安全分布式文件系统的基本操作等。最后指出了下一步研究的方向。     

一种基于密文策略属性加密技术的云安全存储方案

针对云存储数据共享特性安全问题,提出了一种基于可信第三方密文策略属性加密技术的云存储共享方案.利用可信第三方有效地解决了用户端负载量过大、密钥分发与管理负担等问题.采用密文控制访问技术,保证了数据在不完全可信云环境下的安全性.分析结果表明能保证数据安全性,而且有效地减少了用户端的工作量,符合云存储的发展趋势.     

云存储系统安全技术研究

目前,云计算应用日益普及,其中云存储是使用比较广泛的云应用之一,它的便利性毋庸置疑,已经成为数据存储的一种趋势。但是,其安全问题也日益突出,本文在对云存储系统结构进行介绍的同时,重点分析了与云存储系统安全性相关的重要技术,主要包括数据加密、身份认证和访问控制等。经过深入分析,提出使用混合加密算法、挑战-应答身份验证、Kerberos身份验证、基于角色的访问控制等安全技术可以有效提高云存储系统的安全性。     

基于HDFS的高校教育资源云存储平台研究与实现

详细阐述了云存储技术概念和优势,重点介绍了HDFS体系结构及其工作原理,将HDFS与云存储体系相结合,构建了基于HDFS的高校教育资源云存储平台。实验结果表明,该云存储平台能够实现教育资源的海量存储和数据共享,进一步提高高校教育资源的利用率。     

面向教育资源云存储系统的副本管理

根据教育领域中资源访问的聚集性等特征,以教育资源云存储系统架构为基础,设计了副本热度表征副本访问聚集性程度,实现了基于时空特征的副本相关数值计算;同时运用服务集概念和Hadoop分布式文件系统(HDFS)的存储机制提出了三方面的副本管理策略;最后在已开发的教育云存储系统ERS-cloud上进行了一系列实验,结果表明该策略能有效提升教育云存储系统应用效率.     

云存储在校园信息化中的应用与优化

针对目前校园海量数据存储面临的服务器资源利用率低、管理维护成本高等问题,在云存储技术的基础上提出了校园云存储服务的设计,并进行了实验．为减少读写速率的损失,系统通过调用HDFS（Hadoop distributed file system）的API接口方式实现数据存储及对集群的状态监控和管理．实验表明：传输文件的大小和集群中数据节点的个数对云存储服务的数据读写速率的影响较大;HDFS并行传输大量小文件的速率相对较低．     

改进蚁群算法的云存储任务调度算法研究

由于云存储环境与云计算环境中不同,若直接将云计算环境中的任务调度算法移植到云存储环境中,必然会导致任务调度的效率下降.为解决此问题,提出了一种适用于云存储环境中的改进蚁群算法.改进蚁群算法能使云计算环境的任务调度算法更符合云存储的环境;同时,对于改进PSO算法在引入存在矩阵时,由于数据资源不存在而造成算法前期优化浪费引起效率低下的问题进行了有效解决.分析测试结果表明,提出的改进蚁群算法在云存储环境的任务调度算法在保障有效解的前提下能够拥有更快的收敛速度.     

CSFS：云存储服务支撑的文件系统设计与实现

云存储服务性能开发是云端数据技术的重要课题。提出了一种基于云存储服务的文件系统数据存储架构,描述了一个基于该架构的云存储文件系统( CSFS)设计及实现。通过利用免费邮件服务降低了开发和部署成本,通过数据与元数据分离管理、分布式存储、云端数据预取等技术提高了系统的高效性和可扩展性。测试结果表明：相关优化技术有效提高了系统的读写性能。     

基于Hadoop的校园云存储系统的研究

针对海量数据的存储问题,传统方法一般是通过购置更多数量的服务器来提升计算和存储能力,存在硬件成本高,存储效率低等缺点。通过对Hadoop框架和MapReduce编程模型等云计算核心技术的分析和研究,提出了一种基于Hadoop框架的海量数据存储模型,并在此模型的基础上,设计并实现了基于Hadoop的校园云存储系统。经过实验验证,该系统有效地解决了在校园办公、教学和科研过程中遇到的海量数据存储管理问题,具有开发成本低、处理速度较快、运行稳定、易于扩展等特点。     

信任实体与ABE密码体制相结合的云存储加密模型

为了实现云存储加密数据快速检索及确保数据存储和传送的安全,提出了一种云计算环境下基于信任实体与ABE密钥体制相结合的云存储加密模型.在分析现有云存储加密技术面临问题的基础上,将ABE密钥体制中非对称公私密钥对模型,结合介于数据提供者、云服务器和云用户三者都信任的第三方机构来实现云存储加密设计,给出了云中数据在存储和传送中的访问控制流程.该模型对云存储密钥由谁控制、在哪儿管理进行了重新界定,保证了云存储环境下数据的安全性和可靠性,并且具有较好的灵活性.