基于纠删码的云文件系统数据放置方法

当前,在分布式云文件系统中,纠删码冗余技术以较高的容错性能和较大的空间利用率逐步取代副本冗余技术来保证数据的可靠性。多数基于纠删码的云文件系统中,数据放置方法采用随机放置策略并假设集群节点同构,然而在实际的云存储系统中节点的同构性并不理想,且节点的存储性能会随着系统的运行动态地发生变化,所以随机地选取节点进行数据放置并不能有效地保证系统的均衡性。为此,文中分析确定了影响节点负载性能的关键因素,并采用层次分析法建模求出不同存储数据类型的负载影响因子。同时基于节点负载性能,计算提出了一种全局随机、局部顺序的数据放置算法,该算法在选择节点的过程中综合考虑节点内的实时负载均衡和数据可靠性两个因素。实验结果显示,相比于随机放置方法,提出的该数据放置方法不仅能够实现存储系统节点内的实时负载均衡,还能加快数据写入和恢复的速度。     

基于V码的一种数据布局研究

提出一类新的双容错编码——V阵列码,冗余数据均匀分布在每个磁盘中,能容许任意两个磁盘同时故障。并证明基于V码阵列布局是最优双容错数据布局方法,给出了恢复任意两个磁盘同时故障的快速译码算法。与其他的编码方案相比,基于V码阵列布局同时具有较高的可靠性和吞吐量、较好的I/O性能、简单的编码和解码算法,以及编译码的复杂度最低和较好的平衡特性。     

纠错纠删RS码的快速译码及硬件实现

本文首先简要叙述了里德-索罗门(RS)码译码的基本原理，然后阐述了一种有效的不用求逆的(Inverse-Free)BM算法的RS译码，并对其译码算法进行改进，且把该算法应用在RS码的纠错纠删译码上，最后给出了这种算法RS码译码的硬件电路实现结构。     

基于云存储的数据安全性分析及措施

云存储随着云计算的发展应运而生,然而针对上传到云存储里的数据,数据的安全性又是当今云存储的瓶颈,本文针对数据安全采用了传输加密和文件碎片存储加密两种措施,实现了基于云存储中的数据的机密性、完整性、可用性等安全特性.     

档案数据云存储解决方案

随着信息大爆炸的年代的到来和科技的进步,档案材料从纸质到数字化的飞跃,每天都有档案档案数据的飞速增长,信息档案数据量每秒更新亿万此。新增档案数据不仅有结构化档案数据,还有大量的非结构化档案数据。其中结构化档案数据即行档案数据,是可以用二维表结构来逻辑表达实现的档案数据,存储在档案数据库里,通常需要块设备存储空间;非结构化档案数据是不方便用二维逻辑表来实现的档案数据,包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等,通常存储在文件系统里,海量新增档案数据给固有的存储模式带来极大地压力,而云存储就是解决这个问题的最好方式,以下具体论述一种档案数据云存储的解决方案。     

防止数据泄露的云存储数据分布优化模型

基于数据节点泄露和用户关联数据泄露,研究了云存储环境下数据泄露的发生及其传播,建立了数据泄露及传播模型。提出了由数据泄露造成的用户不满意度和由运营成本造成的云存储服务提供商不满意度的度量方法。以此为基础,建立了一种以降低数据泄露率和运营成本的云存储优化模型。在仿真平台上的实验表明,优化后的数据存储分布能满足所有用户对泄漏率的要求,系统的泄漏率和运营成本均有明显的下降,且用户和云存储服务提供商的不满意度几乎降为零。     

基于喷泉码的分布式鲁棒存储

一种基于喷泉码的分布式鲁棒数据存储技术,可以保证数据的可靠存储和高效获取.将喷泉码及其改进型的LT码和Raptor码的原理运用于分布式网络数据存储中,指出要恢复M个数据包,只须接收略大于M个数据包即可,一部分数据包丢失的影响可以忽略,从而实现了数据存储的鲁棒性和高效性.讨论了影响存储鲁棒性的关键因素.     

云存储系统中基于MSR码的局部性修复编码

为了提高分布式云存储系统的存储可靠性和故障节点修复效率,提出一种基于最小存储再生码的局部性修复编码方案. 具体地,构造适用于云存储的系统最小存储再生码,以此码为局部码构造局部性修复编码,确保最大距离可分性质和简单修复特性. 性能分析和仿真结果表明,该局部性修复编码方案可实现云存储系统中多个故障节点的快速修复,具有较低的修复局部性,相对于三副本复制方式和简单再生码,该局部性修复编码方案在存储开销和修复带宽开销方面的性能更优.     

新的高效LDPC码的译码方法

对于LDPC码的译码算法——和积算法,提出了一种新的基于差分的译码算法,其主要思想是：在LDPC码的二部图上所传递的消息是概率的差分值,而对于校验节点和消息节点的更新都是在特定的加法域中进行. 针对校验节点的更新,还可以选择若干个绝对值最小的差分值进行运算,以进一步降低复杂度. 与传统的基于对数似然比的译码方法相比,新算法的计算复杂度有很大降低,而译码性能和收敛速度没有明显损失.     

云存储中基于SBT的数据完整性验证机制

云存储中数据完整性验证的主要思想是利用树形或类树形数据结构来存储用户外包的数据,并将该数据结构与适当的密码学技术结合使其具备可认证性,即认证字典。该文将基于结点大小平衡树(size balanced tree,SBT)结构来构建认证字典,并在该认证字典基础上设计出数据完整性验证方案。基于SBT结构的数据完整性验证方案能更好地支持动态数据集的完整性验证,避免了数据更新引起的周期性重构。实验结果表明,相对于基于AVL树、Treap的认证结构,基于SBT结构的认证字典具备更好的平衡性和更高的数据操作效率。     

一种海量大数据云存储系统框架设计

随着数据爆炸性增长,传统的存储方式已经不再满足海量数据的存储需求,云存储技术的飞速发展,使得云存储成为了一种新型的数据存储解决方案。文章在分析Hadoop分布式文件系统HDFS的基础上,提出了一种新的基于云计算环境的海量大数据存储设计方法,主要给出了文件存储方案设计以及副本方案设计等,为云计算海量数据存储与管理提供了一种可行的关键技术方案。     

基于Swiftstack的云存储关键技术研究

云计算的发展虽然使用户可以便捷的访问数据,但系统的高并发性访问和数据处理等问题影响着云存储的使用。文章针对开源云计算、云存储发展中系统架构设计和负载均衡问题提出了改进方案。本文首先对系统架构进行设计,提出了适合大、中规模部署情况下负载均衡的设置策略。采用一致性哈希、误删除恢复及节点间互备等技术保证云数据的完整性。最后通过实验对云存储进行大、小文件非结构化数据的写入性能测试,实验结果表明Swiftstack云存储能够满足用户的对云存储的使用要求。     

基于云存储技术的 RFID 标签数据校验与恢复

为对RFID标签数据进行更高效可靠的存储与管理,设计了一个基于云存储的RFID标签数据管理系统,并提出了一种基于Hash函数的数据完整性校验算法。该算法根据RFID标签数据的字段生成唯一的校验码来确认RFID标签中所存储的数据是否被损坏,在RFID标签数据损坏的情况下,便可即时通过网络从云存储系统中读取对应的RFID标签数据来对其数据进行恢复。     

基于 HDFS 的安全云存储模型

针对基于HDFS的云存储平台对元数据绝对全权管理控制问题,提出元数据自主组织模型ASOM,通过分析DataNode与NameNode之间的交互过程,ASOM设计并实现了元数据子服务,通过提取HDFS中DataNode元数据信息直接跟元数据子服务器交互,并且由元数据子服务器处理文件与块、块与DataNode 之间的映射关系。通过对HDFS源代码进行分析编译和模块替换,搭建原型系统进行测试,测试结果表明：对NameNode中的元数据进行必要的安全隔离保证了用户对元数据的控制与管理,可有效避免平台管理员对元数据可能的恶意操作和安全隐患。     

基于插件模式的私有云存储系统的存储池设计

为满足私有云存储系统中采用不同底层存储介质的需求,提出了一种基于插件模式的私有云存储系统的存储池设计.在数据存储层与数据管理层之间建立统一存储层,包含各类插件并基于适配插件提供的动态性能参数,由统一存储层管理器制定存储策略和IO策略,以平衡存储节点流量,提高存储池的整体性能.实验结果表明,该设计可以提高企业存储资源利用率,提升异构存储横向扩展能力,有效降低私有云存储服务的整体运营成本.     

改进蚁群算法的云存储任务调度算法研究

由于云存储环境与云计算环境中不同,若直接将云计算环境中的任务调度算法移植到云存储环境中,必然会导致任务调度的效率下降.为解决此问题,提出了一种适用于云存储环境中的改进蚁群算法.改进蚁群算法能使云计算环境的任务调度算法更符合云存储的环境;同时,对于改进PSO算法在引入存在矩阵时,由于数据资源不存在而造成算法前期优化浪费引起效率低下的问题进行了有效解决.分析测试结果表明,提出的改进蚁群算法在云存储环境的任务调度算法在保障有效解的前提下能够拥有更快的收敛速度.     

基于可信模块的云存储用户密钥管理机制研究

云存储为用户提供了方便的在线数据存储服务。但是,云存储服务商并不能完全保障用户隐私数据的安全。目前针对云存储用户隐私数据的保护又缺乏对密钥的保护,本文提出一种基于可信模块的云存储用户密钥管理机制,通过引入可信硬件模块,基于无证书密码学基本原理生成和存储用户密钥信息,建立安全高效的密钥备份和恢复机制,同时,采用数据分割理论提高基于可信硬件模块密钥管理的数据保护效率。文章描述了基于可信模块的密钥管理机制的实现方法,并进行了安全性和效率测试分析,实验表明,该机制具有很好的安全性和数据保护效率。     

敏感数据自主可控的云存储平台元数据管理

针对传统云存储平台的敏感数据的安全问题,将元数据管理分成客户端元数据管理与云端元数据管理两部分,元数据子服务器自主提取、维护、读写和存储敏感信息的元数据,在映射关系方面采用基于文件与数据块之间冗余随机映射算法提高文件存储的安全性,同时采用按需询问同步策略保障元数据子服务器与云端元数据服务器之间的数据块到数据存储中心映射关系的一致性,确保整个存储系统的稳定性与可靠性.在多用户并发访问下,对不同规模数据集的读、写性能的实验测试表明,该存储系统在自主管理敏感信息元数据的前提下,与HDFS、GFS相比仍具有较好读写性能和稳定的数据持久化能力.