一种云存储系统中重复数据删除机制

基于现有重复数据删除策略,提出了一种基于负载均衡的C/S双端延迟重复数据删除方法.利用基于类型的数据分块方法将数据块分成若干块;利用MD5提取指纹值,与客户端本地的索引表对比指纹,若相同则用指针取代该数据块,具有数据块指纹和数据类型的索引表一同发送至控制器;控制器在收到客户端的请求后,首先根据自己实时监控得到的各服务器的当前状态来选择最佳目标存储节点;服务器端根据数据类型查询不同的索引表以缩小查找范围.对提出的方法的重复数据删除率进行了实验验证,结果表明该机制具有较好的性能表现.     

基于信任值的云存储数据确定性删除方案

数据确定性删除是云存储安全的研究热点。目前云存储中分散式的数据确定性删除方案在密钥分量存储时没有考虑DHT((Distributed Hash Table)节点可信性,使得用户在授权时间内也存在无法访问自己敏感数据的问题。为此提出了一种基于信任值的云存储数据确定性删除方案,该方案的核心是对DHT节点进行可信度评价,密钥分量的存储选择可信度较高的节点。与已有的确定性删除方案相比,该方案仍然是利用DHT网络的动态特性实现密钥的定期删除,使得用户敏感数据能够在特定的一段时间之后自动销毁。不同的是,该方案在将密钥分量分发到DHT网络中时倾向于选择可信度高的节点进行交互,使得在密钥的过期时间戳之前从DHT网络中得到足够多的密钥分量来恢复出密钥的可能性大大提高,降低了用户在授权时间内无法访问自己敏感数据的概率。实验结果表明,该方案不仅可以有效地抑制恶意节点,还可以提高密钥分量提取成功率,从而增加用户在授权时间内访问自己敏感数据的成功率。     

一种基于重复数据删除的镜像文件存储方法研究

在云计算环境中,基础设施即服务的日益发展导致虚拟机和虚拟机镜像的急剧增加,例如,Amazon Elastic Compute Cloud(EC2)有6521个公共虚拟机镜像文件,这给云环境的管理带来了极大的挑战,特别是大量镜像文件带来的重复数据的空间存储问题。为解决这一问题,提出一种基于固定分块的镜像文件重复数据删除的存储方案。当存储一个镜像文件时,先计算该镜像文件的指纹,并与指纹库的指纹比较,若存在则用指针替代,否则采用固定分块对镜像文件分割存储。为此,可以设计镜像文件元数据格式和镜像文件MD5索引表来解决上述问题。实验结果表明,内容相同的镜像文件只是元数据的开销并实现秒传,而相同版本、相同系统、不同软件的镜像组的重删率约达到58%。因此,本方案是非常有效的。     

基于云存储的井下人员定位数据处理

鉴于国内目前各大煤矿企业的实际情况,对井下人员定位系统进行研究,为了改进定位产生的海量数据所存在的不安全、不完整等弊端,采用云存储代替原有的存储模式。利用云存储量身定制这一特性,在企业内部搭建私有云,以Hadoop为技术架构,运用HBase的RowKey确定检索的主键,HDFS的NameNode与DataNode完成数据间的交互,快速、高效的查找数据。将云存储应用于企业中,帮助企业顺应时代的脚步,有利于企业的发展,具有一定的价值。     

重复数据删除初体验

数据存储优化一直是众多系统管理员关心的问题，如何在有限的空间存储更多的数据，并保证数据的有效性和完整性，本文就这些问题对Windows Server2012下的重复数据删除功能进行一番体验。     

基于特征迭代的云存储数据即时确定性删除方法

传统数据删除方法易受到云存储环境中大量近似特征的影响,产生冗余数据,导致加解密时间过长、密钥可用率较低,为此提出一种基于特征迭代的云存储数据即时确定性删除方法。首先,提取云存储数据中的冗余数据特征,对云存储下冗余数据进行分类,迭代直至收敛,实现冗余数据高性能删除;其次,采用加密机制实现云存储数据在网络用户间的安全共享,将原始数据密文切分为剩余密文和采样密文;最后,把不完整的剩余数据密文上传至云端,同时引入可信任第三方对取样密文进行保存,通过销毁取样密文实现数据即时确定性删除。实验结果表明,所提方法的数据密文拆分所用时间较短,且密钥可用率较高,可达90%,说明其方法能够有效满足云存储系统中对冗余数据或过期数据的确定性删除要求。     

基于重复数据删除的虚拟桌面存储优化技术

虚拟桌面基础架构依靠数据中心海量的云基础设施,为用户按需提供虚拟桌面部署所需的软硬件资源,但同时面临存储资源利用率低和虚拟机启动慢的困境.针对虚拟桌面存储中具有大量数据冗余的特性,采用重复数据删除技术缩减虚拟桌面基础架构的存储空间需求;并利用服务器本地磁盘缓存以及共享存储池内的固态硬盘来优化虚拟机的启动性能.通过原型实现,发现相比于基于内容分块的策略,静态分块策略更适合虚拟桌面存储进行重复数据删除,最优的分块大小为4KB,并能够缩减85%的存储空间容量;通过服务器本地磁盘缓存和基于闪存的固态硬盘进行I/O优化,虚拟机的启动速度能够获得35%的提升.     

基于存储环境感知的重复数据删除算法优化

在备份和归档等存储应用中产生的重复数据在存储空间和能耗上造成的浪费问题日益突出,如何删除重复数据已成为当前存储领域中的研究热点。CDC(Content Defined Chunking)是一种适用于多种应用环境的重复数据删除算法,但缺乏针对具体应用环境的优化。通过对存储环境进行感知和分析,为CIX;算法提出了两个参数选择约束条件:(1)根据存储设备中的数据块存储方式来选择平均分块大小等参数;(2)根据数据的分块边界分布特性来选择分块边界特征值参数。实验表明,与无约束条件的CDC算法相比,这两个约束条件在4个实验数据集上平均可提高16. 3%的数据缩减比。     

一种基于重复数据删除技术的云中云存储系统

随着云存储技术的快速发展和应用,越来越多的企业和用户都开始将数据从本地转移到云存储服务提供商进行存储.但是,在享受云存储高质量服务的同时,将数据仅仅存储于单个云存储服务商中会带来一定的风险,例如云存储服务提供商的垄断、数据可用性和安全性等问题.为了解决这个问题,提出了一种基于重复数据删除技术的云中云存储系统架构,首先消除云存储系统中的冗余数据量,然后基于重复数据删除集中的数据块引用率将数据块以复制和纠删码2种数据布局方式存储在多个云存储服务提供商中.基于复制的数据布局方式易于实现部署,但是存储开销大;基于纠删码的数据布局方式存储开销小,但是需要编码和解码,计算开销大.为了充分挖掘复制和纠删码数据布局的优点并结合重复数据删除技术中数据引用的特点,新方法用复制方式存储高引用数据块,用纠删码方式存储其他数据块,从而使系统整体性能和成本达到较优.通过原型系统的实现和测试验证了相比现有云中云存储策略,新方法在性能和成本上都有大幅度提高.     

重复数据删除技术的存储空间利用率测评研究

在大数据时代,为了提高存储空间利用率,重复数据删除技术被广泛应用.然而,重复数据删除技术的重删效果如何评价,它对存储系统的存储空间利用率影响程度如何等问题,目前还没有有效的测评指标和测评方法来解决.为此,对3种典型的重复数据删除技术进行了分析,研究了存储空间利用率的测评指标和测评方法,然后通过理论分析和真实数据实验对其可行性和有效性进行了验证.分析和实验结果表明:设计的测评指标和测评方法实际可行,能定量的评估存储空间利用率,有利于数据中心存储效率的提高,从而实现绿色存储和节能减排,并能减少企业的资源浪费和提高投资回报率.     

基于云存储的井下人员定位数据处理

鉴于国内目前各大煤矿企业的实际情况,对井下人员定位系统进行研究,为了改进定位产生的海量数据所存在的不安全、不完整等弊端,采用云存储代替原有的存储模式。利用云存储量身定制这一特性,在企业内部搭建私有云,以Ha-doop为技术架构,运用HBase的RowKey确定检索的主键,HDFS的NameNode与DataNode完成数据间的交互,快速、高效的查找数据。将云存储应用于企业中,帮助企业顺应时代的脚步,有利于企业的发展,具有一定的价值。     

基于云计算的数据安全存储策略研究

数据安全问题是困扰云计算发展的主要问题之一,针对目前云计算应用中用户数据安全存储需求提高,需要极大提高数据读写效率的问题,提出采用对称加密算法与非对称加密算法相结合的加密、解密方案,利用对称密钥适合对大规模数据加密,而非对称密钥本身安全性较高的特点,充分发挥了两者在云计算环境下的优点,实现了一种存储安全性好而且读写效率高的数据存储策略;力图在数据安全性达到非对称密钥加密体制的前提下,使算法效率接近对称密钥加密体制的水平。     

基于HBase的大数据架构下负载平衡技术

随着气象数据规模和种类的不断增长,气象数据已经逐渐进入海量服务阶段,而基于大数据背景提供更敏捷的数据服务已经成为业务发展的迫切需求.本文针对气象中的半/非结构化数据,提出基于HBase系统的负载平衡算法和策略.在实际测试对比中发现,系统可以满足200多万个格点,100个并发的场景,查询速度在2 s以内,与未曾增加负载平...     

基于云计算的安全数据存储研究与设计

与传统软件架构相比,云计算具有低成本、部署快、规模调整灵活等优势,在企业中采用云计算能够极大地改善企业的IT资源管理、提高运营战略有效性和降低企业的运营成本。随着各个公司对云计算技术和应用的研究,云计算中的数据安全问题已经成为云计算发展的关键因素和瓶颈。本文在介绍了云计算的相关概念和知识的基础上给出了一种基于云计算的安全数据存储的解决方案。     

基于校园网的高校云存储系统的设计与实现

本文主要对高校私有云存储系统的背景、需求和技术进行了介绍,结合本院的实际需求给出了高校云盘系统的逻辑构架和拓扑构架,然后给出了校园云盘系统的详细功能设计实现,最后探讨了高校云盘系统的关键问题和解决思路。     

基于MD5算法的重复数据删除技术的研究与改进

随着信息技术的快速发展,信息化已成为决定企业生存与发展的关键因素之一;然而随着企业数据信息量的不断地增加,海量数据信息的存储和不断备份已经给企业的存储空间带来了巨大的存储压力;为此,深入研究了重复数据删除技术,并针对目前重复数据删除技术中存在的数据丢失及性能低等问题以及MD5算法流程和重复数据删除策略的分析和研究,提出了一种重复数据删除技术优化模型;测试分析表明,该优化模型实现了高效和安全的重复数据删除功能,节省了企业内部存储空间的存储成本开销。     

基于MHT的云环境下数据完整性检验方案

云计算环境下数据量十分庞大,传统的基于MHT的数据完整性检验方案在快速和低开销2个优点上不能较好地兼备。提出的MHB-Tree方案增加了树中节点包含的信息量,缩小了检验大量数据时所需要构建的树的规模,结合平衡二叉树特性保证树的结构不变,有利于数据节点的增加和删除。结果证明方案可以在保证安全性能的情况下提高完整性检验的效率,并节省了较大的时间和空间开销。     

基于云存储的医院PACS系统存储设计

目前,PACS系统已经日益成为各级医院实现信息化建设的重要组成部分,在网络应用越来越广泛的今天,异地多院区联接形成医院PACS系统对存储应用有更高的要求。文章从医院PACS系统存储的实例出发,探讨了基于云存储的PACS系统存储设计。     

元数据和数据分离的安全云存储体系结构的设计

随着云计算的日益兴起,数据存储技术逐步由传统存储转移到了云存储技术。而云存储技术现在面临的主要挑战之一就是数据存储的安全性。为了解决云时代下数据存储的安全性问题,提出了一个元数据和数据分离的安全云存储系统,为用户提供了安全可靠的数据存储模式。首先介绍了现有的海量信息存储系统,然后简述了云存储的结构模型．最后提出了元数据和数据分离的安全云存储体系结构的结构设计。     

基于散列存储和数据加密的数据安全保护研究

随着计算机科学技术和计算机网络的飞速发展,网络信息安全和个人数据的隐私保护越来越受到人们的重视。数据安全保护技术的研究目的在于保护人们的数据安全,通过数据存储以及数据加密等技术方法,实现增强数据的安全性、可靠性和可用性。同时,平衡数据安全保护所消耗的时间资源和空间资源。