分析：采用重复数据删除技术十项注意

重复数据删除（Data deduplication）无疑是存储行业近年来最“热闹”的技术。它消除了传统备份技术衍生出的重复存储数据问题．进而为企业节省成本。     

一种归档存储系统结构

针对归档数据的存储管理问题,提出一种归档存储体系结构AStore,采用数据指纹、数据压缩、数据分块和重复数据删除技术,设计归档存储系统的数据存储和管理策略。测试并分析不同参数设置下存储系统的性能,结果表明该策略能减少数据冗余,提高系统存储空间的利用率和访问性能。     

一种基于重复数据删除技术的云中云存储系统

随着云存储技术的快速发展和应用,越来越多的企业和用户都开始将数据从本地转移到云存储服务提供商进行存储.但是,在享受云存储高质量服务的同时,将数据仅仅存储于单个云存储服务商中会带来一定的风险,例如云存储服务提供商的垄断、数据可用性和安全性等问题.为了解决这个问题,提出了一种基于重复数据删除技术的云中云存储系统架构,首先消除云存储系统中的冗余数据量,然后基于重复数据删除集中的数据块引用率将数据块以复制和纠删码2种数据布局方式存储在多个云存储服务提供商中.基于复制的数据布局方式易于实现部署,但是存储开销大;基于纠删码的数据布局方式存储开销小,但是需要编码和解码,计算开销大.为了充分挖掘复制和纠删码数据布局的优点并结合重复数据删除技术中数据引用的特点,新方法用复制方式存储高引用数据块,用纠删码方式存储其他数据块,从而使系统整体性能和成本达到较优.通过原型系统的实现和测试验证了相比现有云中云存储策略,新方法在性能和成本上都有大幅度提高.     

电子商务平台数据库恢复软件的开发与应用

本文详细分析了SQLServer2000数据页的存储结构以及删除数据记录之后数据页的变化,得到的结论是被删除的数据记录仍然保存在数据页中,可以不依靠日志来恢复这些被删除的记录。本文详细讲解了恢复软件核心存储结构和核心模块的设计方法,最后介绍了软件的测试运行情况。     

基于BLOOM FILTER过滤算法的重复数据删除技术的研究与改进

随着企业数据信息量的不断地增加,海量数据信息的存储和不断备份给企业的存储空间带来了巨大的存储压力。该文深入研究重复数据删除技术,并针对目前重复数据删除技术中存在的数据丢失及性能低等问题以及BLOOM FILTER算法流程和重复数据删除策略的分析和研究,提出了一种重复数据删除技术优化模型。测试分析表明,该优化模型实现了高效和安全的重复数据删除功能,节省了企业内部存储空问的存储成本开销。     

一种基于重复数据删除的镜像文件存储方法研究

在云计算环境中,基础设施即服务的日益发展导致虚拟机和虚拟机镜像的急剧增加,例如,Amazon Elastic Compute Cloud(EC2)有6521个公共虚拟机镜像文件,这给云环境的管理带来了极大的挑战,特别是大量镜像文件带来的重复数据的空间存储问题。为解决这一问题,提出一种基于固定分块的镜像文件重复数据删除的存储方案。当存储一个镜像文件时,先计算该镜像文件的指纹,并与指纹库的指纹比较,若存在则用指针替代,否则采用固定分块对镜像文件分割存储。为此,可以设计镜像文件元数据格式和镜像文件MD5索引表来解决上述问题。实验结果表明,内容相同的镜像文件只是元数据的开销并实现秒传,而相同版本、相同系统、不同软件的镜像组的重删率约达到58%。因此,本方案是非常有效的。     

云存储安全技术研究进展综述

云存储服务涉及大量的用户隐私数 据,因此其安全性和隐私性至关重要。为此,本文针对云存储的重复数据删除、隐藏存储、 数据加密与密文搜索以及数据完整性审计４个方面,介绍当前云存储安全技术研究的进 展, 并探讨提高商业云存储系统的安 全性和隐私性的未来研究方向。 其中,云存储的可重复数据删除技术旨在同时对抗文件识别攻击等多种攻击,减少额外 服务器开支,并提高用户收益。隐藏存储技术采用模块化结构和异步机制等方法降低 云存储系统的计算量,并提高其安全性和可扩展性。云存储的数据加密和密文搜索在传统加 密的基础上,基于密文策略属性的加密技术实现,提供密文搜索,防止用户身份隐私的泄露 。数据完整性审计系统针对用户密钥泄露等安全问题,旨在为用户提供安全、高效和支持审 计的存储服务。     

重复数据删除：同步or异步

重复数据删除的两种技术方式各有千秋,用户在应用实践中应从需求出发各有侧重。最近,各大存储厂商关于重复数据删除技术动作不断。首当其冲的是IBM,其把之前收购的专注于重复数据删     

Linux下高效存储优化的研究

随着数据的指数性增长,存储技术成为信息产业发展的核心动力,存储系统在一定程度上比计算系统和通信系统更加重要。如何高效地存储和优化存储空间,是存储系统急需解决的问题。本文介绍高效存储技术中的RAID技术、重复数据删除技术、数据压缩技术等,并在Linux环境下设计与实现具有高效存储优化特点的应用程序。试验表明该应用程序实现了软件RAID,删除了重复性数据,提高了存储空间利用率,降低了存储能耗。     

一种高效存储解决方案的分析与研究

企业的关键信息以几何级速度增长,更多的数据需要保存更长的时间,面对TB甚至是PB级海量数据如何进行高效存储成为研究的重点.伴随着云计算和云存储的发展,对后端的高效存储和管理成为存储方面的重点研究问题,高效存储和管理不仅为用户提供更高质量的服务,而且还可以降低用户成本,实现高效低碳的环保型存储,这其中主要用到了多协议访问、存储虚拟化、自动精简配置、重复数据删除等关键技术.     

基于信任值的云存储数据确定性删除方案

数据确定性删除是云存储安全的研究热点。目前云存储中分散式的数据确定性删除方案在密钥分量存储时没有考虑DHT((Distributed Hash Table)节点可信性,使得用户在授权时间内也存在无法访问自己敏感数据的问题。为此提出了一种基于信任值的云存储数据确定性删除方案,该方案的核心是对DHT节点进行可信度评价,密钥分量的存储选择可信度较高的节点。与已有的确定性删除方案相比,该方案仍然是利用DHT网络的动态特性实现密钥的定期删除,使得用户敏感数据能够在特定的一段时间之后自动销毁。不同的是,该方案在将密钥分量分发到DHT网络中时倾向于选择可信度高的节点进行交互,使得在密钥的过期时间戳之前从DHT网络中得到足够多的密钥分量来恢复出密钥的可能性大大提高,降低了用户在授权时间内无法访问自己敏感数据的概率。实验结果表明,该方案不仅可以有效地抑制恶意节点,还可以提高密钥分量提取成功率,从而增加用户在授权时间内访问自己敏感数据的成功率。     

基于特征迭代的云存储数据即时确定性删除方法

传统数据删除方法易受到云存储环境中大量近似特征的影响,产生冗余数据,导致加解密时间过长、密钥可用率较低,为此提出一种基于特征迭代的云存储数据即时确定性删除方法。首先,提取云存储数据中的冗余数据特征,对云存储下冗余数据进行分类,迭代直至收敛,实现冗余数据高性能删除;其次,采用加密机制实现云存储数据在网络用户间的安全共享,将原始数据密文切分为剩余密文和采样密文;最后,把不完整的剩余数据密文上传至云端,同时引入可信任第三方对取样密文进行保存,通过销毁取样密文实现数据即时确定性删除。实验结果表明,所提方法的数据密文拆分所用时间较短,且密钥可用率较高,可达90%,说明其方法能够有效满足云存储系统中对冗余数据或过期数据的确定性删除要求。     

云加密数据安全重复删除方法

在云环境存储模式中,采用用户端数据加密虽然能够有效降低数据的存储安全风险,但同时会使云服务商丧失重复数据鉴别能力,导致存储开销随数据量增大而不断攀升.加密数据重复删除技术是解决该问题的方法之一,现有方案通常基于可信第三方设计,安全性假设过强,执行效率较低.基于椭圆曲线与密文策略属性加密两种高安全密码学原语,构造了重复加密数据识别与离线密钥共享两种安全算法,进而实现一种无需初始数据上传用户与可信第三方实时在线的加密数据重复删除方法.详细的安全性与仿真实验分析,证明该方法不仅实现数据的语义安全,同时能够保证系统的高效率运行.     

基于MD5算法的重复数据删除技术的研究与改进

随着信息技术的快速发展,信息化已成为决定企业生存与发展的关键因素之一;然而随着企业数据信息量的不断地增加,海量数据信息的存储和不断备份已经给企业的存储空间带来了巨大的存储压力;为此,深入研究了重复数据删除技术,并针对目前重复数据删除技术中存在的数据丢失及性能低等问题以及MD5算法流程和重复数据删除策略的分析和研究,提出了一种重复数据删除技术优化模型;测试分析表明,该优化模型实现了高效和安全的重复数据删除功能,节省了企业内部存储空间的存储成本开销。     

基于内容的重复数据删除技术的研究

随着企业数据信息量的不断地增加,海量数据信息的存储和不断备份已经给企业的存储空间带来了巨大的存储压力;本文分析了当前主要的重复数据检测和删除技术,,并分析了其优缺点。并提出一种基于内容的重复数据删除策略。     

基于存储环境感知的重复数据删除算法优化

在备份和归档等存储应用中产生的重复数据在存储空间和能耗上造成的浪费问题日益突出,如何删除重复数据已成为当前存储领域中的研究热点。CDC(Content Defined Chunking)是一种适用于多种应用环境的重复数据删除算法,但缺乏针对具体应用环境的优化。通过对存储环境进行感知和分析,为CIX;算法提出了两个参数选择约束条件:(1)根据存储设备中的数据块存储方式来选择平均分块大小等参数;(2)根据数据的分块边界分布特性来选择分块边界特征值参数。实验表明,与无约束条件的CDC算法相比,这两个约束条件在4个实验数据集上平均可提高16. 3%的数据缩减比。     

重复数据删除技术为何成备份容灾的利器？

不管是权威机构,还是众厂商,都非常看好重复数据删除技术的前景。重复数据删除将成为降低数据存储成本的重要技术。在消除备份重复数据方面,它的效果尤其显著。这种将数据量减少数十倍的技术．对于降低数据存储成本具有极大价值。     

基于阈值动态调整的重复数据删除方案

云存储已经成为一种主流应用模式.随着用户及存储数据量的增加,云存储提供商采用重复数据删除技术来节省存储空间和资源.现有方案普遍采用统一的流行度阈值对所有数据进行删重处理,没有考虑到不同的数据信息具有不同的隐私程度这一实际问题.提出了一种基于阈值动态调整的重复数据删除方案,确保了上传数据及相关操作的安全性.提出了理想阈值的概念,消除了传统方案中为所有数据分配统一阈值所带来的弊端.使用项目反应理论确定不同数据的敏感性及其隐私分数,保证了数据隐私分数的适用性,解决了部分用户忽视隐私的问题.提出了基于数据加密的隐私分数查询反馈机制,在此基础上,设计了流行度阈值随数据上传的动态调整方法.实验数据及对比分析结果表明,基于阈值动态调整的重复数据删除方案具有良好的可扩展性和实用性.     

Visual Foxpro中数据的物理删除

在管理信息系统设计中，经常要对数据进行处理，对本系统无效的数据，不仅占据存储空间，而且影响数据处理的速度。所以，数据删除显得尤其重要。我所说的数据删除不仅仅是逻辑删除，即简单地加上删除标记，而是彻底清除其所占用磁盘空间，真正实现物理删除。然而在对数据进行物理删除时，该数据所在的数据表必须以独占方式打开，这就对连续删除记录的实现造成了一定的难度，因为这需要反复开关数据表，极易造成数据混乱。在最初的调试过程中，常常出现诸如“当前工作区无法打开的表”、“当前表正在使用”、“别名xx的表缓冲区有不能予以实…     

基于云存储的重复数据删除架构的研究与设计

随着云计算的发展,云存储技术通过集群应用、虚拟化技术、分布式文件系统等功能将网络中大量各种不同类型的存储设备集合起来协同工作,缓解了老式数据中心的存储压力.另外,重复数据删除技术是一种缩减存储空间减少网络传输量的技术,随着云的广泛应用也势必会发展应用于云存储中.这两种技术结合将会给IT存储业带来实际效益.本文通过研究重复数据删除技术、云存储技术,设计了基于云存储的重复数据删除架构,提出了一种用In-line方式在客户端进行数据块级与字节级相结合的重复数据删除操作后再将数据存入云中的方案.在本架构下,海量数据存储在HDFS中;而文件数据块的哈希值存储在HBase中.