基于BLOOM FILTER过滤算法的重复数据删除技术的研究与改进

随着企业数据信息量的不断地增加,海量数据信息的存储和不断备份给企业的存储空间带来了巨大的存储压力。该文深入研究重复数据删除技术,并针对目前重复数据删除技术中存在的数据丢失及性能低等问题以及BLOOM FILTER算法流程和重复数据删除策略的分析和研究,提出了一种重复数据删除技术优化模型。测试分析表明,该优化模型实现了高效和安全的重复数据删除功能,节省了企业内部存储空问的存储成本开销。     

基于MD5算法的重复数据删除技术的研究与改进

随着信息技术的快速发展,信息化已成为决定企业生存与发展的关键因素之一;然而随着企业数据信息量的不断地增加,海量数据信息的存储和不断备份已经给企业的存储空间带来了巨大的存储压力;为此,深入研究了重复数据删除技术,并针对目前重复数据删除技术中存在的数据丢失及性能低等问题以及MD5算法流程和重复数据删除策略的分析和研究,提出了一种重复数据删除技术优化模型;测试分析表明,该优化模型实现了高效和安全的重复数据删除功能,节省了企业内部存储空间的存储成本开销。     

“零距离”重复数据删除

重复数据删除技术大约是从2006年进入人们视线的,最初提供这项技术产品的企业包括DataDomain、Asigra、Avamar、Diligent以及OEM软件企业Rocksoft等。如今,我们看到几乎所有销售数据保护产品的企业都开始涉猎这项技术,业内人士对重复数据删除技术寄予厚望。有分析家说,异军突起的重复数据删除技术,将会改写存储行业的经济规则。     

重复数据删除关键技术研究进展

企业数据量的不断增长和数据传输率要求的不断提高,使得数据中心海量存储空间和高带宽网络传输需求成为当前网络存储领域面临的严峻挑战.利用特定应用数据集内数据高度冗余的特性,重复数据删除技术能够极大地缩减数据存储容量需求,提高网络带宽利用率,降低企业IT运营成本.目前,重复数据删除技术已成为国内外的研究热点.首先介绍重复数据删除技术的概念、分类及其应用;阐述重复数据删除系统的体系结构和基本原理,并与传统存储系统进行对比.然后重点分析和总结重复数据删除各项关键技术的研究现状,包括数据划分方法、I/O优化技术、高可靠数据配置策略以及系统可扩展性.最后对重复数据删除技术的研究现状进行总结,并指出未来可能的研究方向.     

重复数据删除走向“源头”

为了挖掘现有存储资源,优化企业存储系统,重复数据删除技术成为当下用户的应用热点。 但是,如何部署重复数据删除技术,是在数据源头还是存储后台,是在备份系统还是归档系统,如何与逐渐普及的虚拟化应用相互融合,所有这些都是影响重复数据删除应用效果的重要问题。     

重复数据删除预测技术研究

重复数据删除技术是现在存储领域广泛应用的一种数据缩减技术.重复数据预测技术能够在执行重复数据删除之前,让用户了解系统的效用,为用户如何使用存储系统提供参考.当前,重复数据预测技术不断发展,并已经有企业将其广泛应用.现有的几种重复数据删除预测技术都拥有了很高的准确性和很好的应用环境,一种基于应用感知的重复数据预测技术能够进一步减小预测索引表的大小,进一步地提升了预测算法的性能.索引表的自适应更新算法能够将来访数据内部的冗余度考虑在内,进一步提高了重复数据预测的准确性.     

基于内容的重复数据删除技术的研究

随着企业数据信息量的不断地增加,海量数据信息的存储和不断备份已经给企业的存储空间带来了巨大的存储压力;本文分析了当前主要的重复数据检测和删除技术,,并分析了其优缺点。并提出一种基于内容的重复数据删除策略。     

重复数据删除技术

重复数据删除技术主要分为两类:相同数据的检测技术和相似数据的检测与编码技术,系统地总结了这两类技术,并分析了其优缺点.此外,由于重复数据删除技术会影响存储系统的可靠性和性能,又总结了针对这两方面的问题提出的各种技术.通过对重复数据删除技术当前研究现状的分析,得出如下结论:a) 重复数据删除中的数据特性挖掘问题还未得到完全解决,如何利用数据特征信息有效地消除重复数据还需要更深入的研究;b) 从存储系统设计的角度,如何引入恰当的机制打破重复数据删除技术的可靠性局限并减少重复数据删除技术带来的额外系统开销也是一个需要深入研究的方面.     

重复数据删除技术

重复数据删除技术主要分为两类:相同数据的检测技术和相似数据的检测与编码技术,系统地总结了 这两类技术,并分析了其优缺点.此外,由于重复数据删除技术会影响存储系统的可靠性和性能,又总结了针对这 两方面的问题提出的各种技术.通过对重复数据删除技术当前研究现状的分析,得出如下结论:a) 重复数据删除 中的数据特性挖掘问题还未得到完全解决,如何利用数据特征信息有效地消除重复数据还需要更深入的研 究;b) 从存储系统设计的角度,如何引入恰当的机制打破重复数据删除技术的可靠性局限并减少重复数据删除技术带来的额外系统开销也是一个需要深入研究的方面.     

分析：采用重复数据删除技术十项注意

重复数据删除（Data deduplication）无疑是存储行业近年来最“热闹”的技术。它消除了传统备份技术衍生出的重复存储数据问题．进而为企业节省成本。     

重复数据删除可实现25:1压缩

本报讯记者张郁报道数据量的增长,使数据存储和管理的复杂性也相应的增加,存储密度的提高,使得保存数据比决定哪些数据有保存价值的成本更低,而在这些需要快速备份和恢复的数据中,存在大量的重复数据。有效的重复数据删除技术,可以让企业用户节省大量的存储空间和成本。虚拟磁带库厂商Sepaton提供的基于内容已知技术的DeltaStor,是用于S E P A T O N S2100虚拟磁带库的新一代重复数据删除软件,可以让企业用户以与物理磁带相当的成本在线存储更多的数据。据介绍,SEPATONDeltaStor技术使用delta冗余删除技术。使用这种技术,DeltaStor…     

烟草工业数据灾备中重复数据删除技术研究

首先介绍了烟草工业灾备中重复数据删除技术重要要性,然后介绍了重复数据删除的最主要两种方法：基于哈希算法的重复数据删除和基于内容识别的重复数据删除。最后重点分析设计了适用于某综合营销平台系统数据备份恢复的重复数据删除策略,以减少网络带宽占用、节省存储空间、保护业务数据,为综合营销和智能决策的发展提供强有力的支撑。     

EMC推出Data Domain全局重复数据删除阵列

近日,EMC发布Data Domain全局重复数据删除阵列（EMC Data Domain Global Deduplication Array）。其是为企业备份应用设计的业界最快的线内重复数据删除存储系统。全局重复数据删除阵列基于新的Data Domain架构多控制器扩展,为存储在双控制器系统中的数据提供线内全局重复数据删除和全局命名空间。其吞吐量高达12．8TB／小时,提高了数据中心备份标准。     

删除冗余 优化存储

面对海量的数据增长以及繁重的管理压力,很多企业开始把目光投向重复数据删除技术,期望以此精简越来越繁重的存储系统。     

重复数据删除技术

应对数据增长的重磅武器过去几年,重复数据删除作为能够对抗数据资料大规模增长的武器,在数据中心中已获得广泛认可。IT部门几乎在任何事物中都能为重复数据删除找到一席之地,从主存储到长期数据保留,但是重复数据删除在数据中心里值得称道的职责却在于备份和灾难恢复(DR)。在这里,重复数据删除技术提供     

重复数据删除：同步or异步

重复数据删除的两种技术方式各有千秋,用户在应用实践中应从需求出发各有侧重。最近,各大存储厂商关于重复数据删除技术动作不断。首当其冲的是IBM,其把之前收购的专注于重复数据删     

重复数据删除技术为何成备份容灾的利器？

不管是权威机构,还是众厂商,都非常看好重复数据删除技术的前景。重复数据删除将成为降低数据存储成本的重要技术。在消除备份重复数据方面,它的效果尤其显著。这种将数据量减少数十倍的技术．对于降低数据存储成本具有极大价值。     

昆腾将提供一流的可扩展性、密度以及每TB成本

正昆腾公司近日宣布推出新的DXi4700系列重复数据删除设备,它将提供高可扩展性和移动性以及行业领先的每TB成本。该系列的首个型号DXi4701提供了从5TB到13TB的广泛可用容量,是当今市面上唯一通过4TB高密度磁盘提供按需容量的重复数据删除设备。在确保安全、性能和价值功能的基础上,DXi4700系列提供了一个简单的"按需付费"重复数据删除解决方案,特别适合数据中心、托管环境和远程站点使用。     

新的重复数据删除设备DXi4700

正昆腾推出新的DXi4700系列重复数据删除设备,它将提供高可扩展性和移动性以及行业领先的每TB成本。该系列的首个型号DXi4701提供了从5TB到13TB的广泛可用容量,是当今市面上唯一通过4TB高密度磁盘提供按需容量的重复数据删除设备。在确保安全、性能和价值功能的基础上,DXi4700系列提供了一个简单的"按需付费"重复数据删除解决方案,特别适合数据中心、托管环境和远程站点使用。     

基于高通量显微成像及分析技术的 DNA 重排研究

直接的重复序列广泛地存在于真核和原核细胞基因组中，并且与多种疾病（如遗传性神经肌 肉神经退行性疾病等）相关，因此定量重复序列的删除变得非常重要。结合高通量显微成像和分析技术，该文设计了基于三色荧光报告系统的方法来定量重复序列删除的发生。结果显示，在铜绿假单胞菌中，重复序列的删除频率在 recA 基因缺失突变株中明显降低，而 RadA 蛋白和 UvrD 蛋白的缺失则会提高重复序列的删除频率，并且重复序列的删除与细菌的生长率和启动子等因素无关。该研究有助于加深对直接重复序列相关问题的理解，并为直接重复序列删除定量提供了新的方法。