分析：采用重复数据删除技术十项注意

重复数据删除（Data deduplication）无疑是存储行业近年来最“热闹”的技术。它消除了传统备份技术衍生出的重复存储数据问题．进而为企业节省成本。     

重复数据删除技术

应对数据增长的重磅武器过去几年,重复数据删除作为能够对抗数据资料大规模增长的武器,在数据中心中已获得广泛认可。IT部门几乎在任何事物中都能为重复数据删除找到一席之地,从主存储到长期数据保留,但是重复数据删除在数据中心里值得称道的职责却在于备份和灾难恢复(DR)。在这里,重复数据删除技术提供     

重复数据删除技术在备份中的应用

熊猫电子集团选择EMC Avamar重复数据删除技术,建成了同行业中领先的数据备份系统。目前,这一技术已经在熊猫电子成功应用近一年了。在此介绍我们的应用经验,希望可以提供有益的启示。     

重复数据删除技术

重复数据删除技术主要分为两类:相同数据的检测技术和相似数据的检测与编码技术,系统地总结了这两类技术,并分析了其优缺点.此外,由于重复数据删除技术会影响存储系统的可靠性和性能,又总结了针对这两方面的问题提出的各种技术.通过对重复数据删除技术当前研究现状的分析,得出如下结论:a) 重复数据删除中的数据特性挖掘问题还未得到完全解决,如何利用数据特征信息有效地消除重复数据还需要更深入的研究;b) 从存储系统设计的角度,如何引入恰当的机制打破重复数据删除技术的可靠性局限并减少重复数据删除技术带来的额外系统开销也是一个需要深入研究的方面.     

重复数据删除技术

重复数据删除技术主要分为两类:相同数据的检测技术和相似数据的检测与编码技术,系统地总结了 这两类技术,并分析了其优缺点.此外,由于重复数据删除技术会影响存储系统的可靠性和性能,又总结了针对这 两方面的问题提出的各种技术.通过对重复数据删除技术当前研究现状的分析,得出如下结论:a) 重复数据删除 中的数据特性挖掘问题还未得到完全解决,如何利用数据特征信息有效地消除重复数据还需要更深入的研 究;b) 从存储系统设计的角度,如何引入恰当的机制打破重复数据删除技术的可靠性局限并减少重复数据删除技术带来的额外系统开销也是一个需要深入研究的方面.     

体验重复数据删除

在企业中,存储空间的使用往往是惊人的,例如备份数据、文件服务器数据、虚拟化平台数据等。而在以往的Windows系统平台中并没有特别直接有效的方式来帮助我们节省磁盘空间,最终到了Windows Server2012系统中才新增了重复数据删除技术,让很多使用Windows Server平台的用户看到了希望,而这一点也成为大多数用户将Windows Server升级到2012平台的动因之一。为了更方便操作和介绍,笔者在虚拟系统环境里体验了一次重复数据删除技术的魅力。     

惠普：提升重复数据删除功能

惠普近日宣布推出业内第一个提供全自动高可用性的大型重复数据删除设备。惠普B6200Store Once备份系统实现了创纪录的性能,其数据处理和存储速度达每小时28TB,超出竞争对手三倍以上。如今企业正面临着数据总量和多样性的双重挑战,其中既有结构化数据,也有人们在即时沟通时产生的思想和理念等非结构化     

重复数据删除初体验

数据存储优化一直是众多系统管理员关心的问题,如何在有限的空间存储更多的数据,并保证数据的有效性和完整性,本文就这些问题对Windows Server2012下的重复数据删除功能进行一番体验。     

企业采购指南：重复数据删除技术选型

现在有两个不同内容的Word文档（其显示的文字不同）,他们之间有没有重合的地方呢？或者说,这两个不同的文档之间有没有通用的内容呢？答案是肯定的。如不同的文档之间,可能具有相同的访问权限。     

重复数据删除走向“源头”

为了挖掘现有存储资源,优化企业存储系统,重复数据删除技术成为当下用户的应用热点。 但是,如何部署重复数据删除技术,是在数据源头还是存储后台,是在备份系统还是归档系统,如何与逐渐普及的虚拟化应用相互融合,所有这些都是影响重复数据删除应用效果的重要问题。     

一种基于重复数据删除的备份系统

重复数据删除技术有效地提升了备份系统的备份效率,但重复数据的匹配开销也随之增加.针对该问题,设计并实现了一种基于重复数据删除的备份系统THBS,该系统提出了高精简的数据备份方法HAD(hierachical approach of data deduplication),依次从目录、文件、块、字节粒度分层多步,由粗及细地匹配删除重复数据,同时采用bloomfilter和倒排索引技术,以减少不必要的数据匹配与磁盘访问,提高匹配查找速度.通过两组真实数据集的实验发现,THBS在备份过程中节省了63.1%～96.7%的存储空间,比Scp和Rsync分别节约了71.3%～97.6%,41.2%～66.7%的网络带宽,累计备份时间分别为Scp和Rsync的75%～86%和91%～97%.     

重复数据删除技术为何成备份容灾的利器？

不管是权威机构,还是众厂商,都非常看好重复数据删除技术的前景。重复数据删除将成为降低数据存储成本的重要技术。在消除备份重复数据方面,它的效果尤其显著。这种将数据量减少数十倍的技术．对于降低数据存储成本具有极大价值。     

全新昆腾DXi系列再推重复数据删除技术

Quantum日前宣布其DXi6700磁盘备份产品系列再加两名"新军",这两款设备不但具有行业领先的性能和价值,还将重复数据删除扩展至设备之外。DXi6701和DXi6702设备具备面向未来的功能和面向中端及企业环境的可扩展性,可提供多协议接口和同类设备中     

一种基于重复数据删除的网络文件备份系统设计与实现

针对广域网中网络备份系统存在备份速度低、网络带宽需求高和数据冗余等问题,提出并实现一种具有重复数据删除功能的网络文件备份系统。通过在客户端实现重复数据删除技术,对文件进行分块和在备份过程中去除重复数据块,减少客户端与服务期间需要传输的数据量,使得文件备份的速度获得较大提高,也较大地降低网络带宽要求,显著提高了网络备份系统的性能。此外,备份过程中客户端去除了重复的数据块使得服务器中存储的数据块都是唯一的,极大地降低了系统所需要的存储空间,同时,服务器端的数据块引用管理的设计很好地解决了空闲数据块耗费存储空间的问题。     

基于重复数据删除的远程备份系统

针对传统远程备份中大量冗余数据导致备份效率低下和存储空间浪费的问题,设计并实现了一个基于重复数据删除的远程备份系统。首先根据文件的内容用Rabin指纹将备份文件划分为变长的数据块,把每个数据块的相关信息发送到备份中心,在备份中心利用Google Bigtable及Leveldb的索引算法辅以布隆过滤器对数据块进行判重,最后只传输和存储不重复的数据块。实验结果表明,采用该系统备份相似的数据集能够有效删除其中的重复数据。对数据集进行增量备份,在增量数据变化不大时,相比Rsync备份有更少的网络流量。     

重复数据删除预测技术研究

重复数据删除技术是现在存储领域广泛应用的一种数据缩减技术.重复数据预测技术能够在执行重复数据删除之前,让用户了解系统的效用,为用户如何使用存储系统提供参考.当前,重复数据预测技术不断发展,并已经有企业将其广泛应用.现有的几种重复数据删除预测技术都拥有了很高的准确性和很好的应用环境,一种基于应用感知的重复数据预测技术能够进一步减小预测索引表的大小,进一步地提升了预测算法的性能.索引表的自适应更新算法能够将来访数据内部的冗余度考虑在内,进一步提高了重复数据预测的准确性.     

点亮“重复数据删除”

数据量一天比一天大,数据复杂性一天比一天高,管理难度一天比一天难……     

“零距离”重复数据删除

重复数据删除技术大约是从2006年进入人们视线的,最初提供这项技术产品的企业包括DataDomain、Asigra、Avamar、Diligent以及OEM软件企业Rocksoft等。如今,我们看到几乎所有销售数据保护产品的企业都开始涉猎这项技术,业内人士对重复数据删除技术寄予厚望。有分析家说,异军突起的重复数据删除技术,将会改写存储行业的经济规则。     

重复数据删除充分利用IT预算

由于企业数据的不断增加,重复数据占用大量的存储空间,以惊人的速度耗尽存储资源。而重复数据删除的出现能确保在备份的时候只写入“独一无二”的数据,节省存储空间的同时让恢复的速度更快。     

怎样才能彻底删除数据?

随着计算机、移动数码设备的日益普及,包括照片、视频、音乐等数据的安全问题。已经成为人们关注的焦点。尤其是近年来包括希尔顿艳照、陈冠希艳照等事件的曝光,使人们更加关注数据的安全。从专业角度讲,数据安全问题是计算机安全问题的核心,