“重整”重复数据删除

最近,存储领域出现一个重磅消息。NetApp公司花费15亿美元与Data Domain公司达成收购协议,由此,Data Domain这个曾经以重复数据删除技术风生水起的存储厂商将面临新的格局。     

存储市场新闻

存储软件 NetApp发布A-SiS重复数据删除技术；赛门铁克推出整合式安全归档套件；新品上市 Data Domain推出全新DD580重复数据删除系统；SUN在京发布ST2500存储系列产品；Xiotech推出专注电子发现一揽子方案……     

分析：采用重复数据删除技术十项注意

重复数据删除（Data deduplication）无疑是存储行业近年来最“热闹”的技术。它消除了传统备份技术衍生出的重复存储数据问题．进而为企业节省成本。     

基于重复数据删除的多用户文件备份系统

针对在文件备份服务器中存在大量重复数据的问题,设计了一种基于重复数据删除的文件备份系统,为位于不同地理位置的多个用户提供备份服务。该系统不仅删除用户内部的重复数据,也删除不同用户之间的重复数据,进一步节省存储空间,与此同时,采用了一定的安全机制来防止数据丢失以及用户数据信息泄漏。实验结果表明了系统的可行性,为多用户构建统一的备份中心提供了一种新的解决方案。     

昆腾树立行业新标杆,为分布式企业提供全面、集成的数据保护解决方案

数据保护和大数据管理领域专家昆腾公司近日宣布了行业分析公司Enterprise Strategy Group(ESG)对昆腾的分布式数据保护磁盘备份解决方案的评估结果。ESG的测试证明,昆腾数据保护解决方案提供全面的数据存储管理与服务,其线内重复数据删除、优异性能和高可扩展,为分布式企业优化了数据保护和恢复。     

昆腾提供数据保护解决方案

正数据保护和大数据管理领域专家昆腾公司(NYSE:QTM)宣布了行业分析公司Enterprise Strategy Group(ESG)对昆腾的分布式数据保护磁盘备份解决方案的评估结果。ESG的测试证明,昆腾数据保护解决方案提供全面的数据存储管理与服务,其线内重复数据删除、优异性能和高可扩展,为分布式企业优化了数据保护和恢复。     

基于重复数据删除的远程备份系统

针对传统远程备份中大量冗余数据导致备份效率低下和存储空间浪费的问题,设计并实现了一个基于重复数据删除的远程备份系统。首先根据文件的内容用Rabin指纹将备份文件划分为变长的数据块,把每个数据块的相关信息发送到备份中心,在备份中心利用Google Bigtable及Leveldb的索引算法辅以布隆过滤器对数据块进行判重,最后只传输和存储不重复的数据块。实验结果表明,采用该系统备份相似的数据集能够有效删除其中的重复数据。对数据集进行增量备份,在增量数据变化不大时,相比Rsync备份有更少的网络流量。     

重复数据删除技术

应对数据增长的重磅武器过去几年,重复数据删除作为能够对抗数据资料大规模增长的武器,在数据中心中已获得广泛认可。IT部门几乎在任何事物中都能为重复数据删除找到一席之地,从主存储到长期数据保留,但是重复数据删除在数据中心里值得称道的职责却在于备份和灾难恢复(DR)。在这里,重复数据删除技术提供     

昆腾DXi8500的更新

正昆腾为企业磁盘备份和重复数据删除提供最高存储密度和能效增强功能还包括确保数据从备份到过期均安全的全新产品昆腾公司(NYSE:QTM)近日宣布其DXi8500设备的存储密度和能效大幅提升,能够为企业客户开发出行业最高效的磁盘备份和重复数据删除解决方案。DX-i8500现采用3TB磁盘驱动器,将     

一种基于重复数据删除的网络文件备份系统设计与实现

针对广域网中网络备份系统存在备份速度低、网络带宽需求高和数据冗余等问题,提出并实现一种具有重复数据删除功能的网络文件备份系统。通过在客户端实现重复数据删除技术,对文件进行分块和在备份过程中去除重复数据块,减少客户端与服务期间需要传输的数据量,使得文件备份的速度获得较大提高,也较大地降低网络带宽要求,显著提高了网络备份系统的性能。此外,备份过程中客户端去除了重复的数据块使得服务器中存储的数据块都是唯一的,极大地降低了系统所需要的存储空间,同时,服务器端的数据块引用管理的设计很好地解决了空闲数据块耗费存储空间的问题。     

基于内容的重复数据删除技术的研究

随着企业数据信息量的不断地增加,海量数据信息的存储和不断备份已经给企业的存储空间带来了巨大的存储压力;本文分析了当前主要的重复数据检测和删除技术,,并分析了其优缺点。并提出一种基于内容的重复数据删除策略。     

重复数据删除技术为何成备份容灾的利器？

不管是权威机构,还是众厂商,都非常看好重复数据删除技术的前景。重复数据删除将成为降低数据存储成本的重要技术。在消除备份重复数据方面,它的效果尤其显著。这种将数据量减少数十倍的技术．对于降低数据存储成本具有极大价值。     

“去重”进行时

现如今，重复数据删除技术已经不再让人感到陌生，其价值也已经在备份领域获得了充分的体现，如何发挥重复数据删除技术的最大价值就成为厂商们又一个需要思考的问题。     

昆腾推出首个按需扩容重复数据删除设备

全球备份、恢复和存档领域的领先专业厂商昆腾公司近日宣布推出一种扩展线内重复数据删除容量的创新方式,这是凭借其DXi4000磁盘备份系统系列最新产品而实现的。只需简单地激活一个授权密钥．DXi4601的可用容量可从4TB最高扩容至12TB。这种业界首创的扩容方式可实现快速、轻松扩容,     

集群重复数据删除策略的研究

提出了集群内的全局重复数据删除方案,运用Bloom Filter技术为集群中存储的所有数据块建立快速索引的摘要信息,组成一个可以检测重复数据的指纹摘要阵列(FSA),分布在存储节点前端的控制服务器,控制服务器节点将客户端发送到的数据块指纹合并成若干粒度大小均匀的超块,进行重复数据的检测,然后将超块有状态地路由到各个存储节点进行数据删重。利用FSA检测全局范围内所有存储节点之间的重复数据,获取较高的重复数据删除率,极大的提高了内存空间的利用率。     

昆腾四大产品入围《存储》杂志年度大奖评选

正昆腾公司(NYSE:QTM)近日宣布四款产品入围美国《存储》杂志年度大奖评选,优异成绩领先行业。这些产品涵盖存储横向扩展和数据保护解决方案,其创新和价值在3个类别获得认可:存储系统类别的Lattus对象存储系统;备份硬件类别的DXi6800备份和重复数据删除设备和Scalar i6000 HD磁带库;备份与灾难恢复软件与服务类别的DXi V4000虚拟备份和重复数据删除设备。     

一种基于重复数据删除的备份系统

重复数据删除技术有效地提升了备份系统的备份效率,但重复数据的匹配开销也随之增加.针对该问题,设计并实现了一种基于重复数据删除的备份系统THBS,该系统提出了高精简的数据备份方法HAD(hierachical approach of data deduplication),依次从目录、文件、块、字节粒度分层多步,由粗及细地匹配删除重复数据,同时采用bloomfilter和倒排索引技术,以减少不必要的数据匹配与磁盘访问,提高匹配查找速度.通过两组真实数据集的实验发现,THBS在备份过程中节省了63.1%～96.7%的存储空间,比Scp和Rsync分别节约了71.3%～97.6%,41.2%～66.7%的网络带宽,累计备份时间分别为Scp和Rsync的75%～86%和91%～97%.     

存储市场新闻

Data Domain推出DD660最新四核中靖阵列系统;EMC Symmetrix DMX-4采用第二代企业级闪存驱动器;西部数据推出8TB的ShareSpace网络存储系统;日立推出2．5英寸6GbSAS硬盘Ultrastar C10K300;希捷发布BlackArmor NAS 440和420低端NAS系统;     

基于BLOOM FILTER过滤算法的重复数据删除技术的研究与改进

随着企业数据信息量的不断地增加,海量数据信息的存储和不断备份给企业的存储空间带来了巨大的存储压力。该文深入研究重复数据删除技术,并针对目前重复数据删除技术中存在的数据丢失及性能低等问题以及BLOOM FILTER算法流程和重复数据删除策略的分析和研究,提出了一种重复数据删除技术优化模型。测试分析表明,该优化模型实现了高效和安全的重复数据删除功能,节省了企业内部存储空问的存储成本开销。     

基于内容地址存储的文件级备份系统

针对当前备份系统存在的重复数据量大、网络传输数据多、数据安全性低等特点,提出一种新的文件级备份系统。该系统构建于Bacula开源备份系统基础之上,使用磁盘作为存储介质,基于内容地址存储,采用重复删除技术以节省存储空间。性能测试结果表明,该系统能有效缓解存储和网络传输的压力,同时提高数据的安全性。