分析：采用重复数据删除技术十项注意

重复数据删除（Data deduplication）无疑是存储行业近年来最“热闹”的技术。它消除了传统备份技术衍生出的重复存储数据问题．进而为企业节省成本。     

重复数据删除初体验

数据存储优化一直是众多系统管理员关心的问题,如何在有限的空间存储更多的数据,并保证数据的有效性和完整性,本文就这些问题对Windows Server2012下的重复数据删除功能进行一番体验。     

“重整”重复数据删除

最近,存储领域出现一个重磅消息。NetApp公司花费15亿美元与Data Domain公司达成收购协议,由此,Data Domain这个曾经以重复数据删除技术风生水起的存储厂商将面临新的格局。     

点亮“重复数据删除”

数据量一天比一天大,数据复杂性一天比一天高,管理难度一天比一天难……     

重复数据删除技术的存储空间利用率测评研究

在大数据时代,为了提高存储空间利用率,重复数据删除技术被广泛应用.然而,重复数据删除技术的重删效果如何评价,它对存储系统的存储空间利用率影响程度如何等问题,目前还没有有效的测评指标和测评方法来解决.为此,对3种典型的重复数据删除技术进行了分析,研究了存储空间利用率的测评指标和测评方法,然后通过理论分析和真实数据实验对其可行性和有效性进行了验证.分析和实验结果表明:设计的测评指标和测评方法实际可行,能定量的评估存储空间利用率,有利于数据中心存储效率的提高,从而实现绿色存储和节能减排,并能减少企业的资源浪费和提高投资回报率.     

一种云存储系统中重复数据删除机制

基于现有重复数据删除策略,提出了一种基于负载均衡的C/S双端延迟重复数据删除方法.利用基于类型的数据分块方法将数据块分成若干块;利用MD5提取指纹值,与客户端本地的索引表对比指纹,若相同则用指针取代该数据块,具有数据块指纹和数据类型的索引表一同发送至控制器;控制器在收到客户端的请求后,首先根据自己实时监控得到的各服务器的当前状态来选择最佳目标存储节点;服务器端根据数据类型查询不同的索引表以缩小查找范围.对提出的方法的重复数据删除率进行了实验验证,结果表明该机制具有较好的性能表现.     

重复数据删除走向“源头”

为了挖掘现有存储资源,优化企业存储系统,重复数据删除技术成为当下用户的应用热点。 但是,如何部署重复数据删除技术,是在数据源头还是存储后台,是在备份系统还是归档系统,如何与逐渐普及的虚拟化应用相互融合,所有这些都是影响重复数据删除应用效果的重要问题。     

昆腾DXi6700重复数据删除系列产品 荣获2012网络计算年度存储产品大奖

数据保护和大数据管理领域全球公认的专家昆腾公司近日宣布,其DXi6700系列中端磁盘备份与重复数据删除产品在伦敦的网络计算奖评选中被评为年度最佳存储产品。这是昆腾屡获殊荣的DXi？系列产品、Qu＆ntumvmPgO？虚拟机保护产品和Scalar？磁带自动化解决方案所获得的最新大奖,是昆腾公司在技术跨界和混合环境下数据保护和大数据管理领域领导地位的有力证明。     

重复数据删除技术

重复数据删除技术主要分为两类:相同数据的检测技术和相似数据的检测与编码技术,系统地总结了这两类技术,并分析了其优缺点.此外,由于重复数据删除技术会影响存储系统的可靠性和性能,又总结了针对这两方面的问题提出的各种技术.通过对重复数据删除技术当前研究现状的分析,得出如下结论:a) 重复数据删除中的数据特性挖掘问题还未得到完全解决,如何利用数据特征信息有效地消除重复数据还需要更深入的研究;b) 从存储系统设计的角度,如何引入恰当的机制打破重复数据删除技术的可靠性局限并减少重复数据删除技术带来的额外系统开销也是一个需要深入研究的方面.     

重复数据删除技术

应对数据增长的重磅武器过去几年,重复数据删除作为能够对抗数据资料大规模增长的武器,在数据中心中已获得广泛认可。IT部门几乎在任何事物中都能为重复数据删除找到一席之地,从主存储到长期数据保留,但是重复数据删除在数据中心里值得称道的职责却在于备份和灾难恢复(DR)。在这里,重复数据删除技术提供     

重复数据删除技术

重复数据删除技术主要分为两类:相同数据的检测技术和相似数据的检测与编码技术,系统地总结了 这两类技术,并分析了其优缺点.此外,由于重复数据删除技术会影响存储系统的可靠性和性能,又总结了针对这 两方面的问题提出的各种技术.通过对重复数据删除技术当前研究现状的分析,得出如下结论:a) 重复数据删除 中的数据特性挖掘问题还未得到完全解决,如何利用数据特征信息有效地消除重复数据还需要更深入的研 究;b) 从存储系统设计的角度,如何引入恰当的机制打破重复数据删除技术的可靠性局限并减少重复数据删除技术带来的额外系统开销也是一个需要深入研究的方面.     

一种基于重复数据删除的镜像文件存储方法研究

在云计算环境中,基础设施即服务的日益发展导致虚拟机和虚拟机镜像的急剧增加,例如,Amazon Elastic Compute Cloud(EC2)有6521个公共虚拟机镜像文件,这给云环境的管理带来了极大的挑战,特别是大量镜像文件带来的重复数据的空间存储问题。为解决这一问题,提出一种基于固定分块的镜像文件重复数据删除的存储方案。当存储一个镜像文件时,先计算该镜像文件的指纹,并与指纹库的指纹比较,若存在则用指针替代,否则采用固定分块对镜像文件分割存储。为此,可以设计镜像文件元数据格式和镜像文件MD5索引表来解决上述问题。实验结果表明,内容相同的镜像文件只是元数据的开销并实现秒传,而相同版本、相同系统、不同软件的镜像组的重删率约达到58%。因此,本方案是非常有效的。     

全新昆腾DXi系列再推重复数据删除技术

Quantum日前宣布其DXi6700磁盘备份产品系列再加两名新军,这两款设备不但具有行业领先的性能和价值,还将重复数据删除扩展至设备之外。DXi6701和DXi6702设备具备面向未来的功能和面向中端及企业环境的可扩展性,可提供多协议接口和同类设备中     

选购重复数据删除方案 软硬兼施剔除鸡肋数据

重复数据删除究竟是产品、功能,还是技术？其呈现方式是软件、硬件,还是解决方案？用户心中疑虑重重。     

基于重复数据删除的连续数据保护系统的快速回滚

基于重复数据删除的连续数据保护系统可以实现时间点连续的数据保护,可以将数据回滚到任意的时刻,并且能够很好地降低存储开销,是一种理想的数据备份方式,而如何实现系统的快速回滚严重影响整个系统的性能.根据基于重复数据删除的连续数据保护系统的特点,系统实现了2种数据的快速回滚方法,并且通过cache对其中一种方法进行了加速.实验显示,2种回滚方式均能很好地实现数据回滚,并且cache起到了很好的加速效果.针对不同的回滚需求,灵活地选用不同的回滚方式,能够快速有效地实现数据回滚.     

重复数据删除充分利用IT预算

由于企业数据的不断增加,重复数据占用大量的存储空间,以惊人的速度耗尽存储资源。而重复数据删除的出现能确保在备份的时候只写入“独一无二”的数据,节省存储空间的同时让恢复的速度更快。     

Albireo成就实时重复数据删除技术

数据优化存储的领先开发商和供应商Permabit公司于近日宣布了业界领先的数据优化解决方案的Wikibon容量优化比率效能(CORE)分析的结果。Wikibon将Permabit公司新一代采用GX技术的Albireo解决方案提名为在性能和IO密集型工作负载投资收益方面的双赢家。ESG实验室最近一次的分析证实,Albireo以每秒     

Permabit宣布推出业内首个提供主数据重复删除的嵌入式解决方案

Permabit公司近日宣布推出一款新品-Albireo高性能数据优化软件。截止目前,Permabit已经有多个产品设计赢得了领先的OEM厂商青睐,而Albireo,这个业内首款也是唯一一款OEM嵌入式数据优化解决方案。将于2010年底通过这些OEM厂商正式上市。Albireo作为新一代数据优化解决方案,     

基于云存储的重复数据删除架构的研究与设计

随着云计算的发展,云存储技术通过集群应用、虚拟化技术、分布式文件系统等功能将网络中大量各种不同类型的存储设备集合起来协同工作,缓解了老式数据中心的存储压力.另外,重复数据删除技术是一种缩减存储空间减少网络传输量的技术,随着云的广泛应用也势必会发展应用于云存储中.这两种技术结合将会给IT存储业带来实际效益.本文通过研究重复数据删除技术、云存储技术,设计了基于云存储的重复数据删除架构,提出了一种用In-line方式在客户端进行数据块级与字节级相结合的重复数据删除操作后再将数据存入云中的方案.在本架构下,海量数据存储在HDFS中;而文件数据块的哈希值存储在HBase中.     

体验重复数据删除

在企业中,存储空间的使用往往是惊人的,例如备份数据、文件服务器数据、虚拟化平台数据等。而在以往的Windows系统平台中并没有特别直接有效的方式来帮助我们节省磁盘空间,最终到了Windows Server2012系统中才新增了重复数据删除技术,让很多使用Windows Server平台的用户看到了希望,而这一点也成为大多数用户将Windows Server升级到2012平台的动因之一。为了更方便操作和介绍,笔者在虚拟系统环境里体验了一次重复数据删除技术的魅力。