基于BLOOM FILTER过滤算法的重复数据删除技术的研究与改进

随着企业数据信息量的不断地增加,海量数据信息的存储和不断备份给企业的存储空间带来了巨大的存储压力。该文深入研究重复数据删除技术,并针对目前重复数据删除技术中存在的数据丢失及性能低等问题以及BLOOM FILTER算法流程和重复数据删除策略的分析和研究,提出了一种重复数据删除技术优化模型。测试分析表明,该优化模型实现了高效和安全的重复数据删除功能,节省了企业内部存储空问的存储成本开销。     

重复数据删除关键技术研究进展

企业数据量的不断增长和数据传输率要求的不断提高,使得数据中心海量存储空间和高带宽网络传输需求成为当前网络存储领域面临的严峻挑战.利用特定应用数据集内数据高度冗余的特性,重复数据删除技术能够极大地缩减数据存储容量需求,提高网络带宽利用率,降低企业IT运营成本.目前,重复数据删除技术已成为国内外的研究热点.首先介绍重复数据删除技术的概念、分类及其应用;阐述重复数据删除系统的体系结构和基本原理,并与传统存储系统进行对比.然后重点分析和总结重复数据删除各项关键技术的研究现状,包括数据划分方法、I/O优化技术、高可靠数据配置策略以及系统可扩展性.最后对重复数据删除技术的研究现状进行总结,并指出未来可能的研究方向.     

基于MD5算法的重复数据删除技术的研究与改进

随着信息技术的快速发展,信息化已成为决定企业生存与发展的关键因素之一;然而随着企业数据信息量的不断地增加,海量数据信息的存储和不断备份已经给企业的存储空间带来了巨大的存储压力;为此,深入研究了重复数据删除技术,并针对目前重复数据删除技术中存在的数据丢失及性能低等问题以及MD5算法流程和重复数据删除策略的分析和研究,提出了一种重复数据删除技术优化模型;测试分析表明,该优化模型实现了高效和安全的重复数据删除功能,节省了企业内部存储空间的存储成本开销。     

一种基于重复数据删除技术的云中云存储系统

随着云存储技术的快速发展和应用,越来越多的企业和用户都开始将数据从本地转移到云存储服务提供商进行存储.但是,在享受云存储高质量服务的同时,将数据仅仅存储于单个云存储服务商中会带来一定的风险,例如云存储服务提供商的垄断、数据可用性和安全性等问题.为了解决这个问题,提出了一种基于重复数据删除技术的云中云存储系统架构,首先消除云存储系统中的冗余数据量,然后基于重复数据删除集中的数据块引用率将数据块以复制和纠删码2种数据布局方式存储在多个云存储服务提供商中.基于复制的数据布局方式易于实现部署,但是存储开销大;基于纠删码的数据布局方式存储开销小,但是需要编码和解码,计算开销大.为了充分挖掘复制和纠删码数据布局的优点并结合重复数据删除技术中数据引用的特点,新方法用复制方式存储高引用数据块,用纠删码方式存储其他数据块,从而使系统整体性能和成本达到较优.通过原型系统的实现和测试验证了相比现有云中云存储策略,新方法在性能和成本上都有大幅度提高.     

基于云存储的重复数据删除架构的研究与设计

随着云计算的发展,云存储技术通过集群应用、虚拟化技术、分布式文件系统等功能将网络中大量各种不同类型的存储设备集合起来协同工作,缓解了老式数据中心的存储压力.另外,重复数据删除技术是一种缩减存储空间减少网络传输量的技术,随着云的广泛应用也势必会发展应用于云存储中.这两种技术结合将会给IT存储业带来实际效益.本文通过研究重复数据删除技术、云存储技术,设计了基于云存储的重复数据删除架构,提出了一种用In-line方式在客户端进行数据块级与字节级相结合的重复数据删除操作后再将数据存入云中的方案.在本架构下,海量数据存储在HDFS中;而文件数据块的哈希值存储在HBase中.     

分析：采用重复数据删除技术十项注意

重复数据删除（Data deduplication）无疑是存储行业近年来最“热闹”的技术。它消除了传统备份技术衍生出的重复存储数据问题．进而为企业节省成本。     

重复数据删除：同步or异步

重复数据删除的两种技术方式各有千秋,用户在应用实践中应从需求出发各有侧重。最近,各大存储厂商关于重复数据删除技术动作不断。首当其冲的是IBM,其把之前收购的专注于重复数据删     

布隆过滤器在重复数据删除中的应用

重复数据删除技术是一种数据缩减技术,它可以减少对物理存储空间的需求,从而满足日益增长的数据存储需求。该文将Bloom过滤器应用于重复数据删除技术中,加入两级fingerprint映射表,经过多个高效率的散列函数的计算,以引入较小的"假阳性错误率"为代价,增大磁盘的空余量。     

重复数据删除技术

应对数据增长的重磅武器过去几年,重复数据删除作为能够对抗数据资料大规模增长的武器,在数据中心中已获得广泛认可。IT部门几乎在任何事物中都能为重复数据删除找到一席之地,从主存储到长期数据保留,但是重复数据删除在数据中心里值得称道的职责却在于备份和灾难恢复(DR)。在这里,重复数据删除技术提供     

重复数据删除预测技术研究

重复数据删除技术是现在存储领域广泛应用的一种数据缩减技术.重复数据预测技术能够在执行重复数据删除之前,让用户了解系统的效用,为用户如何使用存储系统提供参考.当前,重复数据预测技术不断发展,并已经有企业将其广泛应用.现有的几种重复数据删除预测技术都拥有了很高的准确性和很好的应用环境,一种基于应用感知的重复数据预测技术能够进一步减小预测索引表的大小,进一步地提升了预测算法的性能.索引表的自适应更新算法能够将来访数据内部的冗余度考虑在内,进一步提高了重复数据预测的准确性.     

基于内容的重复数据删除技术的研究

随着企业数据信息量的不断地增加,海量数据信息的存储和不断备份已经给企业的存储空间带来了巨大的存储压力;本文分析了当前主要的重复数据检测和删除技术,,并分析了其优缺点。并提出一种基于内容的重复数据删除策略。     

“零距离”重复数据删除

重复数据删除技术大约是从2006年进入人们视线的,最初提供这项技术产品的企业包括DataDomain、Asigra、Avamar、Diligent以及OEM软件企业Rocksoft等。如今,我们看到几乎所有销售数据保护产品的企业都开始涉猎这项技术,业内人士对重复数据删除技术寄予厚望。有分析家说,异军突起的重复数据删除技术,将会改写存储行业的经济规则。     

云加密数据安全重复删除方法

在云环境存储模式中,采用用户端数据加密虽然能够有效降低数据的存储安全风险,但同时会使云服务商丧失重复数据鉴别能力,导致存储开销随数据量增大而不断攀升.加密数据重复删除技术是解决该问题的方法之一,现有方案通常基于可信第三方设计,安全性假设过强,执行效率较低.基于椭圆曲线与密文策略属性加密两种高安全密码学原语,构造了重复加密数据识别与离线密钥共享两种安全算法,进而实现一种无需初始数据上传用户与可信第三方实时在线的加密数据重复删除方法.详细的安全性与仿真实验分析,证明该方法不仅实现数据的语义安全,同时能够保证系统的高效率运行.     

存储市场新闻

存储软件 NetApp发布A-SiS重复数据删除技术；赛门铁克推出整合式安全归档套件；新品上市 Data Domain推出全新DD580重复数据删除系统；SUN在京发布ST2500存储系列产品；Xiotech推出专注电子发现一揽子方案……     

重复数据删除可实现25:1压缩

本报讯记者张郁报道数据量的增长,使数据存储和管理的复杂性也相应的增加,存储密度的提高,使得保存数据比决定哪些数据有保存价值的成本更低,而在这些需要快速备份和恢复的数据中,存在大量的重复数据。有效的重复数据删除技术,可以让企业用户节省大量的存储空间和成本。虚拟磁带库厂商Sepaton提供的基于内容已知技术的DeltaStor,是用于S E P A T O N S2100虚拟磁带库的新一代重复数据删除软件,可以让企业用户以与物理磁带相当的成本在线存储更多的数据。据介绍,SEPATONDeltaStor技术使用delta冗余删除技术。使用这种技术,DeltaStor…     

Linux下高效存储优化的研究

随着数据的指数性增长,存储技术成为信息产业发展的核心动力,存储系统在一定程度上比计算系统和通信系统更加重要。如何高效地存储和优化存储空间,是存储系统急需解决的问题。本文介绍高效存储技术中的RAID技术、重复数据删除技术、数据压缩技术等,并在Linux环境下设计与实现具有高效存储优化特点的应用程序。试验表明该应用程序实现了软件RAID,删除了重复性数据,提高了存储空间利用率,降低了存储能耗。     

重复数据删除走向“源头”

为了挖掘现有存储资源,优化企业存储系统,重复数据删除技术成为当下用户的应用热点。 但是,如何部署重复数据删除技术,是在数据源头还是存储后台,是在备份系统还是归档系统,如何与逐渐普及的虚拟化应用相互融合,所有这些都是影响重复数据删除应用效果的重要问题。     

基于离线密钥分发的加密数据重复删除方法

重复数据删除技术受到工业界和学术界的广泛关注.研究者致力于将云服务器中的冗余数据安全的删除,明文数据的重复删除方法较为简单.而用户为了保护隐私,会使用各自的密钥将数据加密后上传至云服务器,形成不同的加密数据.在保证安全性的前提下,加密数据的重复删除较难实现.目前已有的方案较多依赖在线的可信第三方.提出一种基于离线密钥分发的加密数据重复删除方案,通过构造双线性映射,在不泄露数据隐私的前提下,验证加密数据是否源自同一明文.利用广播加密技术实现加密密钥的安全存储与传递.任意数据的初始上传者能够借助云服务器,以离线方式验证后继上传者的合法性并传递数据加密密钥.无需可信第三方在线参与,实现云服务器对加密数据的重复删除.分析并证明了方案的安全性.仿真实验验证了方案的可行性与高效性.     

一种基于重复数据删除的网络文件备份系统设计与实现

针对广域网中网络备份系统存在备份速度低、网络带宽需求高和数据冗余等问题,提出并实现一种具有重复数据删除功能的网络文件备份系统。通过在客户端实现重复数据删除技术,对文件进行分块和在备份过程中去除重复数据块,减少客户端与服务期间需要传输的数据量,使得文件备份的速度获得较大提高,也较大地降低网络带宽要求,显著提高了网络备份系统的性能。此外,备份过程中客户端去除了重复的数据块使得服务器中存储的数据块都是唯一的,极大地降低了系统所需要的存储空间,同时,服务器端的数据块引用管理的设计很好地解决了空闲数据块耗费存储空间的问题。     

“重整”重复数据删除

最近,存储领域出现一个重磅消息。NetApp公司花费15亿美元与Data Domain公司达成收购协议,由此,Data Domain这个曾经以重复数据删除技术风生水起的存储厂商将面临新的格局。