重复数据删除技术

重复数据删除技术主要分为两类:相同数据的检测技术和相似数据的检测与编码技术,系统地总结了这两类技术,并分析了其优缺点.此外,由于重复数据删除技术会影响存储系统的可靠性和性能,又总结了针对这两方面的问题提出的各种技术.通过对重复数据删除技术当前研究现状的分析,得出如下结论:a) 重复数据删除中的数据特性挖掘问题还未得到完全解决,如何利用数据特征信息有效地消除重复数据还需要更深入的研究;b) 从存储系统设计的角度,如何引入恰当的机制打破重复数据删除技术的可靠性局限并减少重复数据删除技术带来的额外系统开销也是一个需要深入研究的方面.     

重复数据删除技术

重复数据删除技术主要分为两类:相同数据的检测技术和相似数据的检测与编码技术,系统地总结了 这两类技术,并分析了其优缺点.此外,由于重复数据删除技术会影响存储系统的可靠性和性能,又总结了针对这 两方面的问题提出的各种技术.通过对重复数据删除技术当前研究现状的分析,得出如下结论:a) 重复数据删除 中的数据特性挖掘问题还未得到完全解决,如何利用数据特征信息有效地消除重复数据还需要更深入的研 究;b) 从存储系统设计的角度,如何引入恰当的机制打破重复数据删除技术的可靠性局限并减少重复数据删除技术带来的额外系统开销也是一个需要深入研究的方面.     

小型企业重复数据现象揭秘

目前，我们正处在一个数据暴增的时代，许多小型企业由于没有相应地提高IT预算，而对海量数据带来的挑战显得力不从心；而有些企业则能够通过消除重复数据，最大限度地利用其存储容量以达到立竿见影的效果。在过去，这类技术对于成长型企业而言是不易实现的。     

重复数据删除预测技术研究

重复数据删除技术是现在存储领域广泛应用的一种数据缩减技术.重复数据预测技术能够在执行重复数据删除之前,让用户了解系统的效用,为用户如何使用存储系统提供参考.当前,重复数据预测技术不断发展,并已经有企业将其广泛应用.现有的几种重复数据删除预测技术都拥有了很高的准确性和很好的应用环境,一种基于应用感知的重复数据预测技术能够进一步减小预测索引表的大小,进一步地提升了预测算法的性能.索引表的自适应更新算法能够将来访数据内部的冗余度考虑在内,进一步提高了重复数据预测的准确性.     

重复数据删除初体验

数据存储优化一直是众多系统管理员关心的问题，如何在有限的空间存储更多的数据，并保证数据的有效性和完整性，本文就这些问题对Windows Server2012下的重复数据删除功能进行一番体验。     

重复图数据收缩清理策略

重复数据的存在对数据管理和使用带来了极大的困扰,图数据能够很好地反应数据与数据之间的联系,是数据发展的趋势。对于重复数据对的检测已经有大量研究,但鲜有研究关注于对检测后数据对的合并清理。由于图数据中数据关联的复杂性,如果随意去掉其中一个数据将会带来数据间关系的混乱,所以,对于图数据中数据的去重问题更为重要。针对以上问题,为了保证图数据之间的关联关系和图的稳定性,研究在检测重复数据后,提出一种适合图数据中重复数据对的整合清理策略。该策略将图收缩性引入清理方法,针对不同的情况采用不同的处理方法,以保证清理后图的关联性和稳定性。     

揪出重复数据无效数据

Excel强大的制表功能,给我们的工作带来了方便,但是在表格数据录入过程中难免会出错,一不小心就会录入一些错误的数据,比如重复的身份证号码、超出范围的无效数据等。其实,只要合理设置“数据有效性”规则,就可以避免错误。下面咱们通过两个实例来体验一下Excel2007“数据有效性”的妙用。     

基于内容的重复数据删除技术的研究

随着企业数据信息量的不断地增加,海量数据信息的存储和不断备份已经给企业的存储空间带来了巨大的存储压力;本文分析了当前主要的重复数据检测和删除技术,,并分析了其优缺点。并提出一种基于内容的重复数据删除策略。     

重复数据删除技术

应对数据增长的重磅武器过去几年,重复数据删除作为能够对抗数据资料大规模增长的武器,在数据中心中已获得广泛认可。IT部门几乎在任何事物中都能为重复数据删除找到一席之地,从主存储到长期数据保留,但是重复数据删除在数据中心里值得称道的职责却在于备份和灾难恢复(DR)。在这里,重复数据删除技术提供     

重复数据删除技术分析及其对存储系统性能的影响

重点分析了重复数据删除技术和这种技术对系统性能影响等有关方面的问题。     

大数据环境下高维数据的快速重复检测方法

大数据时代多源、异构、海量的数据正逐渐成为各种应用的主流.多源异构不可避免地会使数据出现重复,同时庞大的数据量对重复检测的效率提出了极高的要求,传统技术在大数据环境下并不能很好地对高维数据进行重复检测,就此问题展开研究,分析了传统SNM类方法的不足,将重复问题概化为一类特殊的聚类问题,利用R-树建立了高效的索引,利用聚类簇的特性减少了在R-树叶子中比较的次数,利用重复检测的Apriori性质实现了对高维数据集并行处理.实验结果表明,提出的算法能有效地提高高维数据的重复检测效率.     

重复数据删除关键技术研究进展

企业数据量的不断增长和数据传输率要求的不断提高,使得数据中心海量存储空间和高带宽网络传输需求成为当前网络存储领域面临的严峻挑战.利用特定应用数据集内数据高度冗余的特性,重复数据删除技术能够极大地缩减数据存储容量需求,提高网络带宽利用率,降低企业IT运营成本.目前,重复数据删除技术已成为国内外的研究热点.首先介绍重复数据删除技术的概念、分类及其应用;阐述重复数据删除系统的体系结构和基本原理,并与传统存储系统进行对比.然后重点分析和总结重复数据删除各项关键技术的研究现状,包括数据划分方法、I/O优化技术、高可靠数据配置策略以及系统可扩展性.最后对重复数据删除技术的研究现状进行总结,并指出未来可能的研究方向.     

一种云存储系统中重复数据删除机制

基于现有重复数据删除策略,提出了一种基于负载均衡的C/S双端延迟重复数据删除方法.利用基于类型的数据分块方法将数据块分成若干块;利用MD5提取指纹值,与客户端本地的索引表对比指纹,若相同则用指针取代该数据块,具有数据块指纹和数据类型的索引表一同发送至控制器;控制器在收到客户端的请求后,首先根据自己实时监控得到的各服务器的当前状态来选择最佳目标存储节点;服务器端根据数据类型查询不同的索引表以缩小查找范围.对提出的方法的重复数据删除率进行了实验验证,结果表明该机制具有较好的性能表现.     

面向重复数据消除的备份数据加密方法

为解决保证数据机密性与提高重复数据消除率之间的矛盾,提出了一种面向重复数据消除的备份数据加密方法,该方法利用分块内容的哈希值生成分块对称密钥,保证了明文分块与密文分块之间的一一对应。只要用户私钥和身份识别口令不同时泄露,该方法能够有效保证备份数据存储及传输过程中的机密性。实验结果表明,该方法较好地解决了传统加密方法与重复数据消除技术不兼容的问题,大幅度提高了加密备份数据的存储空间利用率,适用于对数据机密性有要求的海量数据备份应用。     

重复数据删除充分利用IT预算

由于企业数据的不断增加,重复数据占用大量的存储空间,以惊人的速度耗尽存储资源。而重复数据删除的出现能确保在备份的时候只写入“独一无二”的数据,节省存储空间的同时让恢复的速度更快。     

基于重复数据删除的资料管理解决方案

重复数据删除通过删除冗余数据的方式减小实际的存储容量需求。重复数据删除需要把数据分成块,并与系统中现存的数据集相比较。如果数据内容相同,重复数据仅记录实际保存数据的物理地址。这一过程的代价是增加写延迟。为了提高查找相同块的性能,一般采用布隆过滤器,它利用位数组很简洁地表示一个集合,并能判断一个元素是否属于这个集合。它在能容忍低错误率的应用场合下,重复数据删除通过很少的错误换取了存储空间的节省。     

烟草工业数据灾备中重复数据删除技术研究

首先介绍了烟草工业灾备中重复数据删除技术重要要性,然后介绍了重复数据删除的最主要两种方法：基于哈希算法的重复数据删除和基于内容识别的重复数据删除。最后重点分析设计了适用于某综合营销平台系统数据备份恢复的重复数据删除策略,以减少网络带宽占用、节省存储空间、保护业务数据,为综合营销和智能决策的发展提供强有力的支撑。     

找出重复数据 学生分班别重名

我用Excel 2010对学生进行分班时，发现一些新分班中总会有重名重姓的学生出现，为了不在一个班里出现重名重姓的学生，就得从姓名列中查找出重名的学生，再手工与其他班同分值的学生调换，可是手工查找很困难，而用一个简单的函数就可轻松实现！     

布隆过滤器在重复数据删除中的应用

重复数据删除技术是一种数据缩减技术,它可以减少对物理存储空间的需求,从而满足日益增长的数据存储需求。该文将Bloom过滤器应用于重复数据删除技术中,加入两级fingerprint映射表,经过多个高效率的散列函数的计算,以引入较小的"假阳性错误率"为代价,增大磁盘的空余量。     

重复数据检测在多版本数据备份中的应用

分析了当前主要的重复数据检测技术,针对多版本数据的备份/还原过程提出了重复数据检测三级模型,有效地解决了检测粒度和检测开销之间的矛盾,从而减少了多版本数据备份/还原过程中的数据传输量,节省了备份空间。