面向重复数据消除的备份数据加密方法

为解决保证数据机密性与提高重复数据消除率之间的矛盾,提出了一种面向重复数据消除的备份数据加密方法,该方法利用分块内容的哈希值生成分块对称密钥,保证了明文分块与密文分块之间的一一对应。只要用户私钥和身份识别口令不同时泄露,该方法能够有效保证备份数据存储及传输过程中的机密性。实验结果表明,该方法较好地解决了传统加密方法与重复数据消除技术不兼容的问题,大幅度提高了加密备份数据的存储空间利用率,适用于对数据机密性有要求的海量数据备份应用。     

重复数据检测在多版本数据备份中的应用

分析了当前主要的重复数据检测技术,针对多版本数据的备份/还原过程提出了重复数据检测三级模型,有效地解决了检测粒度和检测开销之间的矛盾,从而减少了多版本数据备份/还原过程中的数据传输量,节省了备份空间。     

重复数据检测在多版本数据备份中的应用*

分析了当前主要的重复数据检测技术,针对多版本数据的备份/还原过程提出了重复数据检测三级模型,有效地解决了检测粒度和检测开销之间的矛盾,从而减少了多版本数据备份/还原过程中的数据传输量,节省了备份空间。     

消除重复值数据清理方法的研究

脏数据是整个数据仓库的隐患，因此数据清理对维护数据仓库和大型数据库极有价值。本课题介绍和研究数据清理的方法和技术．重点讨论消除中文重复数据的分析方法．并且对这些方法进行验证．分析和实现。     

基于重复数据删除的远程备份系统

针对传统远程备份中大量冗余数据导致备份效率低下和存储空间浪费的问题,设计并实现了一个基于重复数据删除的远程备份系统。首先根据文件的内容用Rabin指纹将备份文件划分为变长的数据块,把每个数据块的相关信息发送到备份中心,在备份中心利用Google Bigtable及Leveldb的索引算法辅以布隆过滤器对数据块进行判重,最后只传输和存储不重复的数据块。实验结果表明,采用该系统备份相似的数据集能够有效删除其中的重复数据。对数据集进行增量备份,在增量数据变化不大时,相比Rsync备份有更少的网络流量。     

一种基于重复数据删除的备份系统

重复数据删除技术有效地提升了备份系统的备份效率,但重复数据的匹配开销也随之增加.针对该问题,设计并实现了一种基于重复数据删除的备份系统THBS,该系统提出了高精简的数据备份方法HAD(hierachical approach of data deduplication),依次从目录、文件、块、字节粒度分层多步,由粗及细地匹配删除重复数据,同时采用bloomfilter和倒排索引技术,以减少不必要的数据匹配与磁盘访问,提高匹配查找速度.通过两组真实数据集的实验发现,THBS在备份过程中节省了63.1%～96.7%的存储空间,比Scp和Rsync分别节约了71.3%～97.6%,41.2%～66.7%的网络带宽,累计备份时间分别为Scp和Rsync的75%～86%和91%～97%.     

基于重复数据删除的多用户文件备份系统

针对在文件备份服务器中存在大量重复数据的问题,设计了一种基于重复数据删除的文件备份系统,为位于不同地理位置的多个用户提供备份服务。该系统不仅删除用户内部的重复数据,也删除不同用户之间的重复数据,进一步节省存储空间,与此同时,采用了一定的安全机制来防止数据丢失以及用户数据信息泄漏。实验结果表明了系统的可行性,为多用户构建统一的备份中心提供了一种新的解决方案。     

基于重复数据删除技术的SQL Server数据库备份系统

提出了一种基于重复数据删除技术的SQL Server数据库备份系统.系统在临时备份文件生成后将其划分成变长数据块并计算其指纹值作为数据块的惟一标志,在传输文件到远程灾备中心时只传输数据块的单一实例,减小传输量,节省远程灾备中心处存储空间;在灾备中心建立hash表记录已存储数据块指纹值;为了提高数据可靠性,引入受限的冗余...     

一种基于重复数据删除的Oracle数据库备份系统

针对在数据备份服务器中存在大量重复数据的问题,提出了一种基于重复数据删除技术的oracle数据库备份系统。系统首先生成临时备份文件,然后把临时文件划分成不重叠的块,通过哈希算法计算每个块的指纹值。在数据灾备中心建立hash表记录已存储数据块的指纹值。通过对比指纹值,检测重复数据。为了提高数据安全性,采用了一定的安全机制来防止信息泄露以及数据丢失。实验证明,该系统在实现远程备份的同时,有效地减少了备份的数据。     

一种基于预分块和滑动窗口的重复数据消除方法

针对现有重复数据消除方法中提高压缩比和降低元数据开销之间的矛盾,提出了一种基于预分块和滑动窗口的重复数据消除方法并建立了性能分析通用模型.该方法首先对数据对象进行基于内容的预分块,再对数据变动区域和非变动区域采用不同的分块策略,从而在分块大小预期值较大时,仍能获得较高的压缩比并降低了元数据开销.真实数据集上的实验结果表明,该方法的平均压缩比高于现有最优值,而平均时间开销显著降低.     

基于有序哈希链的文件数据同步方法

针对现有文件数据同步传输方法效率低、局部更新困难的问题,提出一种哈希链构建及文件数据同步方法。将C/S架构中服务器端文件或目录的变化作为一系列哈希节点,根据时间先后顺序,通过哈希函数迭代文件或目录的哈希值,形成能够记录文件库所有操作状态的有序哈希链。客户端只需根据哈希链节点执行相同文件操作并进行同步更新,而不需要对每个文件数据进行同步认证,确保文件库的完整性、不可抵赖性、可溯源性和防篡改性。采用有序哈希链的同步方法对不同终端进行文件数据差异监视和一致性检测,以快速获取文件变化并进行逻辑同步。实验结果表明,该方法在文件库未变动模式下的平均同步加速比为94.85%,在文件库变动的模式下,相较于“quick check”策略和常规策略的Rsync算法,平均同步加速比分别为6.5%和69.99%。有效地减少了同步过程中时间和资源的消耗。     

基于数据分组匹配的相似重复记录检测

针对数据集成中相似重复记录的识别问题,提出一种数据特征属性优选分组的算法。通过计算特征属性的方差来确定某维属性的权值,基于数据分组思想选择权值大的属性,将数据集分割成不相交的小数据集,并在各小数据集中用模糊匹配算法进行相似重复记录的识别。理论分析和实验结果表明,该方法识别效率和检测精度较高。     

工业自动化控制中数据查重系统的设计与实现

本文系统地讨论了烟草工业自动化系统中用户管理数据库系统内经常出现的数据重复问题，并建立了几种数据重复判断模型，最后评定了几种模型的优缺点。     

基于字节指纹极值特征的数据分块算法

针对基于内容的数据分块算法中基本滑动窗口算法不能确定最大数据块的问题,提出一种基于字节指纹极值特征的数据分块算法。算法以上一个块边界点为起点构建最大块长区间,通过定义字节指纹极值域半径函数F并利用函数F值的分布特性,以概率1在允许的最大块长的区间内确定下一个块边界点。该算法克服了基本滑动窗口等分块算法不能确定最大分块长度的不足,其时间复杂度为O(n)。     

网页去重方法研究

随着互联网技术的高速发展,网络中网站的数量成倍增长,这些网站提供了大量的信息,但不同的网站中存在着大量的重复信息,这些信息被搜索引擎反复的索引,因此在用户使用搜索引擎检索信息的时候就会发现有很多是来自不同网站的相同信息。采用信息抽取技术提取网页正文内容,利用加密技术对文本字符串进行转换并形成唯一的数字串,通过对数字串对比,标记出具有相同内容的网页,以此来提高搜索引擎的效率和质量。     

双机同步热备方法研究

随着对系统工作可靠性的要求越来越高,双机在线热备在多个工程项目中广泛采用,继而对双机数据同步和在线数据备份也提出了相关需求,根据工程中的实际需求,针对双机数据同步和数据在线备份的解决方法做了深入的研究。通过对Oracle数据库的深入学习,利用Oracle数据库的数据能够根据约束条件实现分区存储的特点,提出了一种双机数据同步,数据库存储数据在线备份的解决方案,为相关人员提供了极有价值的参考信息和有效方法。     

电子数据备份方法探讨

在广泛开展的信息化工作中,由于各种原因引起的电子数据丢失时常发生,当丢失的数据无法恢复时会造成不同程度的损失,因此需要对电子数据进行安全备份。针对电子数据备份的重要性及经常发生的问题,论述了数据备份的方式和等级,提出了加强数据备份的管理,健全管理制度以及完善数据备份的过程与环节。应用相关技术,在确保安全的前提下,选择操作性强、成本较低的备份方式和等级,充分发挥数据备份的作用。     

一种基于身份证书的数字签名方案设计

在分析了基本数字签名方法的基础上,本文设计并实现了基于离散对数困难问题（DLP）、辅以Hash函数和公钥证书进行签名和验证签名的数字签名方法。它在随机Oracle模式下是安全的且签名方进行签名只需要一次指数运算、一次模乘运算和一次加法运算,在线计算量则只需一次乘法和一次加法,因而是高效的且适合智能卡的应用。     

基于概念和语义网络的近似网页检测算法

在搜索引擎的检索结果页面中,用户经常会得到内容近似的网页.为了提高检索整体性能和用户满意度,提出了一种基于概念和语义网络的近似网页检测算法DWDCS(near-duplicate webpages detection based on concept and semantic network).改进了经典基于小世界理论...