基于重复数据删除的远程备份系统

针对传统远程备份中大量冗余数据导致备份效率低下和存储空间浪费的问题,设计并实现了一个基于重复数据删除的远程备份系统。首先根据文件的内容用Rabin指纹将备份文件划分为变长的数据块,把每个数据块的相关信息发送到备份中心,在备份中心利用Google Bigtable及Leveldb的索引算法辅以布隆过滤器对数据块进行判重,最后只传输和存储不重复的数据块。实验结果表明,采用该系统备份相似的数据集能够有效删除其中的重复数据。对数据集进行增量备份,在增量数据变化不大时,相比Rsync备份有更少的网络流量。     

一种基于重复数据删除的Oracle数据库备份系统

针对在数据备份服务器中存在大量重复数据的问题,提出了一种基于重复数据删除技术的oracle数据库备份系统。系统首先生成临时备份文件,然后把临时文件划分成不重叠的块,通过哈希算法计算每个块的指纹值。在数据灾备中心建立hash表记录已存储数据块的指纹值。通过对比指纹值,检测重复数据。为了提高数据安全性,采用了一定的安全机制来防止信息泄露以及数据丢失。实验证明,该系统在实现远程备份的同时,有效地减少了备份的数据。     

一种基于重复数据删除的备份系统

重复数据删除技术有效地提升了备份系统的备份效率,但重复数据的匹配开销也随之增加.针对该问题,设计并实现了一种基于重复数据删除的备份系统THBS,该系统提出了高精简的数据备份方法HAD(hierachical approach of data deduplication),依次从目录、文件、块、字节粒度分层多步,由粗及细地匹配删除重复数据,同时采用bloomfilter和倒排索引技术,以减少不必要的数据匹配与磁盘访问,提高匹配查找速度.通过两组真实数据集的实验发现,THBS在备份过程中节省了63.1%～96.7%的存储空间,比Scp和Rsync分别节约了71.3%～97.6%,41.2%～66.7%的网络带宽,累计备份时间分别为Scp和Rsync的75%～86%和91%～97%.     

基于重复数据删除技术的SQL Server数据库备份系统

提出了一种基于重复数据删除技术的SQL Server数据库备份系统.系统在临时备份文件生成后将其划分成变长数据块并计算其指纹值作为数据块的惟一标志,在传输文件到远程灾备中心时只传输数据块的单一实例,减小传输量,节省远程灾备中心处存储空间;在灾备中心建立hash表记录已存储数据块指纹值;为了提高数据可靠性,引入受限的冗余...     

一种基于重复数据删除的网络文件备份系统设计与实现

针对广域网中网络备份系统存在备份速度低、网络带宽需求高和数据冗余等问题,提出并实现一种具有重复数据删除功能的网络文件备份系统。通过在客户端实现重复数据删除技术,对文件进行分块和在备份过程中去除重复数据块,减少客户端与服务期间需要传输的数据量,使得文件备份的速度获得较大提高,也较大地降低网络带宽要求,显著提高了网络备份系统的性能。此外,备份过程中客户端去除了重复的数据块使得服务器中存储的数据块都是唯一的,极大地降低了系统所需要的存储空间,同时,服务器端的数据块引用管理的设计很好地解决了空闲数据块耗费存储空间的问题。     

重复数据删除预测技术研究

重复数据删除技术是现在存储领域广泛应用的一种数据缩减技术.重复数据预测技术能够在执行重复数据删除之前,让用户了解系统的效用,为用户如何使用存储系统提供参考.当前,重复数据预测技术不断发展,并已经有企业将其广泛应用.现有的几种重复数据删除预测技术都拥有了很高的准确性和很好的应用环境,一种基于应用感知的重复数据预测技术能够进一步减小预测索引表的大小,进一步地提升了预测算法的性能.索引表的自适应更新算法能够将来访数据内部的冗余度考虑在内,进一步提高了重复数据预测的准确性.     

重复数据删除初体验

数据存储优化一直是众多系统管理员关心的问题,如何在有限的空间存储更多的数据,并保证数据的有效性和完整性,本文就这些问题对Windows Server2012下的重复数据删除功能进行一番体验。     

重复数据删除技术

重复数据删除技术主要分为两类:相同数据的检测技术和相似数据的检测与编码技术,系统地总结了这两类技术,并分析了其优缺点.此外,由于重复数据删除技术会影响存储系统的可靠性和性能,又总结了针对这两方面的问题提出的各种技术.通过对重复数据删除技术当前研究现状的分析,得出如下结论:a) 重复数据删除中的数据特性挖掘问题还未得到完全解决,如何利用数据特征信息有效地消除重复数据还需要更深入的研究;b) 从存储系统设计的角度,如何引入恰当的机制打破重复数据删除技术的可靠性局限并减少重复数据删除技术带来的额外系统开销也是一个需要深入研究的方面.     

重复数据删除技术

重复数据删除技术主要分为两类:相同数据的检测技术和相似数据的检测与编码技术,系统地总结了 这两类技术,并分析了其优缺点.此外,由于重复数据删除技术会影响存储系统的可靠性和性能,又总结了针对这 两方面的问题提出的各种技术.通过对重复数据删除技术当前研究现状的分析,得出如下结论:a) 重复数据删除 中的数据特性挖掘问题还未得到完全解决,如何利用数据特征信息有效地消除重复数据还需要更深入的研 究;b) 从存储系统设计的角度,如何引入恰当的机制打破重复数据删除技术的可靠性局限并减少重复数据删除技术带来的额外系统开销也是一个需要深入研究的方面.     

基于重复数据删除的资料管理解决方案

重复数据删除通过删除冗余数据的方式减小实际的存储容量需求。重复数据删除需要把数据分成块,并与系统中现存的数据集相比较。如果数据内容相同,重复数据仅记录实际保存数据的物理地址。这一过程的代价是增加写延迟。为了提高查找相同块的性能,一般采用布隆过滤器,它利用位数组很简洁地表示一个集合,并能判断一个元素是否属于这个集合。它在能容忍低错误率的应用场合下,重复数据删除通过很少的错误换取了存储空间的节省。     

作应用于远程文件备份系统的关键技术*

介绍了可应用于远程文件备份系统的关键技术,包括对于传统RSYNC算法的改进、采用快照技术、设计有效的文件同步策略和在服务器端进行加密存储。实验表明,采用这些技术可以使系统有效降低网络流量,从而实现高效、快速和安全的远程文件同步。     

文件系统增量备份策略的形式化描述及实现

文件系统备份和恢复过程中,需根据当前备份资源树和历史备份资源树进行合并等操作,这种操作在物理上表现为对目录树和资源树的处理.特别是增量备份时,它指明备份资源.恢复过程中,用户可以利用该策略根据时间点进行完全恢复和部分恢复.给出一种对备份资源树的解析算法,并进行分析,在算法的基础上对备份资源树进行了形式化描述.     

基于MVC的文件备份后台管理系统的设计与实现

为了提高文件备份系统的效率,并为文件备份系统的远程备份中心提供全面的管理功能,提出了基于MVC(model-view-controller)设计模式的文件备份后台管理系统。介绍了文件备份系统的架构,研究了MVC的设计思想以及Joomla框架的原理,在此基础上,将基于MVC设计模式的Joomla框架引入到文件备份后台管理系统的开发中,并基于LAMP平台设计与实现了文件备份后台管理系统,确保了系统的高效,结构清晰以及良好的可扩展性、可维护性与可重用性。     

基于事件的文件备份方法研究与实现

为了提高文件备份效率,提出了一种基于事件的文件备份方法.通过文件系统过滤驱动,实时监控文件,捕获受监控文件成功的操作信息,转化为程序可识别事件记录到日志.根据日志记录对文件进行分类,再根据时应的策略进行备份,给出了文件监控、备份队列生成和差异集重构的方法.实验结果表明,与Rsyac相比,该方法有效地降低了文件备份网络流量和计算量,大幅度提高了文件备份的效率.     

Techniques for file system simulation

Careful simulation-based evaluation plays an important role in the design of file and disk systems. We describe here a particular approach to such evaluations that combines techniques in workload synthesis, file system modeling, and detailed disk behavior modeling. Together, these make feasible the detailed simulation of I/O hardware and file system software. In particular, using the techniques described here is likely to make comparative file system studies more accurate. In addition to these specific contributions, the paper makes two broader points. First, it argues that detailed models are appropriate and necessary in many cases. Second, it demonstrates that detailed models need not be difficult or time consuming to construct or execute.     

安全的灾难备份系统

针对传统灾难备份系统安全性不高的问题,提出一种安全的灾难备份系统,使用差错校验、安全传输和加密存储,保障了备份数据在传输、存储过程中的安全性。在完全同步完成后,通过卷过滤驱动实时监控磁盘数据变化,采用高速缓存存储捕获到的数据,并通过网络发送到远程备份中心。该方法实现了数据的高效、实时、异地备份,同时兼顾了安全性和高效性。     

一种网络备份系统的数据高速缓存方法*

提出了一种网络备份系统的数据高速缓存方法,可用于本地数据带宽大于备份线路带宽的备份系统中,尤其是基于Internet的备份系统。该方法通过在本地服务器上部署高速缓存器来暂存服务器的变化数据,并在稍后通过备份线路将缓存的数据发送到远程服务器进行备份。     

Recoverable file system for microprocessor systems

Initiation of recovery procedures, after a system failure, cannot always be expected from the users of microprocessor systems. Automatic recovery is required after system startup from a failure. The paper proposes a simple file store design such that the integrity of data is assured and the loss of data is minimized after a system failure. The concepts of check-point and shadow-page mechanisms used in databases are adopted to achieve recovery in microprocessor systems. The overhead involved in such a file system is also discussed.     

备份系统有效备份速度研究与分析

为了精确估计备份窗口和性能,从系统分析角度出发,以有效备份速度作为性能指标,运用测量技术和方法,应用简单测试工具,对典型备份系统中主要组件的读写速度和有效备份速度进行了测量和分析,确定了备份瓶颈,并提出改进备份系统的建设性建议.测量和分析结果已经用于估计备份窗口和当前备份系统的性能优化,并对未来备份系统的技术选型具有实际借鉴意义.