基于重复数据删除的远程备份系统

针对传统远程备份中大量冗余数据导致备份效率低下和存储空间浪费的问题,设计并实现了一个基于重复数据删除的远程备份系统。首先根据文件的内容用Rabin指纹将备份文件划分为变长的数据块,把每个数据块的相关信息发送到备份中心,在备份中心利用Google Bigtable及Leveldb的索引算法辅以布隆过滤器对数据块进行判重,最后只传输和存储不重复的数据块。实验结果表明,采用该系统备份相似的数据集能够有效删除其中的重复数据。对数据集进行增量备份,在增量数据变化不大时,相比Rsync备份有更少的网络流量。     

基于Internet的高效文件备份方法

针对当前文件备份领域中存在备份效率低、速度慢的问题,提出一种基于差异的远程文件备份方法。改进传统Rsync算法,实现差异文件的计算功能,从而减少网络数据传输,保证传输的高效性。实验结果表明,与传统文件备份方法相比,该方法能减少网络流量,提升备份与恢复的效率。     

基于linux系统的文件实时备份系统

本文从企业的实际需求出发,总结当前备份软件存在的一些问题,根据这些备份软件备份过程中的关键技术,设计出一种linux下基于inotify机制以及Rsync算法的文件备份软件。实现不同类型同步事件的实时触发和事件类型识别,以及系统自动完成对不同文件同步事件的相应处理。利用Rsync算法计算文件差异,减少传输数据,减轻带宽压力。     

大数据访问中信息传输冗余量消除仿真

针对传统的大数据访问中信息传输冗余量消除方法存在查全率、信息传输冗余量消除效率以及速率较低等问题,提出了基于Hamming距离值的大数据访问中信息传输冗余量消除方法。利用滑动以及滚动相结合的窗口移动模式减少窗口计算量,将Rsync滚动校验算法以及MD5算法相结合,在文件任意位置开始计算滚动校验值,通过递进关系,获取连续数据块的校验值,根据不同数据块的校验值进行数据匹配。将经过匹配后的数据块利用CDC分块检测算法进行检测,根据余弦相似度计算公式以及Hamm距离值计算相似度,实现大数据访问中信息传输冗余量消除。实验结果表明,所提方法有效提高了冗余信息查全率、信息传输冗余量消除效率以及速率,能够快速、准确地消除多余的信息。     

一种基于重复数据删除的网络文件备份系统设计与实现

针对广域网中网络备份系统存在备份速度低、网络带宽需求高和数据冗余等问题,提出并实现一种具有重复数据删除功能的网络文件备份系统。通过在客户端实现重复数据删除技术,对文件进行分块和在备份过程中去除重复数据块,减少客户端与服务期间需要传输的数据量,使得文件备份的速度获得较大提高,也较大地降低网络带宽要求,显著提高了网络备份系统的性能。此外,备份过程中客户端去除了重复的数据块使得服务器中存储的数据块都是唯一的,极大地降低了系统所需要的存储空间,同时,服务器端的数据块引用管理的设计很好地解决了空闲数据块耗费存储空间的问题。     

一种基于重复数据删除的备份系统

重复数据删除技术有效地提升了备份系统的备份效率,但重复数据的匹配开销也随之增加.针对该问题,设计并实现了一种基于重复数据删除的备份系统THBS,该系统提出了高精简的数据备份方法HAD(hierachical approach of data deduplication),依次从目录、文件、块、字节粒度分层多步,由粗及细地匹配删除重复数据,同时采用bloomfilter和倒排索引技术,以减少不必要的数据匹配与磁盘访问,提高匹配查找速度.通过两组真实数据集的实验发现,THBS在备份过程中节省了63.1%～96.7%的存储空间,比Scp和Rsync分别节约了71.3%～97.6%,41.2%～66.7%的网络带宽,累计备份时间分别为Scp和Rsync的75%～86%和91%～97%.     

利用Hash算法优化网络备份系统

本文介绍了一个基于TCP／IP的网络备份系统,并在此基础上引入散列算法(Hash),计算出需要备份和恢复的文件以及数据块的内容标示--指纹,建立起索引作用的树形结构。这种方法可以避免备份和恢复执行时的折衷处理,提高系统的数据安全性,减少数据一致性问题的产生。     

基于分组特性的冗余流量消除算法

针对大量数据片段冗余传输造成网络传输效率降低的问题,在协议无关冗余消除技术的基础上,提出了一种基于分组特性的冗余流量消除(PFRTE)算法。该算法以对数据包大小分组为基础,动态统计和分析网络流量的双峰特性和分组特性,以对冗余消除贡献大的数据包为阈值,利用滑动窗口计算数据块的边界点,对两个边界点间的数据块计算其指纹并进行指纹匹配。对重复传输的数据块进行简单编码,用编码数据替换重复传输的数据片段,再对消除冗余流量的数据包进行传输。与基于最大值选择和基于静态查找表选择等冗余流量消除算法相比,PFRTE算法动态统计网络流量分组特性,能够大大减少服务器端和客户端的CPU运行时间,同时冗余消除字节节省了8%~40%,证明了该算法的有效性。     

基于本地快照和Rsync算法的Web文件保护

针对网页被篡改后的访问保护和快速恢复问题,以分布式网页防篡改系统的备份恢复为背景,提出一种基于本地快照和Rsync同步的Web文件保护方法.当Web页面被篡改时,Web服务器通过快照技术将原Web页面的映像发送给用户浏览,使得系统完好无损,进一步调用Rsync算法从备份服务器上同步Web文件,从而实现恢复.实验结果表明,该方法可保护被篡改页面不被访问,具备较好的快速恢复性能.     

基于重复数据删除技术的SQL Server数据库备份系统

提出了一种基于重复数据删除技术的SQL Server数据库备份系统.系统在临时备份文件生成后将其划分成变长数据块并计算其指纹值作为数据块的惟一标志,在传输文件到远程灾备中心时只传输数据块的单一实例,减小传输量,节省远程灾备中心处存储空间;在灾备中心建立hash表记录已存储数据块指纹值;为了提高数据可靠性,引入受限的冗余...     

基于有序哈希链的文件数据同步方法

针对现有文件数据同步传输方法效率低、局部更新困难的问题,提出一种哈希链构建及文件数据同步方法。将C/S架构中服务器端文件或目录的变化作为一系列哈希节点,根据时间先后顺序,通过哈希函数迭代文件或目录的哈希值,形成能够记录文件库所有操作状态的有序哈希链。客户端只需根据哈希链节点执行相同文件操作并进行同步更新,而不需要对每个文件数据进行同步认证,确保文件库的完整性、不可抵赖性、可溯源性和防篡改性。采用有序哈希链的同步方法对不同终端进行文件数据差异监视和一致性检测,以快速获取文件变化并进行逻辑同步。实验结果表明,该方法在文件库未变动模式下的平均同步加速比为94.85%,在文件库变动的模式下,相较于“quick check”策略和常规策略的Rsync算法,平均同步加速比分别为6.5%和69.99%。有效地减少了同步过程中时间和资源的消耗。     

Active Bolck Layout:一种高性能磁盘布局机制

1.引言随着计算机技术的发展,CPU的运算速度越来越快,但磁盘存储系统速度的提高却远远跟不上CPU速度的提高。这种差别导致在许多计算机系统中,存储系统成为系统性能的瓶颈。磁盘的存储容量和存取速度的发展是不平衡的。磁盘存储容量以每年一倍的速度发展,而磁盘的存取时间仅仅每年     

基于Linux平台的远程数据容灾系统的设计与实现

针对当前远程数据容灾系统效率比较低的缺点,提出并实现一种远程数据容灾系统（RDBRS）;通过对Rsync框架进行改进,利用Inotify和快照定位生产系统发生变化的文件并且获取文件增量,同时利用Rsync进行远程数据传输,大大降低了容灾系统对服务器系统资源的占用,减少了网络传输数据量。实验结果表明,在千兆网络环境下平均灾备速度相对于Rsync有了近10MBps的提升,对资金相对不充裕的中小企业具有较高的应用价值。     

Active Block Layout：一种高性能磁盘布局机制

The access frequency of different files in file system is dissimilar. If file system can optimize the block lay-out of these hot files which are frequently accessed,the performance of file system will be improved. This paper pre-sents a high performance block layout mechanism Active Block Layout (ABL). ABL can record the access frequencyof every file in file system and actively optimize the block layout of these hot files by block duplicating. The duplicatedblocks can be placed in the special zone of track,which is called "Cooling Zone". ABL can automatically determine theplacing position and the copy count of the blocks which need to be duplicated. In order to reduce the overhead of blockduplication,this paper also presents a mechanism which uses the potential disk bandwidth to realize the block duplica-tion,and does not obviously degrade the performance of file system.     

STL格式文件的快速拓扑重建算法

针对立体光刻(STL)文件所表示的图形要素之间缺乏必要的拓扑关系,对STL格式文件进行分析和读取,以哈希表作为查找表快速建立三维模型各要素间的拓扑关系,建立能表示要素关系的点表和面表,利用基于哈希表的拓扑重建算法实现了拓扑结构的快速建立, 算法时间复杂度仅为O(n), 空间复杂度为O(3n+(4+m)f+m)。最后,列举5个实例进行验证测试,实验结果显示,与直接算法和红黑树法相比,所提出的算法用时更少,在普通计算机上重建含有65万个三角面片模型的拓扑结构只需2.3s。     

一种采用签名与哈希技术的云存储去重方案

针对单一云存储服务提供商可能对数据进行垄断控制和现有云存储去重系统采用的收敛加密算法容易遭受暴力攻击等问题,提出了一种采用签名与哈希技术的云存储去重方案,通过在数据去重过程中采用双层校验机制对数据完整性进行审计,能够校验文件的完整性和精确地定位到损坏的数据块;同时构造Merkle哈希树来生成校验值,计算出去重标签,保证重复数据能够被检测;使用Mapbox和Lockbox结合的机制加密数据信息,保证非授权用户无法对文件进行访问。安全性分析及仿真实验结果表明,方案有效抵制暴力攻击,并能够降低去重标签的计算开销和减少存储空间。     

基于BMP图像的分散隐写技术研究

在分析BMP图像文件格式的基础上,设计了基于BMP图像的多文件分散式信息隐写方案。方案采用最不重要的比特位的方法对信息进行搭载,信息文件在搭载前采用AES算法进行加密处理,然后分割成多个信息文件块,分别搭载到多个BMP图像文件,方案通过验证信息文件的Hash摘要值来保证还原出的文件的完整性。经过测试与分析表明所提方案是可行的。