一种基于重复数据删除的备份系统

重复数据删除技术有效地提升了备份系统的备份效率,但重复数据的匹配开销也随之增加.针对该问题,设计并实现了一种基于重复数据删除的备份系统THBS,该系统提出了高精简的数据备份方法HAD(hierachical approach of data deduplication),依次从目录、文件、块、字节粒度分层多步,由粗及细地匹配删除重复数据,同时采用bloomfilter和倒排索引技术,以减少不必要的数据匹配与磁盘访问,提高匹配查找速度.通过两组真实数据集的实验发现,THBS在备份过程中节省了63.1%～96.7%的存储空间,比Scp和Rsync分别节约了71.3%～97.6%,41.2%～66.7%的网络带宽,累计备份时间分别为Scp和Rsync的75%～86%和91%～97%.     

基于重复数据删除的远程备份系统

针对传统远程备份中大量冗余数据导致备份效率低下和存储空间浪费的问题,设计并实现了一个基于重复数据删除的远程备份系统。首先根据文件的内容用Rabin指纹将备份文件划分为变长的数据块,把每个数据块的相关信息发送到备份中心,在备份中心利用Google Bigtable及Leveldb的索引算法辅以布隆过滤器对数据块进行判重,最后只传输和存储不重复的数据块。实验结果表明,采用该系统备份相似的数据集能够有效删除其中的重复数据。对数据集进行增量备份,在增量数据变化不大时,相比Rsync备份有更少的网络流量。     

一个网络文件存储系统TNS关键技术

基于多服务器架构、为多用户服务的网络文件存储系统普遍存在资源分配不均,重复文件多,存储空间浪费严重的问题。设计并实现了TNS网络文件存储系统,该系统基于多服务器存储架构,分别由用户服务器、索引服务器、数据服务器、共享服务器、管理服务器和登录服务器组成,为多用户服务,采用一致性Hash实现负载均衡,支持在客户端进行文件粒度的重复数据删除。经过实际生产环境运行测试,具有良好的负载均衡能力和重复数据删除功能,可以有效节省存储空间,提高存储设备利用率。     

基于内容地址存储的文件级备份系统

针对当前备份系统存在的重复数据量大、网络传输数据多、数据安全性低等特点,提出一种新的文件级备份系统。该系统构建于Bacula开源备份系统基础之上,使用磁盘作为存储介质,基于内容地址存储,采用重复删除技术以节省存储空间。性能测试结果表明,该系统能有效缓解存储和网络传输的压力,同时提高数据的安全性。     

重复数据删除关键技术研究进展

企业数据量的不断增长和数据传输率要求的不断提高,使得数据中心海量存储空间和高带宽网络传输需求成为当前网络存储领域面临的严峻挑战.利用特定应用数据集内数据高度冗余的特性,重复数据删除技术能够极大地缩减数据存储容量需求,提高网络带宽利用率,降低企业IT运营成本.目前,重复数据删除技术已成为国内外的研究热点.首先介绍重复数据删除技术的概念、分类及其应用;阐述重复数据删除系统的体系结构和基本原理,并与传统存储系统进行对比.然后重点分析和总结重复数据删除各项关键技术的研究现状,包括数据划分方法、I/O优化技术、高可靠数据配置策略以及系统可扩展性.最后对重复数据删除技术的研究现状进行总结,并指出未来可能的研究方向.     

基于重复数据删除的多用户文件备份系统

针对在文件备份服务器中存在大量重复数据的问题,设计了一种基于重复数据删除的文件备份系统,为位于不同地理位置的多个用户提供备份服务。该系统不仅删除用户内部的重复数据,也删除不同用户之间的重复数据,进一步节省存储空间,与此同时,采用了一定的安全机制来防止数据丢失以及用户数据信息泄漏。实验结果表明了系统的可行性,为多用户构建统一的备份中心提供了一种新的解决方案。     

基于重复数据删除技术的SQL Server数据库备份系统

提出了一种基于重复数据删除技术的SQL Server数据库备份系统.系统在临时备份文件生成后将其划分成变长数据块并计算其指纹值作为数据块的惟一标志,在传输文件到远程灾备中心时只传输数据块的单一实例,减小传输量,节省远程灾备中心处存储空间;在灾备中心建立hash表记录已存储数据块指纹值;为了提高数据可靠性,引入受限的冗余...     

体验重复数据删除

在企业中,存储空间的使用往往是惊人的,例如备份数据、文件服务器数据、虚拟化平台数据等。而在以往的Windows系统平台中并没有特别直接有效的方式来帮助我们节省磁盘空间,最终到了Windows Server2012系统中才新增了重复数据删除技术,让很多使用Windows Server平台的用户看到了希望,而这一点也成为大多数用户将Windows Server升级到2012平台的动因之一。为了更方便操作和介绍,笔者在虚拟系统环境里体验了一次重复数据删除技术的魅力。     

相似性-局部性方法相关参数分析

大数据时代到来,备份数据量增大给存储空间带来新的挑战。重复数据删除技术在备份存储系统中正逐渐流行,但大量数据访问,造成了磁盘的很大负担。针对重复数据删除技术存在的块索引查询磁盘瓶颈问题,文中提出了文件相似性与数据流局部性结合方法改善磁盘I/O性能。该方法充分发挥了各自的优势,相似性优化了索引查找,可以检测到相同数据检测技术不能识别的重复数据;而数据局部性保留了数据流的序列,使得cache的命中率提高,减少磁盘访问次数。布鲁过滤器存储数据块索引可节省大量查询时间和空间开销。对于提出的解决方法所涉及的重要参数如块大小、段大小以及对误判率的影响做了深入分析。通过相关实验评估与性能分析,实验数据与结果为进一步系统性能优化问题提供了重要的数据依据。     

基于重复数据删除的资料管理解决方案

重复数据删除通过删除冗余数据的方式减小实际的存储容量需求。重复数据删除需要把数据分成块,并与系统中现存的数据集相比较。如果数据内容相同,重复数据仅记录实际保存数据的物理地址。这一过程的代价是增加写延迟。为了提高查找相同块的性能,一般采用布隆过滤器,它利用位数组很简洁地表示一个集合,并能判断一个元素是否属于这个集合。它在能容忍低错误率的应用场合下,重复数据删除通过很少的错误换取了存储空间的节省。     

企业数据备份系统分析与研究

通过分析企业信息系统对数据备份的需求,给出了大中型企业建立层次化数据备份系统时一般需要考虑备份软件,大容量的磁带库,SAN存储网络,数据库在线备份,无人职守备份管理等,必要时还应该建立异地容灾中心.     

省级财政信息系统数据备份方案探讨

本文就省级财政管理信息系统多级数据中心下集中异地备份的实现方式进行了探讨，提出了分级集中备份，分布式备份，本地备份，介质传送的数据集中异地备份方法。     

基于IBM服务器的硬RAID和纯软双机热备系统

随着对计算机系统依赖程度的日渐增加,数据存储技术的可靠性和安全性变得越来越重要。针对这个问题,介绍了基于IBM服务器的硬RAID和纯软双机热备系统,有效的实现了数据的安全存储,同时最大程度的减少服务器的中断时间。本文结合×××煤矿对服务器数据存储的情况,重点探讨了RAID1和纯软件双机热备系统的工作原理、技术特征及遇到的问题和解决方法。     

高效数据快照方法设计

随着现代企业对计算机技术依赖的增强以及数据量的增大,传统的镜像备份技术消耗的时间越来越长,在备份时又需要停机,使得企业的计算机系统在备份时需要长时间处于停机状态。这显然不符合现代企业的要求。数据快照技术应运而生,解决了这一矛盾。数据快照技术使得备份时间接近于零,消除了计算机系统停机对企业的不利影响。探讨了快照的设计方案和各种功能的实现,以及利用快照备份对数据进行恢复的机能。     

工具文件法数据备份与恢复研究

文章介绍和ＡＲＪ软件作为工具，辅之以低级文件操作方式，高效实现任意大数据库文件 备分与恢复的原理，方法和步骤。     

对社会保险数据备份方式的比较

数据安全是所有信息系统的核心,如何做好数据备份,是每个行业和部门的信息管理必须面对的问题,我国社会保险行业近二十年得到了迅速发展,数据备份的重要性已经到了主管部门和经办机构必须高度重视,并采取有效办法来实现的时候了。     

在线备份和异地容灾软件的设计与分析

主要介绍三种针对于PC、服务器和海量存储的在线备份和异地容灾软件,并以此为中小企业构建一体化的数据保护解决方案,使其能够经济地管理和保护其不断增长的数据.     

带系统参数检测的自动数据恢复技术

数据恢复是信息安全服务领域中的一项重要内容。虽然市面上已有大量的专门的数据备份恢复软件,但能成功做到数据完全恢复可用的也是寥寥无几。主要原因在于数据备份时只备份数据而没有备份与数据密切相关的特定参数设置,导致恢复后的数据不可用。本文介绍了一种带系统参数检测的自动数据恢复技术,通过恢复时进行参数检测,使得恢复后的数据具有更高的可靠性和可用性。     

信息系统灾难恢复与数据备份

灾难恢复的目的是减轻灾难对单位和社会带来的不良影响,保证信息系统所支持的关键业务功能在灾难发生后能及时恢复和继续运作。任何灾难恢复系统实际上都是建立在数据备份基础之上的。     

基于RBAC模型的安全访问机制建模研究

基于角色访问控制（RBAC）是一种方便、安全、高效的访问控制机制。介绍了软件系统安全控制策略,分析了RBAC的基本思想和用户角色分配的基本方法,提出了基于面向对象的RBAC建模思想,并用标准建模语言UML的交互图描述RBAC的授权流程,从而使系统开发人员有效理解RBAC模型并建立基于角色的系统。文中还给出了在数据备份系统中运用RBAC实现用户权限管理应用模型的实例。