一种基于重复数据删除的备份系统

重复数据删除技术有效地提升了备份系统的备份效率,但重复数据的匹配开销也随之增加.针对该问题,设计并实现了一种基于重复数据删除的备份系统THBS,该系统提出了高精简的数据备份方法HAD(hierachical approach of data deduplication),依次从目录、文件、块、字节粒度分层多步,由粗及细地匹配删除重复数据,同时采用bloomfilter和倒排索引技术,以减少不必要的数据匹配与磁盘访问,提高匹配查找速度.通过两组真实数据集的实验发现,THBS在备份过程中节省了63.1%～96.7%的存储空间,比Scp和Rsync分别节约了71.3%～97.6%,41.2%～66.7%的网络带宽,累计备份时间分别为Scp和Rsync的75%～86%和91%～97%.     

基于重复数据删除的多用户文件备份系统

针对在文件备份服务器中存在大量重复数据的问题,设计了一种基于重复数据删除的文件备份系统,为位于不同地理位置的多个用户提供备份服务。该系统不仅删除用户内部的重复数据,也删除不同用户之间的重复数据,进一步节省存储空间,与此同时,采用了一定的安全机制来防止数据丢失以及用户数据信息泄漏。实验结果表明了系统的可行性,为多用户构建统一的备份中心提供了一种新的解决方案。     

重复数据删除技术为何成备份容灾的利器？

不管是权威机构,还是众厂商,都非常看好重复数据删除技术的前景。重复数据删除将成为降低数据存储成本的重要技术。在消除备份重复数据方面,它的效果尤其显著。这种将数据量减少数十倍的技术．对于降低数据存储成本具有极大价值。     

一种基于重复数据删除的网络文件备份系统设计与实现

针对广域网中网络备份系统存在备份速度低、网络带宽需求高和数据冗余等问题,提出并实现一种具有重复数据删除功能的网络文件备份系统。通过在客户端实现重复数据删除技术,对文件进行分块和在备份过程中去除重复数据块,减少客户端与服务期间需要传输的数据量,使得文件备份的速度获得较大提高,也较大地降低网络带宽要求,显著提高了网络备份系统的性能。此外,备份过程中客户端去除了重复的数据块使得服务器中存储的数据块都是唯一的,极大地降低了系统所需要的存储空间,同时,服务器端的数据块引用管理的设计很好地解决了空闲数据块耗费存储空间的问题。     

基于重复数据删除技术的SQL Server数据库备份系统

提出了一种基于重复数据删除技术的SQL Server数据库备份系统.系统在临时备份文件生成后将其划分成变长数据块并计算其指纹值作为数据块的惟一标志,在传输文件到远程灾备中心时只传输数据块的单一实例,减小传输量,节省远程灾备中心处存储空间;在灾备中心建立hash表记录已存储数据块指纹值;为了提高数据可靠性,引入受限的冗余...     

一种基于重复数据删除的Oracle数据库备份系统

针对在数据备份服务器中存在大量重复数据的问题,提出了一种基于重复数据删除技术的oracle数据库备份系统。系统首先生成临时备份文件,然后把临时文件划分成不重叠的块,通过哈希算法计算每个块的指纹值。在数据灾备中心建立hash表记录已存储数据块的指纹值。通过对比指纹值,检测重复数据。为了提高数据安全性,采用了一定的安全机制来防止信息泄露以及数据丢失。实验证明,该系统在实现远程备份的同时,有效地减少了备份的数据。     

数据中心系统的远程备份

数据中心远程备份的主要任务是实现业务数据的异地备份,以保证客户的账户资料等数据的完整性和准确性。当计算机灾难性的故障出现时,利用异地备份数据把损失和风险降到最低点,并尽快恢复营业。     

重复数据删除技术在备份中的应用

熊猫电子集团选择EMC Avamar重复数据删除技术,建成了同行业中领先的数据备份系统。目前,这一技术已经在熊猫电子成功应用近一年了。在此介绍我们的应用经验,希望可以提供有益的启示。     

面向大量用户的远程备份容灾系统

为应对面向大量用户的数据容灾系统的需求,设计并实现了一个面向大量用户的数据备份容灾系统。在远程容灾服务器建立一个与磁盘分区数据一致的备份磁盘分区,对磁盘分区的数据进行实时监控,将监控到的数据变化通过网络实时传递到远程容灾服务器,并更新磁盘分区,采用epoll与哈希表等技术处理来自多个生成服务器的请求,能够同时为大量用户提供备份服务。当灾难发生时,系统将远程容灾服务器的备份数据恢复到磁盘分区,从而降低数据丢失所带来的损失。     

相似索引：适用于重复数据删除的二级索引

由于EB（extreme binning）使用文件的最小块签名作为文件的特征, 它不适合处理主要包括小文件的数据负载, 会导致较差的重复数据删除率。为了改进EB, 提出了相似索引。它把相似哈希作为文件的特征, 是一种适用于以小文件为主的数据负载的重复数据删除的二级索引。实验结果表明, 相似索引的重复数据删除率比EB高24. 8%; 相似索引的内存使用量仅仅是EB的0. 265%。与EB相比, 相似索引需要更少的存储使用量和内存使用量。     

重复数据删除算法在VTL系统中的应用研究

为了使VTL(虚拟磁带库)系统能更有效地利用磁盘空间,存储更多的数据信息,介绍了一种带有重复数据删除算法的虚拟磁带库应用方法.该方法从性能和效率等多方面考虑,首先把磁带按文件级去重,再将文件切分成块,通过Bloom Filter和MD5算法双重计算,经查找和存储实现数据块级的重复删除.实验测试证明,该方案稳定地实现了数据的去重及加密功能,能有效节省虚拟磁带库的存储空间.     

基于企业级信息集成平台的数据存储备份系统的构建

企业级信息集成平台中的数据中心承担着对企业进行跨业务、多角度、多层次的综合管理的任务,将原来分散、孤立的数据资源集中存储、统一管理。在数据中心的建设中必须进行有效的数据存储与备份,以便在灾难发生时能够快速地恢复数据,从而将灾难带来的损失降到最低点,采用成熟先进的存储备份结构,满足用户需求的备份方式,减少了管理复杂度,提高了利用率,充分的保护了用户的成本。     

基于GPRS的远程数据采集传输系统

针对各种实时数据采集传输的需要,设计和实现基于通用分组无线业务(General Packet Radio Service,GPRS)网络的远程数据采集传输系统.该系统使用RS-232接口读取外部数据,如果GPRS网络或GSM(Global System for Mobile Communication)网络可用,则以GPRS通信或短信方式将数据发送到数据中心,否则将数据存储在外部存储器中.介绍该系统软件设计和实现中的关键技术,包括网络协议栈的实现和网络地址转换(Net Address Translation,NAT)设备的穿透.该系统已经应用到某车载监控终端系统和远程抄表系统中,且运行稳定高效.     

基于Linux平台的远程数据容灾系统的设计与实现

针对当前远程数据容灾系统效率比较低的缺点,提出并实现一种远程数据容灾系统（RDBRS）;通过对Rsync框架进行改进,利用Inotify和快照定位生产系统发生变化的文件并且获取文件增量,同时利用Rsync进行远程数据传输,大大降低了容灾系统对服务器系统资源的占用,减少了网络传输数据量。实验结果表明,在千兆网络环境下平均灾备速度相对于Rsync有了近10MBps的提升,对资金相对不充裕的中小企业具有较高的应用价值。     

基于时空冗余数据清除的数据备份算法

传感器节点易受环境影响,会出现节点失效的现象,导致感知数据丢失。然而无线传感器网络是以数据为中心,因此对感知数据进行备份问题的研究显得尤为重要。针对无线传感器网络中数据备份问题,提出基于时空冗余数据清除的数据备份算法(TS_DB),该算法首先用k-means算法对网络分簇,然后挖掘出节点间的关联模式消除空间冗余数据,同时在传感节点建立一元线性回归模型消除时间冗余数据,最后根据簇头的能量进行数据备份。仿真实验表明,TS_DB算法能有效节省节点的能量,对延长网络的寿命具有重要的意义。     

基于半结构化数据的项目备份方法研究

对软件项目管理系统的项目数据备份进行分析,提出了一种基于半结构化数据的项目备份方法SDB-Method.该方法通过对系统的数据模型进行分析,建立关系数据模型和半结构化数据模型OEM(对象交换模型)之间的映射,实现关系数据和半结构化数据的相互转换,从而解决项目的导入和导出问题.该方法应用于项目管理系统SoftPM中,支持软件项目的多分支开发,迭代开发以及移植,有效地解决了软件项目管理系统的项目备份问题.     

基于FPGA的遥感数据采集与快视系统

提出了一种基于现场可编程门阵列（FPGA）的实时遥感卫星数据采集与快视系统的设计方案,该方案充分利用FPGA的硬件资源简化逻辑设计,并采用总线复用技术和内存映射文件的方法实现了采集和快视的实时并行处理以及海量数据的高速存取。     

基于GSM的远程分布式数据采集与控制系统

远程数据采集系统在工业中的应用已经相当广泛,它已经成为系统决策的重要依据.GSM短消息的传送模式打破了地域的限制,使远程数据采集成为可能.但目前的一些远程数据采集设备,往往只有数据采集功能,缺少远程控制能力.介绍了一种远程数据采集与控制系统,给出了系统的结构与设计方案.该系统不仅提高了远程节点传送数据的密度和效率,而且增加了对这些节点的远程实时控制能力.实际应用结果表明,该系统传送数据准确,远程控制精确,实现了企业远程监控的信息化与自动化.     

An incremental clustering scheme for data de-duplication

We propose an incremental technique for discovering duplicates in large databases of textual sequences, i.e., syntactically different tuples, that refer to the same real-world entity. The problem is approached from a clustering perspective: given a set of tuples, the objective is to partition them into groups of duplicate tuples. Each newly arrived tuple is assigned to an appropriate cluster via nearest-neighbor classification. This is achieved by means of a suitable hash-based index, that maps any tuple to a set of indexing keys and assigns tuples with high syntactic similarity to the same buckets. Hence, the neighbors of a query tuple can be efficiently identified by simply retrieving those tuples that appear in the same buckets associated to the query tuple itself, without completely scanning the original database. Two alternative schemes for computing indexing keys are discussed and compared. An extensive experimental evaluation on both synthetic and real data shows the effectiveness of our approach.     

一种在去重备份系统中数据完整性校验算法

在数据备份系统中,使用重复数据删除技术在消除重复数据提高系统存储的空间效率时,将必然会有多个逻辑映像共享去重后的数据实例,如果某个数据实例丢失或者数据被更改,将导致所有引用该实例的逻辑映像均发生错误,因此提出了一种在去重备份系统中数据完整性验证算法.如果当前备份的文件在数据服务器端已经存在数据实例,添加引用之前先对被引用的数据实例进行分块循环顺序校验,判断数据实例的完整性.实验结果证明,这种添加验证码的去重合成备份算法不仅不影响备份速度,而且对备份系统中被引用的数据实例的完整性提供了一种验证的算法.这种数据完整性校验算法提高了去重备份系统的可靠性.