一种基于预分块和滑动窗口的重复数据消除方法

针对现有重复数据消除方法中提高压缩比和降低元数据开销之间的矛盾,提出了一种基于预分块和滑动窗口的重复数据消除方法并建立了性能分析通用模型.该方法首先对数据对象进行基于内容的预分块,再对数据变动区域和非变动区域采用不同的分块策略,从而在分块大小预期值较大时,仍能获得较高的压缩比并降低了元数据开销.真实数据集上的实验结果表明,该方法的平均压缩比高于现有最优值,而平均时间开销显著降低.     

基于文件路径的信息集群中重复数据消除研究

传统方法在删除重复数据时逻辑顺序较为混乱,导致重复数据消除效果欠佳.为解决上述问题,基于文件路径,对信息集群中重复数据消除方法展开研究.根据重复数据消除方法分块理念与文件系统中的目录名称,探析文件路径的重复数据消除原理.通过分块筛选存储数据完成数据对比,从而去除数据备份并用指向唯一的实例指针代替.在界定元数据信息的基础...     

一种基于重复数据删除的网络文件备份系统设计与实现

针对广域网中网络备份系统存在备份速度低、网络带宽需求高和数据冗余等问题,提出并实现一种具有重复数据删除功能的网络文件备份系统。通过在客户端实现重复数据删除技术,对文件进行分块和在备份过程中去除重复数据块,减少客户端与服务期间需要传输的数据量,使得文件备份的速度获得较大提高,也较大地降低网络带宽要求,显著提高了网络备份系统的性能。此外,备份过程中客户端去除了重复的数据块使得服务器中存储的数据块都是唯一的,极大地降低了系统所需要的存储空间,同时,服务器端的数据块引用管理的设计很好地解决了空闲数据块耗费存储空间的问题。     

基于重复数据消除的差异备份方法

为消除重复数据对数据传输和存储产生的影响,提出一种基于重复数据消除的差异备份方法。通过将文件的块按照一定区间划分固定大小并采用Hash表对文件块进行唯一性标识,使Rsync算法能检测不同文件之间的重复数据,通过分割Hash表,使块实现局部匹配,并利用校验和文件实现文件不同版本的差异传输。实验结果表明,与Rsync算法相比,该方法能有效减少传输的数据量,降低备份中心的存储量,提高块查找的效率。     

面向数据去重的基于二次哈希的收敛加密策略

在云存储和备份系统等领域,数据去重被广泛地用来消除冗余数据及节约传输带宽,数据去重的安全问题受到越来越多的关注。现有收敛加密(CE)存在两大挑战:(1)由于密钥确定化导致的线下暴力破解问题;(2)对重复数据的无用加密操作使得计算开销随着数据负载去重率的提高而增加。针对上述两个问题,提出了基于二次哈希的收敛加密策略(TCE)。具体而言,TCE首先计算数据块的哈希生成密钥,密钥经过可信第三方添加秘密信息后增加随机化程度;然后针对该哈希值再次哈希得到数据块指纹。TCE增加了线下暴力破解的难度,消除了对重复数据的加密操作。实验测试结果表明,TCE比CE的备份窗口减少了30%~50%。     

基于SDES和双轮差错控制的大数据集成安全系统

针对大数据传输中的数据机密性、完整性和数据丢失等问题,提出一种基于简化数据加密标准(Simplified Data Encryption Standard, SDES)和双轮差错控制的大数据集成安全系统。使用SDES加密算法生成加密字符串,并设计意外数据丢失备份系统以提高机密性和防止意外数据丢失。基于双轮差错控制以较低的空间开销控制传输过程中包含的任意数量的离散或连续错误位,基于固定长度编码(Fixed Length Coding, FLC)的无损压缩技术来减少数据开销。该算法具有较高的AE值、熵和压缩百分比,具有提供更高的数据机密性和完整性的潜力。     

面向容灾的备份数据透明加密机制

针对备份数据的安全保护问题,设计一个基于层叠式文件系统的面向容灾的备份数据透明加密机制,采用基于虚拟磁盘的透明加密方法,在写入数据时加密,在读取数据时解密,从而在实现数据容灾的基础之上,增强对备份数据的加密保护,实现对数据的完整性、机密性的保护。     

基于Merkle哈希树的云存储加密数据去重复研究

收敛加密可以有效地解决数据加密和去重的矛盾,实现安全去重复,但是收敛加密仍然面临许多安全问题。针对传统的收敛加密容易遭受字典攻击的问题,提出基于Merkle哈希树的收敛加密方案实现数据去重复,通过执行额外的加密操作,加强数据的机密性,有效地避免字典攻击。为了克服传统的收敛加密方案的收敛密钥随着用户数量线性增长的问题,设计收敛密钥共享机制,进一步节省了收敛密钥的存储空间。     

异地备份系统数据一致性检测方法

针对异地备份系统中数据持续变化的情况,设计并实现了一种基于累积摘要值的一致性检测方法.该方法解决了传统一致性检测需要中断备份任务的问题,保证了备份任务的连续性,并且能够迅速检测本地服务器和远程备份中心数据的一致性,提高了一致性检测的效率.测试结果表明,该方法准确性与中断备份任务对本地服务器上的原始数据和远程备份中心的备份数据进行一致性检测相同.     

基于TPM的终端数据可信迁移研究

提出一种终端数据可信迁移方案以解决数据无防护地流入/流出终端所带来的安全问题。根据“全程BLP规则”对待流入/流出的数据进行安全检查,只允许符合安全策略的数据迁移,由TPM负责将其加密/解密。介绍实现框架并分析其安全性。该方案可以保证迁移数据的机密性和可控性。     

VMBackup: an efficient framework for online virtual machine image backup and recovery

Although deduplication can reduce data volume for backup, it pauses the running system for the purpose of data consistency. This problem becomes severe when the target data are Virtual Machine Image (VMI), the volume of which can scale up to several gigabytes. In this paper, we propose an online framework for VM image backup and recovery, called VMBackup, which comprises three major components: (1) Similarity Retrieval that indexes chunks' fingerprints by its segment id for fast identification, (2) one‐level File‐Index that efficiently tracks file id to its content chunks in a correct order, and (3) Adjacent Storage model that places adjacent chunks of an image in the same disk partition to maximize chunk locality. The experimental results show that (1) the images of one OS serial and the same custom can share high percentage of duplicated contents, (2) variable‐length chunk partitioning is superior to fixed‐length chunk partitioning for deduplication, and (3) VMBackup, in our environment, can provide 8M/s backup throughput and 9.5M/s recovery throughput, which are only 15% and 4% less than storage systems without deduplication. Copyright © 2015 John Wiley & Sons, Ltd.     

基于Hadoop平台的分布式重删存储系统

针对数据中心存在大量数据冗余的问题,特别是备份数据造成的存储容量浪费,提出一种基于Hadoop平台的分布式重复数据删除解决方案。该方案通过检测并消除特定数据集内的冗余数据,来显著降低数据存储容量,优化存储空间利用率。利用Hadoop大数据处理平台下的分布式文件系统(HDFS)和非关系型数据库HBase两种数据管理模式,设计并实现一种可扩展分布式重删存储系统。其中,MapReduce并行编程框架实现分布式并行重删处理,HDFS负责重删后的数据存储,在HBase数据库中构建索引表,实现高效数据块索引查询。最后,利用虚拟机镜像文件数据集对系统进行了测试,基于Hadoop平台的分布式重删系统能在保证高重删率的同时,具有高吞吐率和良好的可扩展性。     

基于Bloom Filter的混合云存储安全去重方案

针对现有云存储系统中数据去重采用的收敛加密算法容易遭到暴力破解以及猜测攻击等不足,提出一种基于布隆过滤器的混合云存储安全去重方案BFHDedup,改进现有混合云存储系统模型,私有云部署密钥服务器Key Server支持布隆过滤器认证用户的权限身份,实现了用户的细粒度访问控制。同时使用双层加密机制,在传统收敛加密算法基础上增加额外的加密算法并且将文件级别去重和块级别去重相结合实现细粒度去重。此外,BFHDedup采用密钥加密链机制应对去重带来的密钥管理难题。安全性分析及仿真实验结果表明,该方案在可容忍的时间开销代价下实现了较高的数据机密性,有效抵抗暴力破解以及猜测攻击,提高了去重比率并且减少了存储空间。     

一种混合云环境下基于Merkle哈希树的数据安全去重方案

重复数据删除技术是云存储系统中一种高效的数据压缩和存储优化技术,能够通过检测和消除冗余数据来减少存储空间、降低传输带宽消耗。针对现有的云存储系统中数据安全去重方案所采用的收敛加密算法容易遭受暴力攻击和密文计算时间开销过大等问题,提出了一种混合云环境下基于Merkle哈希树的数据安全去重方案MTHDedup。该方案通过引入权限等级函数和去重系数来计算去重标签,高效地实现了支持访问控制的数据安全去重系统;同时通过执行额外的加密算法,在文件级和数据块级的数据去重过程中构造Merkle哈希树来生成加密密钥,保证了生成的密文变得不可预测。安全性分析表明,该方案能够有效地抵制内部和外部攻击者发起的暴力攻击,从而提高数据的安全性。仿真实验结果表明,MTHDedup方案能有效地降低密文生成的计算开销,减少密钥的存储空间,而且随着权限集数目的增加,性能优势将更加明显。     

一种基于重复数据删除的备份系统

重复数据删除技术有效地提升了备份系统的备份效率,但重复数据的匹配开销也随之增加.针对该问题,设计并实现了一种基于重复数据删除的备份系统THBS,该系统提出了高精简的数据备份方法HAD(hierachical approach of data deduplication),依次从目录、文件、块、字节粒度分层多步,由粗及细地匹配删除重复数据,同时采用bloomfilter和倒排索引技术,以减少不必要的数据匹配与磁盘访问,提高匹配查找速度.通过两组真实数据集的实验发现,THBS在备份过程中节省了63.1%～96.7%的存储空间,比Scp和Rsync分别节约了71.3%～97.6%,41.2%～66.7%的网络带宽,累计备份时间分别为Scp和Rsync的75%～86%和91%～97%.     

云存储安全网关关键技术研究

云存储安全网关能够提供安全、高效的数据存储备份服务,克服传统存储备份服务的不足。阐述了云存储网关的研究现状。总结了现有云存储网关研究相关的一些关键技术,其中包括多租户下的数据隔离和隐私保护,访问性能优化和重复数据删除技术,数据访问管理技术和透明加密技术。最后,总结全文并指出云存储网关未来的研究方向。     

Prefetch-aware fingerprint cache management for data deduplication systems

Data deduplication has been widely utilized in large-scale storage systems, particularly backup systems. Data deduplication systems typically divide data streams into chunks and identify redundant chunks by comparing chunk fingerprints. Maintaining all fingerprints in memory is not cost-effective because fingerprint indexes are typically very large. Many data deduplication systems maintain a fingerprint cache in memory and exploit fingerprint prefetching to accelerate the deduplication process. Although fingerprint prefetching can improve the performance of data deduplication systems by leveraging the locality of workloads, inaccurately prefetched fingerprints may pollute the cache by evicting useful fingerprints. We observed that most of the prefetched fingerprints in a wide variety of applications are never used or used only once, which severely limits the performance of data deduplication systems. We introduce a prefetch-aware fingerprint cache management scheme for data deduplication systems (PreCache) to alleviate prefetch-related cache pollution. We propose three prefetch-aware fingerprint cache replacement policies (PreCache-UNU, PreCache-UOO, and PreCache-MIX) to handle different types of cache pollution. Additionally, we propose an adaptive policy selector to select suitable policies for prefetch requests. We implement PreCache on two representative data deduplication systems (Block Locality Caching and SiLo) and evaluate its performance utilizing three real-world workloads (Kernel, MacOS, and Homes). The experimental results reveal that PreCache improves deduplication throughput by up to 32.22% based on a reduction of on-disk fingerprint index lookups and improvement of the deduplication ratio by mitigating prefetch-related fingerprint cache pollution.     

Application-Aware Client-Side Data Reduction and Encryption of Personal Data in Cloud Backup Services

Cloud backup has been an important issue ever since large quantities of valuable data have been stored on the personal computing devices. Data reduction techniques, such as deduplication, delta encoding, and Lempel-Ziv （LZ） compression, performed at the client side before data transfer can help ease cloud backup by saving network bandwidth and reducing cloud storage space. However, client-side data reduction in cloud backup services faces efficiency and privacy challenges. In this paper, we present Pangolin, a secure and efficient cloud backup service for personal data storage by exploiting application awareness. It can speedup backup operations by application-aware client-side data reduction technique, and mitigate data security risks by integrating selective encryption into data reduction for sensitive applications. Our experimental evaluation, based on a prototype implementation, shows that our scheme can improve data reduction efficiency over the state-of-the-art methods by shortening the backup window size to 33%-75%, and its security mechanism for＇ sensitive applications has negligible impact on backup window size.