基于压缩近邻的查重元数据去冗算法设计

随着重复数据删除次数的增加,系统中用于存储指纹索引的清单文件等元数据信息会不断累积,导致不可忽视的存储资源开销。因此,如何在不影响重复数据删除率的基础上,对重复数据删除过程中产生的元数据信息进行压缩,从而减小查重索引,是进一步提高重复数据删除效率和存储资源利用率的重要因素。针对查重元数据中存在大量冗余数据,提出了一种基于压缩近邻的查重元数据去冗算法Dedup2。该算法先利用聚类算法将查重元数据分为若干类,然后利用压缩近邻算法消除查重元数据中相似度较高的数据以获得查重子集,并在该查重子集上利用文件相似性对数据对象进行重复数据删除操作。实验结果表明,Dedup2可以在保持近似的重复数据删除比的基础上,将查重索引大小压缩50%以上。     

基于自回归模型的网络数据去重算法的设计

为了提高网络带宽利用率,实现网络负载和传输效率的平衡,提出了一种基于网络流量自回归技术的网络数据去重算法ANTREA. 该算法将数据传输分割成多个传输单元,在每个传输单元中分成去重传输和直接传输2部分,前一部分实现去除冗余数据后传输,后一部分数据则利用空闲带宽实现传输. 通过为每个传输单元的网络状况建模,预测下一个传输单元的网络可用带宽及查重处理时间,并据此调整直接传输的数据量,以求充分利用空闲带宽,提高网络带宽利用率. 实验结果表明,ANTREA算法可以根据网络状况自动调整传输策略,能够充分利用网络带宽以实现更高的数据传输效率,比EndRE算法有更好的网络适应性,在10 MB/s的网络环境下,传输吞吐量几乎为EndRE的7倍.     

云灾备中系统级管理技术的关键问题

文章指出云计算技术的核心在于对计算资源、存储资源和传输资源的系统级管理;云灾备的核心则在于利用云中海量资源,为用户提供系统级、数据级和业务级的灾难恢复服务和持续性服务。为了解决云灾备遇到的管理方面的挑战,文章有针对性地对云灾备管理中的最大化收益管理、高可用服务管理、业务连续服务管理、安全保障管理4个方面进行了分析和探讨。