重复数据删除算法在VTL系统中的应用研究

为了使VTL(虚拟磁带库)系统能更有效地利用磁盘空间,存储更多的数据信息,介绍了一种带有重复数据删除算法的虚拟磁带库应用方法.该方法从性能和效率等多方面考虑,首先把磁带按文件级去重,再将文件切分成块,通过Bloom Filter和MD5算法双重计算,经查找和存储实现数据块级的重复删除.实验测试证明,该方案稳定地实现了数据的去重及加密功能,能有效节省虚拟磁带库的存储空间.     

用虚拟磁带库实现优化备份、归档

数据量爆炸式的不断增长,使企业需要存储、管理、保护以及长时期地保留更多数据,备份和归档对于企业越来越重要。虚拟磁带库（VTL）以其性能高、故障率低、可靠性高、智能化等优势,弥补了物理磁带库性能和可靠性不能满足业务需求的先天不足。具有重复数据删除、远程数据复制等功能的VTL,在改善数据保护性能、安全性的同时,降低了数据保护成本,更提高了资源利用率和数据可用性。     

虚拟磁带库如何实现优化备份和归档

数据量爆炸式的不断增长,使企业需要存储、管理、保护以及长时期的保留更多数据,备份和归档对于企业越来越重要。虚拟磁带库(VTL)以其性能高、故障率低、可靠性高、智能化等优势,弥补了物理磁带库性能和可靠性不能满足业务需求的先天不足。具有重复数据删除、远程数据复制等功能的VTL,在改善数据保护性能、安全性的同时降低了数据保护成本,更提高了资源利用率和数据可用性。     

虚拟磁带库的推动力

市场正热的重复数据删除技术,将会改写存储行业的规则,虚拟磁带库是最大受益者。根据调研机构IDC的数据显示,"全球虚拟磁带库市场的总值,将在未来五年内翻一番,预计到2011年时达到14亿美元的市场规模;同期,市场的复合年增长率将达到47.4%"。     

基于堆叠文件系统的云计算存储优化

云环境中大量虚拟镜像带来的冗余会造成资源利用率降低,采用重复数据删除技术能缓解对存储空间以及网络带宽的需求,但同时也存在处理性能下降的问题。为此,提出一种基于堆叠文件系统的云计算存储优化方案。该方案利用可堆叠文件系统将用户对虚拟实例的少量修改信息存放于可读写盘中,将虚拟镜像存放于只读盘中,每次只保存用户对虚拟实例的少量修改信息,而无需保存整个实例。实验结果表明,该方案可在不影响性能的条件下降低存储容量,对文件系统性能的影响平均约为0.75%,在用户对虚拟实例只需少量修改的情况下,对存储容量的需求相比传统重复数据删除方案减少约35%。     

基于BLOOM FILTER过滤算法的重复数据删除技术的研究与改进

随着企业数据信息量的不断地增加,海量数据信息的存储和不断备份给企业的存储空间带来了巨大的存储压力。该文深入研究重复数据删除技术,并针对目前重复数据删除技术中存在的数据丢失及性能低等问题以及BLOOM FILTER算法流程和重复数据删除策略的分析和研究,提出了一种重复数据删除技术优化模型。测试分析表明,该优化模型实现了高效和安全的重复数据删除功能,节省了企业内部存储空问的存储成本开销。     

重复数据删除预测技术研究

重复数据删除技术是现在存储领域广泛应用的一种数据缩减技术.重复数据预测技术能够在执行重复数据删除之前,让用户了解系统的效用,为用户如何使用存储系统提供参考.当前,重复数据预测技术不断发展,并已经有企业将其广泛应用.现有的几种重复数据删除预测技术都拥有了很高的准确性和很好的应用环境,一种基于应用感知的重复数据预测技术能够进一步减小预测索引表的大小,进一步地提升了预测算法的性能.索引表的自适应更新算法能够将来访数据内部的冗余度考虑在内,进一步提高了重复数据预测的准确性.     

一种高效存储解决方案的分析与研究

企业的关键信息以几何级速度增长,更多的数据需要保存更长的时间,面对TB甚至是PB级海量数据如何进行高效存储成为研究的重点.伴随着云计算和云存储的发展,对后端的高效存储和管理成为存储方面的重点研究问题,高效存储和管理不仅为用户提供更高质量的服务,而且还可以降低用户成本,实现高效低碳的环保型存储,这其中主要用到了多协议访问、存储虚拟化、自动精简配置、重复数据删除等关键技术.     

昆腾四大产品入围《存储》杂志年度大奖评选

正昆腾公司(NYSE:QTM)近日宣布四款产品入围美国《存储》杂志年度大奖评选,优异成绩领先行业。这些产品涵盖存储横向扩展和数据保护解决方案,其创新和价值在3个类别获得认可:存储系统类别的Lattus对象存储系统;备份硬件类别的DXi6800备份和重复数据删除设备和Scalar i6000 HD磁带库;备份与灾难恢复软件与服务类别的DXi V4000虚拟备份和重复数据删除设备。     

基于MD5算法的重复数据删除技术的研究与改进

随着信息技术的快速发展,信息化已成为决定企业生存与发展的关键因素之一;然而随着企业数据信息量的不断地增加,海量数据信息的存储和不断备份已经给企业的存储空间带来了巨大的存储压力;为此,深入研究了重复数据删除技术,并针对目前重复数据删除技术中存在的数据丢失及性能低等问题以及MD5算法流程和重复数据删除策略的分析和研究,提出了一种重复数据删除技术优化模型;测试分析表明,该优化模型实现了高效和安全的重复数据删除功能,节省了企业内部存储空间的存储成本开销。     

基于光盘库管理系统的虚拟化技术研究

目前,存储虚拟化技术取得了很大的发展,很多产品化的解决方案已经出来,虚拟光盘库技术就是虚拟存储的发展方向之一。采用虚拟光盘库技术,具有良好的实用性能,与现有光盘库存储应用方式一样,可以不改变现有存储应用管理软件,保护用户投资。同时数据的存取速度将大幅提升,数据安全性高,通过VDL模块将数据存储在光盘或光盘库中,光盘或光盘库就可以保持离线,避免数据由于系统被破坏而丢失。此外,设备投入成本低,采用光盘存储的成本要远远低于磁带库和磁盘阵列。     

同有携手飞康打造自有品牌

10月25日,同有飞骥科技有限公司与美国飞康软件公司(FalconStor)签署战略合作协议,同有飞骥将成为飞康软件公司在中国的OEM合作伙伴。同有飞骥还宣布推出基于飞康软件技术的自有品牌产品——NETSTOR虚拟磁带库系列产品和应用恢复服务器(NetStor Recover Server)系列产品。同有飞骥推出的虚拟磁带库产品利用飞康的IPSTOR技术,使用SATA规格的磁盘介质,支持iSCSI以及FibreChannel主机连接方式,同时向用户提供图形化的管理软件便于用户管理使用。NetStor虚拟磁带库产品支持将虚拟磁带库中的数据导出到物理磁带库的功能,用户可以根…     

基于重复数据删除的虚拟桌面存储优化技术

虚拟桌面基础架构依靠数据中心海量的云基础设施,为用户按需提供虚拟桌面部署所需的软硬件资源,但同时面临存储资源利用率低和虚拟机启动慢的困境.针对虚拟桌面存储中具有大量数据冗余的特性,采用重复数据删除技术缩减虚拟桌面基础架构的存储空间需求;并利用服务器本地磁盘缓存以及共享存储池内的固态硬盘来优化虚拟机的启动性能.通过原型实现,发现相比于基于内容分块的策略,静态分块策略更适合虚拟桌面存储进行重复数据删除,最优的分块大小为4KB,并能够缩减85%的存储空间容量;通过服务器本地磁盘缓存和基于闪存的固态硬盘进行I/O优化,虚拟机的启动速度能够获得35%的提升.     

重复数据删除技术为何成备份容灾的利器？

不管是权威机构,还是众厂商,都非常看好重复数据删除技术的前景。重复数据删除将成为降低数据存储成本的重要技术。在消除备份重复数据方面,它的效果尤其显著。这种将数据量减少数十倍的技术．对于降低数据存储成本具有极大价值。     

新款昆腾企业重复数据删除平台提供业界领先的性能

近日,昆腾公司发布了新款高性能备份与重复数据删除系统,针对整个企业的多层灾难恢复和数据保留战略提供强大功能和灵活性。DXi8500提供同类产品中最高的单个虚拟磁带库（VTL）性能,可达到每小时6．4TB．从而比竞争对手产品更有效地应对大幅缩小的备份和恢复窗口。与昆腾创新的中端DXi6000系列重复数据删除产品类似,这个新款企业级平台旨在最大程度利用整体系统价值。并将包括重复数据删除、复制、     

客户端密文去重方案的新设计

云存储可以使用户在不扩大自身存储的情况下保存更多数据,而客户端去重技术的引入使用户在本地对重复数据进行有效删除,极大提高云存储利用率,节省通信开销.本文利用文献[10]中基于盲签名随机化收敛密钥的思想,提出了一个新的基于客户端密文去重方案.新方案中重复验证标签和拥有权证明可有效抵抗暴力字典攻击,并利用三方密钥协商方案的思想设计了灵活的加密密钥管理方案.实验结果表明新方案能够有效降低用户存储和计算开销.     

重复数据删除走向“源头”

为了挖掘现有存储资源,优化企业存储系统,重复数据删除技术成为当下用户的应用热点。 但是,如何部署重复数据删除技术,是在数据源头还是存储后台,是在备份系统还是归档系统,如何与逐渐普及的虚拟化应用相互融合,所有这些都是影响重复数据删除应用效果的重要问题。     

一种基于重复数据删除技术的云中云存储系统

随着云存储技术的快速发展和应用,越来越多的企业和用户都开始将数据从本地转移到云存储服务提供商进行存储.但是,在享受云存储高质量服务的同时,将数据仅仅存储于单个云存储服务商中会带来一定的风险,例如云存储服务提供商的垄断、数据可用性和安全性等问题.为了解决这个问题,提出了一种基于重复数据删除技术的云中云存储系统架构,首先消除云存储系统中的冗余数据量,然后基于重复数据删除集中的数据块引用率将数据块以复制和纠删码2种数据布局方式存储在多个云存储服务提供商中.基于复制的数据布局方式易于实现部署,但是存储开销大;基于纠删码的数据布局方式存储开销小,但是需要编码和解码,计算开销大.为了充分挖掘复制和纠删码数据布局的优点并结合重复数据删除技术中数据引用的特点,新方法用复制方式存储高引用数据块,用纠删码方式存储其他数据块,从而使系统整体性能和成本达到较优.通过原型系统的实现和测试验证了相比现有云中云存储策略,新方法在性能和成本上都有大幅度提高.     

重复数据删除关键技术研究进展

企业数据量的不断增长和数据传输率要求的不断提高,使得数据中心海量存储空间和高带宽网络传输需求成为当前网络存储领域面临的严峻挑战.利用特定应用数据集内数据高度冗余的特性,重复数据删除技术能够极大地缩减数据存储容量需求,提高网络带宽利用率,降低企业IT运营成本.目前,重复数据删除技术已成为国内外的研究热点.首先介绍重复数据删除技术的概念、分类及其应用;阐述重复数据删除系统的体系结构和基本原理,并与传统存储系统进行对比.然后重点分析和总结重复数据删除各项关键技术的研究现状,包括数据划分方法、I/O优化技术、高可靠数据配置策略以及系统可扩展性.最后对重复数据删除技术的研究现状进行总结,并指出未来可能的研究方向.     

重复数据删除：同步or异步

重复数据删除的两种技术方式各有千秋,用户在应用实践中应从需求出发各有侧重。最近,各大存储厂商关于重复数据删除技术动作不断。首当其冲的是IBM,其把之前收购的专注于重复数据删