基于纠删码的云计算存储备份及恢复策略

如何保障云存储系统中数据的可靠性是云计算领域的热点问题。副本备份技术是保障数据可靠性的重要手段,但是存在占用存储空间大、存储效率低等问题。纠删码能够提供优化的数据冗余度,以防止数据丢失,恰当地使用纠删码可以提高空间的利用效率并获得较好的数据保护效果,在通讯方面已经得到广泛应用。将纠删码引入云存储系统中,代替副本备份策略,以提高云存储系统的性能。实验表明该方案可以有效提高数据可靠性和空间利用率。     

基于Hadoop 智能冗余服务的实现

随着传统互联网的进一步发展,人们对网络资源的使用需求发生了变化,快速构建稳定、易扩容的服务越来越 成为服务关键。服务需求变更快,从产生、成熟到被遗忘周期更短,如何在固定且有限的资源上提供服务越来越成为研究热 点。本文在现有技术的基础上,基于Hadoop 平台,实现智能冗余服务,满足以上需求。     

基于云存储的冗余分片自适应分发策略

水利信息化的发展促进水利大数据的快速增长,在实际生产中发现,水利数据的整合与共享能充分发挥水利大数据的综合效益,但由于各数据中心存储能力不均衡等问题,很容易产生数据交换热点。本文在混合存储模型的研究基础上,根据数据中心之间交换需求量以及数据中心存储能力,设计基于水利数据领域空间特性的冗余分片自适应分发策略,并利用该策略进行数据分片的分发决策。实验表明,该策略能够基本保证各数据中心存储负载趋于均衡。      

基于纠删码的动态副本冗余存储研究

为保证数据的完整性和可靠性,云存储中主要采用多副本和纠删码两种存储策略对数据进行冗余保存.针对单一冗余存储策略的不足,考虑存储开销和访问质量等方面因素,根据用户访问数据的规律,提出一种基于纠删码的动态副本冗余存储方案.采用RC纠删码来存储云中海量数据,使用曲线拟合预测访问热度,适时调整副本的数量.实验结果表明,该方案空间利用率高,能有效减小用户访问的平均延迟,提高用户访问的成功率.     

云存储以及基于云平台下的数据恢复问题研究

云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念,是将储存资源放到云上供人存取的一种新兴方案[1]。由于传统web服务以及自身特点带来的安全风险,正日益成为阻碍其进一步发展的因素。因此,在业界对数据安全分析已有基础上,该文主要针对数据安全方面的数据恢复方向进行了研究,并结合回收站机制提出对分布式数据恢复的展望。     

云存储日志文件系统中快照的设计与实现

在逐步分析云存储日志文件系统中快照机制的基础上,设计并实现了基于HLFS(Hadoop DFS log-structured File-system)云存储日志文件系统的快照系统。通过在HLFS中添加新的快照,从快照系统中就可以随时获取该快照的信息,并恢复该快照时的所有数据,使云存储系统能够及时地进行数据恢复,从而避免云存储中核心数据的丢失,保证云存储中数据的安全性。为尽可能提高云存储日志文件系统中快照系统的可扩展性与实用性,详细分析快照在云存储日志文件系统中的设计与实现,并结合其他快照,分析了HLFS快照的实现性能。     

基于可审计多副本的云存储差错副本恢复机制

针对具备可审计特性的多副本云存储系统的差错副本恢复问题,在多副本云存储完整性审计方案的基础上,从总体流程、影响因素、恢复策略、故障定位和计算模型5个方面阐述差错副本恢复机制,将差错副本恢复策略归纳为全副本下载上传、全副本差值上传、故障块上传和故障段上传4种,并对影响恢复效率的因素进行了量化,提出通信开销、计算开销和总开销的计算模型。针对一个具体的多副本云存储完整性审计方案,对不同策略和参数下纠正一个数据块随机差错的开销进行量化分析。实验结果表明,当带宽分别为1 Mb/s、10 Mb/s、100 Mb/s和1 Gb/s时,实验中最优策略的耗时分别只有全副本差值上传策略的0.34%、2.44%、15.27%和46.93%。可见所提模型可用于为可审计多副本云存储系统选择合适的策略与参数,以提高差错副本恢复效率,尤其适用于网络带宽受限的情况。     

远程文件备份与恢复系统的设计与实现

提出并实现一种远程文件备份与恢复系统（FBRS）,利用FBRS客户端将须备份的文件进行系统快照,判断该文件是否有更新,并进行差异计算,将差异计算结果（即差异文件）发送到FBRS服务器,在FBRS服务器端进行差异重放,实现远程文件同步。测试结果表明,FBRS同rsync相比,能显著减小网络带宽的消耗。     

云存储中基于MHT的动态数据完整性验证与恢复方案

针对云服务器上存储数据完整性验证过程中的高通信开销和动态数据验证问题,提出一种基于Merkle哈希树(MHT)的动态数据完整性验证与恢复方案。首先,基于MHT构建了一种新型分层认证数据结构,将数据块的每个副本块组织成副本子树,以此大幅降低多副本更新验证的通信开销。然后,在数据验证中,融入了对服务器安全索引信息的认证,以此避免服务器攻击。最后,当发现数据损坏时,通过二分查找和Shamir秘密共享机制来恢复数据。实验结果表明,该方案在验证过程中能有效降低计算和通讯开销,并能够很好地支持数据的动态操作。     

基于云计算的自动气象监测网络系统研究与实现

针对目前自动气象监测系统在建设和运行中出现的硬件成本高和信息孤岛等问题,提出了基于微软的Windows Azure云计算平台的自动气象监测网络系统。系统采用通用分组无线服务（GPRS）组网技术实现自动气象站的接入,运用微软的Blob、Table存储和SQL Azure数据库进行海量数据存储,结合ASP.NET及Flash技术在Windows Azure平台上开发和部署Web的门户网站,为用户提供统一访问平台。结果表明该系统的实现较好地解决了问题,对各种范围内自动气象监测网络系统的开发具有建设性意义。     

云计算环境下不可靠数据恢复方法研究

由于云计算环境下不可靠数据中包含有利用价值的信息,但直接使用可能会给计算机带来负担,所以需要对云计算环境下不可靠数据进行恢复;当前大多数方法对不可靠数据进行复写时,利用地址映射层分配新的写入地址,因此不可靠的数据在一段时间内仍存在于云存储中,在这样的系统上实现对其的保护,不需额外保存数据的更新信息;通过FLASH的带外区记录时间戳,在FTL的映射项中增加时间戳信息,在不跟踪映射表每次更新的情况下,达到数据快速恢复的目的;但这种方法对云存储系统性能产生不利影响;为此,提出一种基于张量Tucker阈值的云计算环境下不可靠数据恢复方法,首先利用云计算环境下节点自身的随机秘钥生成器产生随机会话密钥,并对不可靠数据HMAC报文鉴别码进行计算,从而实现保护和重构;在此基础上,将不可靠数据的阈值分解过程与奇异阈值方法相结合,从而得到Tncker阈值算子,实现动态的数据恢复,恢复过程中利用Tucker阈值算子与增广拉格朗日乘子方法相结合的方式选择n-秩相似张量,提出基于增广拉格朗日乘子方法的不可靠数据Tucker阈值恢复方法,完成云计算环境下不可靠数据恢复;实验证明,所提方法能够有效提高不可靠数据恢复的准确性,降低数据恢复的能耗和时间,具有较强的可行性,为该课题的应用研究提供理论依据。     

基于细粒度快照的远程容灾系统的设计与实现

对于企业数据的备份与恢复,文件级的细粒度快照提供了一种快速、灵活的解决方法。本文给出了Linux下VFS与底层文件系统之间的一个细粒度的通用快照层,在该快照层的基础上设计了一个低成本、高效率、可配置的远程容灾系统。     

云存储系统的分区编码冗余方法研究

文章根据云存储的结构特点,将数据存储区域划分本地副本区、本地编码区、远端编码区。本地编码区和远端编码区采用确定型网络编码来实现数据的冗余备份。将解码过程的所有系数矩阵进行三角分解并保存为查找表,采用查表方法辅助方程组求解,减少计算量。实验结果表明,当单个存储结点的可用性在0.7至0.99之间、数据可用性目标为99.99999%时,采取数据分片数为8的方案,该方法的平均每字符运算次数低于3次,比副本冗余方法节省50%以上的存储空间.分区编码冗余方法解码速度快,能够显著提高云存储系统的可用性和存储效率.     

云存储服务中可证明数据持有及恢复技术研究

云存储可以实现任意地点、任意时间、任意数据访问及保障法规遵从的需求等.对存储需求不可预测、需要廉价存储的用户来说,按需购买存储容量的云存储与一次性购买整套存储系统相比显然会带来更多的方便和效益,且云存储在为用户节省投资的同时也节约了社会资源与能源.但是,因为云存储的安全性、可靠性及服务水平等还存在众多问题亟待解决,所以云存储还未得到人们的广泛认可与使用.当用户将数据存放在云存储中,他们最关心的是数据是否完整无误;如果出现故障,是否可以恢复其数据.所以,在云存储中只有让用户可以验证存储服务提供者正确地持有其数据,且当检测到错误时可实现数据恢复,他们才可放心地使用云存储.综述了可证明数据持有及恢复技术在国内外的研究现状,讨论了云存储服务的安全性与可靠性需求,并研究云存储服务对可证明数据持有及恢复方案的特殊要求,从而明确在云存储环境下可证明数据持有及恢复技术的研究方向.     

基于云计算的智能交通系统研究

智能交通系统在我国的发展处于起步阶段,还面临诸多问题,如海量数据不能有效整合、偏远地区设备落后等。云计算技术将为智能交通系统带来新的发展空间,两者的结合是未来的发展趋势。通过研究云计算技术在智能交通系统中的应用,提出了基于云计算技术的智能交通系统平台(智能交通云),解决了交通信息共享、设备落后等问题。     

云计算技术综述

介绍云计算的工作原理、与网格计算的区别、云计算的特点及应用模式,简述云计算的关键技术,包括虚拟化技术、数据存储技术、数据管理技术、编程模型技术和资源监控技术,指出云计算应用存在的主要问题。     

基于云计算的数据安全存储策略研究

数据安全问题是困扰云计算发展的主要问题之一,针对目前云计算应用中用户数据安全存储需求提高,需要极大提高数据读写效率的问题,提出采用对称加密算法与非对称加密算法相结合的加密、解密方案,利用对称密钥适合对大规模数据加密,而非对称密钥本身安全性较高的特点,充分发挥了两者在云计算环境下的优点,实现了一种存储安全性好而且读写效率高的数据存储策略;力图在数据安全性达到非对称密钥加密体制的前提下,使算法效率接近对称密钥加密体制的水平。     

基于校园网的高校云存储系统的设计与实现

本文主要对高校私有云存储系统的背景、需求和技术进行了介绍,结合本院的实际需求给出了高校云盘系统的逻辑构架和拓扑构架,然后给出了校园云盘系统的详细功能设计实现,最后探讨了高校云盘系统的关键问题和解决思路.     

云文件系统中纠删码技术的研究与实现

云文件系统凭借高性能、高扩展、高可用、易管理等特点,成为云存储和大数据的基础和核心。云文件系统一般采用完全副本技术来提升容错能力,提高数据资源的使用效率和系统性能。但完全副本的存储开销随着副本数目的增加呈线性增长,存储副本时造成额外的写带宽和数据管理开销。纠删码在没有增加过量的存储空间的基础上,通过合理的冗余编码来保证数据的高可靠性和可用性。研究了纠删码技术在云文件系统中的应用,从纠删码类型、编码对象、编码时机、数据更改、数据访问方式和数据访问性能等六个方面,对云文件系统中纠删码的设计进行了探究,以增强云文件系统的存储模型。在此基础上,设计并实现了纠删码原型系统,并通过实验证明了纠删码能有效地保障云文件系统的数据可用性,并且节省存储空间。     

云计算环境下资源调度系统设计与实现

在云计算环境下,对开放的网络大数据库信息系统中的数据进行优化调度,提高数据资源的利用效率和配置优化能力;传统的资源调度算法采用资源信息的自相关匹配方法进行资源调度,当数据传输信道中的干扰较大及资源信息流的先验数据缺乏时,资源调度的均衡性不好,准确配准度不高;提出一种基于云计算资源负载均衡控制和信道自适应均衡的资源调度算法,并进行调度系统的软件开发和设计;首先构建了云计算环境下开放网络大数据库信息资源流的时间序列分析模型,采用自适应级联滤波算法对拟合的资源信息流进行滤波降噪预处理,提取滤波输出的资源信息流的关联维特征,通过资源负载均衡控制和信道自适应均衡算法实现资源调度改进;仿真结果表明,采用资源调度算法进行资源调度系统的软件设计,提高了资源调度的信息配准能力和抗干扰能力,计算开销较小,技术指标具有优越性。