基于可审计多副本的云存储差错副本恢复机制

针对具备可审计特性的多副本云存储系统的差错副本恢复问题,在多副本云存储完整性审计方案的基础上,从总体流程、影响因素、恢复策略、故障定位和计算模型5个方面阐述差错副本恢复机制,将差错副本恢复策略归纳为全副本下载上传、全副本差值上传、故障块上传和故障段上传4种,并对影响恢复效率的因素进行了量化,提出通信开销、计算开销和总开销的计算模型。针对一个具体的多副本云存储完整性审计方案,对不同策略和参数下纠正一个数据块随机差错的开销进行量化分析。实验结果表明,当带宽分别为1 Mb/s、10 Mb/s、100 Mb/s和1 Gb/s时,实验中最优策略的耗时分别只有全副本差值上传策略的0.34%、2.44%、15.27%和46.93%。可见所提模型可用于为可审计多副本云存储系统选择合适的策略与参数,以提高差错副本恢复效率,尤其适用于网络带宽受限的情况。     

面向云存储的多副本文件完整性验证方案

文件完整性验证是云存储服务的一项重要安全需求.研究者已经提出多项针对云存储文件完整性验证的机制,例如数据持有性验证(prove of data possession, PDP)或者数据可恢复证明(proof of retrievability, POR)机制.但是,现有方案只能够证明远程云存储持有一份正确的数据,不能检验其是否保存多份冗余存储.在云存储场景中,用户需要验证云存储确实持有一定副本数的正确文件,以防止部分文件意外损坏时无法通过正确的副本进行恢复.提出的多副本文件完整性验证方案,能够帮助用户确定服务器正确持有的文件副本数目,并能够定位出错的文件块位置,从而指导用户进行数据恢复.实验证明,充分利用了多服务器分布式计算的优势,在验证效率上优于单副本验证方案.     

云存储中动态副本放置机制研究

数据副本管理是云计算系统管理的重要组成部分,在云计算系统的海量数据处理过程中,针对目前已知的数据存放与资源调度算法存在考虑副本动态性和可靠性的不足,提出了一种动态的副本放置机制。该机制基于区域结构,考虑数据处理时其副本的数量和放置位置,以及副本的产生对于内存和带宽等系统资源的开销:首先根据云存储中的副本信息,对被访问频率高且访问平均响应时间长的数据信息进行复制,并给出副本数量的计算方法;考虑缩小副本分布的节点选择范围,提出动态的副本放置算法——DRA,将一定范围内的节点根据提出的域的划分,进行放置筛选,以存放数据副本。实验结果表明,提出的动态放置机制不仅减少了低访问率副本对系统存储空间的浪费;同时也减少了高访问率副本所需跨节点的传输延迟,有效提高了云存储系统中的数据文件的访问效率、负载的均衡水平,以及云存储系统的可靠性和可用性。     

云存储智能多数据副本放置机制

数据副本管理机制是云存储系统的重要组成部分。为了提高云存储系统的可伸缩性、可靠性,同时改善用户访问时间,通常采用多数据副本机制,并且需要解决数据副本放置问题。为此,提出了一种用于云存储系统的智能多数据副本放置机制。该机制基于p-中心模型,以最小化访问代价为优化目标,基于遗传算法（genetic algorithm,GA）确定优化的数据副本放置方案,基于生物地理学优化（biogeography-based optimization,BBO）算法确定用户访问请求对数据副本的优化分配。基于CloudSim进行了仿真实现和性能评价,结果表明,云存储智能多数据副本放置机制是可行和有效的。     

云存储中副本自适应一致性研究

在云存储系统中,为了保证系统可用性的同时尽可能提高系统性能,降低副本同步过程中网络带宽等资源的消耗。提出了基于文件热度的副本自适应一致性方法。该方法根据文件的热度不同,动态调整副本同步的一致性策略,对于热度高的文件在副本同步过程中采用强一致性,对于热度低的文件在副本同步过程中采用最终一致性。在计算文件热度时,考虑了文件访问的时间序列并结合LRFU算法,该热度值表示了文件将来可能的访问情况,并与文件的实际访问情况一致。实验表明该方法在保证系统可用性的同时显著降低了网络带宽资源的消耗,有效地平衡了系统的可用性和性能。     

基于多目标优化的云存储副本分布策略的研究

针对现有云存储副本分布策略优化目标比较单一的不足,提出了局部最佳分布策略(Local Optimum Distribution,LODS).LODS策略通过给出一系列新定义并利用一致性哈希函数来缩小副本分布的节点选择范围,进一步结合层次分析法,将一定决策半径内的节点作为方案层中的候选对象,通过更深入地研究云存储多目标优化准则对其优化从而最终选择出当前候选方案中的最佳目标节点.实验结果表明,通过优化的最优决策半径取值相对稳定,不随云存储系统规模的扩展和数据的增多而剧烈变化,并且当取值最佳决策半径时,LODS策略的存储负载平衡、热度负载平衡、等待时间性能高于HDFS、Amazon S3等系统中所采用的副本分布策略.     

基于动态副本技术的云存储负载均衡研究

以系统总响应时间最小化为目标,以文件热度为依据,提出了一种多时间窗负载均衡策略。在计算文件热度时,不仅考虑了访问的次数和大小,还将I/O访问时序引入到文件热度统计中,该方法能有效控制短时间突发性数据访问导致的不必要副本创建。在多时间窗负载均衡策略中,设置了三种不同大小的时间窗口,分别实现了存储节点负载均衡、文件副本的负载均衡以及低热度文件多余副本的删除工作。实验数据表明,多时间窗负载均衡策略能显著降低I/O访问响应时间。     

存储中的副本分级存储调度策略

当集群中的部分节点是廉价主机时,采用HDFS的随机存储策略可能使访问频率高的数据存储在廉价节点上,受到廉价节点的性能影响,访问时间过长,降低了集群效率。为改善以上问题,提出一种改进的副本分级存储调度策略。为减少副本调度的次数,先根据节点的CPU、内存、网络、存储负载以及网络距离来评价节点的性能,再从中选取高性能节点进行存储。副本调度以节点中副本的访问频率为依据,结合硬件配置,把访问频率高的副本尽可能存储在高性能、高配置的节点中,以加快集群响应速度。实验结果表明,改进后的策略可以在异构集群中提高副本的访问效率,优化负载均衡。     

基于Paillier加密的数据多副本持有性验证方案

云存储服务中,用户将数据存储在不可信的云储存服务器上,为检查云存储中服务提供商(CSP)是否按协议完整地存储了用户的所有数据副本,提出一种 支持对数据副本进行动态操作 的基于Paillier加密的数据多副本持有性验证方案, 即DMR-PDP方案。该方案为实现多副本检查,将文件块以文件副本形式存储在云服务器上,将各副本编号与文件连接后利用Paillier密码系统生成副本文件以防止CSP各服务器的合谋攻击。利用BLS签名实现对所有副本的批量验证。将文件标志和块位置信息添加到数据块标签中,以保证本方案的安全性,支持对文件的动态更新操作。安全性分析和仿真实验结果表明,该方案在安全性、通信和计算开销方面的性能优于其他文献提出的方案,极大地提高了文件存储和验证的效率,减少了计算开销。     

基于同态hash的数据多副本持有性证明方案

为检查云存储中服务提供商(CSP)是否按协议完整地存储了用户的所有数据副本,在分析并指出一个基于同态hash的数据持有性证明方案安全缺陷的基础上,对其进行了改进和扩展,提出了一个多副本持有性证明方案。为实现多副本检查,将各副本编号与文件连接后利用相同密钥加密以生成副本文件,既有效防止了CSP各服务器的合谋攻击,又简化了用户和文件的授权访问者的密钥管理;为提高检查效率,利用同态hash为数据块生成验证标签,实现了对所有副本的批量检查;为保证方案安全性,将文件标志和块位置信息添加到数据块标签中,有效防止了CSP进行替换和重放攻击。安全性证明和性能分析表明,该方案是正确和完备的,并具有计算、存储和通信负载低,以及支持公开验证等特点,从而为云存储中数据完整性检查提供了一种可行的方法。     

一种基于网络编码的云存储系统

存储空间、修复带宽和更新带宽是云存储系统的3个重要指标,系统设计往往需要在这些性能度量之间取折衷。为了降低存储空间、修复带宽、更新带宽以及系统复杂度,文中提出了一种基于网络编码的云存储系统。该系统结构为m*n数据阵列的形式,n列表示n个存储节点,其中k个节点用于存储原始数据,称为系统部分;另外(n－k)个节点用于存储校验字符,称为非系统部分。数据阵列的m行对应m个系统形式的(n,k)最大距离可分(MDS)码,每个源数据符号只参与它所在行的编码,不参与其他行的编码,这种系统结构大幅降低了编译码的复杂度。该系统可以承受最多(n－k)个节点的失效,此外,当单节点失效时,由于使用了系统形式的MDS码,可以使用干扰对齐技术进一步缩减修复带宽。与现有的某些云存储系统相比,该系统明显降低了存储空间、修复带宽和更新带宽等资源消耗,性能得到大幅提升。     

一种基于LT码的数据云存储方案

拜占庭失效或恶意攻击会降低云服务供应商的云存储服务可靠性,为此,提出一种基于云计算的安全可靠数据存储方案。通过LT编码增加分布式云服务器的数据冗余度,在保证性能全局准最优的同时,提升数据用户在数据检索阶段的解码效率。利用支持公共数据完整性检查和准确数据修复,避免数据拥有者长期保持在线状态,并设计数据修复解决方案,使服务运行期间无需产生元数据也能进行数据修复。实验结果表明,与基于网络编码和基于RS码的云存储方案相比,该方案的通信成本只增加了15%,但数据检索效率却提高了约1倍。     

基于云计算的数据安全存储策略研究

数据安全问题是困扰云计算发展的主要问题之一,针对目前云计算应用中用户数据安全存储需求提高,需要极大提高数据读写效率的问题,提出采用对称加密算法与非对称加密算法相结合的加密、解密方案,利用对称密钥适合对大规模数据加密,而非对称密钥本身安全性较高的特点,充分发挥了两者在云计算环境下的优点,实现了一种存储安全性好而且读写效率高的数据存储策略;力图在数据安全性达到非对称密钥加密体制的前提下,使算法效率接近对称密钥加密体制的水平。     

云存储服务中可证明数据持有及恢复技术研究

云存储可以实现任意地点、任意时间、任意数据访问及保障法规遵从的需求等.对存储需求不可预测、需要廉价存储的用户来说,按需购买存储容量的云存储与一次性购买整套存储系统相比显然会带来更多的方便和效益,且云存储在为用户节省投资的同时也节约了社会资源与能源.但是,因为云存储的安全性、可靠性及服务水平等还存在众多问题亟待解决,所以云存储还未得到人们的广泛认可与使用.当用户将数据存放在云存储中,他们最关心的是数据是否完整无误;如果出现故障,是否可以恢复其数据.所以,在云存储中只有让用户可以验证存储服务提供者正确地持有其数据,且当检测到错误时可实现数据恢复,他们才可放心地使用云存储.综述了可证明数据持有及恢复技术在国内外的研究现状,讨论了云存储服务的安全性与可靠性需求,并研究云存储服务对可证明数据持有及恢复方案的特殊要求,从而明确在云存储环境下可证明数据持有及恢复技术的研究方向.     

云存储系统的分区编码冗余方法研究

文章根据云存储的结构特点,将数据存储区域划分本地副本区、本地编码区、远端编码区。本地编码区和远端编码区采用确定型网络编码来实现数据的冗余备份。将解码过程的所有系数矩阵进行三角分解并保存为查找表,采用查表方法辅助方程组求解,减少计算量。实验结果表明,当单个存储结点的可用性在0.7至0.99之间、数据可用性目标为99.99999%时,采取数据分片数为8的方案,该方法的平均每字符运算次数低于3次,比副本冗余方法节省50%以上的存储空间.分区编码冗余方法解码速度快,能够显著提高云存储系统的可用性和存储效率.     

监控视频云存储系统

非结构化数据呈爆炸态势增长, 传统存储技术在吞吐能力可扩展性及易管理性等方面急需改进, 通过分析安保视频数据存储的问题, 设计一种云计算架构下的安保视频监控存储系统, 基于框架技术搭建了对等架构的云计算环境, 并对其中的云存储策略进行了设计和建模. 实现在廉价不可信节点上存储海量私有化只读视频数据, 并提供高效可靠地访问. 仿真结果显示, 系统的存储性能可靠度高且易于扩展, 可提供效能较高的视频云存储服务.     

云环境下元数据弹性分级一致性保障机制研究 *

云存储环境下,元数据提供数据定位与资源描述服务,云存储系统利用副本技术保障元数据的可用性。为了解决元数据的动态更新导致的元数据副本的不一致,本文从云存储系统中不同元数据对一致性强度需求的差异性出发,提出了基于元数据弹性分级的一致性保障机制。根据元数据访问频率以及更新属性敏感度对元数据更新弹性分级,结合基于读优化的Quorum算法实现元数据更新的分级一致性保障。实验证明该机制可以有效权衡元数据副本可用性、一致性和系统开销,相比单一的一致性策略更为灵活。     

基于 Reed-Solomon 编码的抗边信道攻击云数据安全去重方法

跨用户数据去重技术, 通过在用户端减少重复数据上传来提高云端数据存储效率和用户的带宽使用效率。然而, 在数据上传过程中, 云服务商反馈给用户的确定性去重响应为攻击者建立了一个极具安全风险的边信道, 攻击者利用该边信道可推断出目标数据在云端的存在性隐私。现有的抗边信道攻击跨用户去重方法, 采用各种混淆策略试图扰乱攻击者的判断, 然而, 这些方法难以实现完全混淆, 攻击者仍然可通过字典攻击、附加块攻击等方式达到数据窃取的目的。目前, 如何防止攻击者利用边信道窃取数据的存在性隐私, 成为了跨用户数据去重技术亟待解决的重要问题。为应对这一挑战, 本文采用了一种基于广义去重的新型跨用户安全去重框架, 将原始数据从字节层面分解为基和偏移量, 对基进行跨用户去重, 并对偏移量进行云端去重。特别地, 本文采用 Reed-Solomon 纠删码编码思想实现基的提取, 使得从相似的数据中可以较高概率提取出相同的基。不仅可以实现对攻击者的混淆, 还可以有效节省通信开销和云端存储开销。此外, 为了进一步提高效率, 本文在偏移量上传前, 引入数据压缩算法, 减少偏移量间的冗余数据量。实验结果表明, 在实现有效抵抗边信道攻击的前提下, 本方法相比该领域最新工作在通信和存储效率等方面具有显著优势。     

分布式环境中基于改进RS编码的数据存储

针对目前主流分布式处理平台数据冗余因子过大、数据可用性不高的问题,提出基于改进RS编码的二次分块数据存储方法.将分布式环境中的文件块分成多个数据子块,利用RS编码对其进行编码,并分布存储到不同机器节点中,以减少数据冗余.实验结果表明,该方法能有效降低数据冗余度,提高数据可用性,减少任务执行时间.