云存储中动态副本放置机制研究

数据副本管理是云计算系统管理的重要组成部分,在云计算系统的海量数据处理过程中,针对目前已知的数据存放与资源调度算法存在考虑副本动态性和可靠性的不足,提出了一种动态的副本放置机制。该机制基于区域结构,考虑数据处理时其副本的数量和放置位置,以及副本的产生对于内存和带宽等系统资源的开销:首先根据云存储中的副本信息,对被访问频率高且访问平均响应时间长的数据信息进行复制,并给出副本数量的计算方法;考虑缩小副本分布的节点选择范围,提出动态的副本放置算法——DRA,将一定范围内的节点根据提出的域的划分,进行放置筛选,以存放数据副本。实验结果表明,提出的动态放置机制不仅减少了低访问率副本对系统存储空间的浪费;同时也减少了高访问率副本所需跨节点的传输延迟,有效提高了云存储系统中的数据文件的访问效率、负载的均衡水平,以及云存储系统的可靠性和可用性。     

基于HDFS的动态副本策略设计与实现

针对HDFS的副本方式难以满足动态的数据变化及用户需求,在原有HDFS的管理架构之上对其进行优化,定义了一种算法模型去定量的分析系统可用性参数,提出了一种动态副本调整策略,实现了针对数据存储资源的动态调度服务。模拟实验结果表明：当文件访问量变化的时候,该策略中的副本数量能动态地增加减少,从而验证了该策略的正确性和有效性。     

云存储中副本自适应一致性研究

在云存储系统中,为了保证系统可用性的同时尽可能提高系统性能,降低副本同步过程中网络带宽等资源的消耗。提出了基于文件热度的副本自适应一致性方法。该方法根据文件的热度不同,动态调整副本同步的一致性策略,对于热度高的文件在副本同步过程中采用强一致性,对于热度低的文件在副本同步过程中采用最终一致性。在计算文件热度时,考虑了文件访问的时间序列并结合LRFU算法,该热度值表示了文件将来可能的访问情况,并与文件的实际访问情况一致。实验表明该方法在保证系统可用性的同时显著降低了网络带宽资源的消耗,有效地平衡了系统的可用性和性能。     

VOD服务器集群中的改进SLF存储调度策略

在VOD服务器集群中,存储调度策略是影响整个系统存储容量和总并发数的关键技术之一.针对现有存储调度策略中最小负载优先（SLF）副本放置算法调整代价过高的问题,提出了一种改进SLF算法.算法以最小化负载不平衡度和最小化副本调整代价为目标,在放置过程中充分利用当前已经存储的副本,降低副本调整的代价.仿真实验表明,基于改进SLF算法的存储调度策略可以最小化负载不平衡度,降低了存储调度的调整代价,同时提高了系统的用户请求接受概率.     

时移电视集群系统中的存储调度策略

针对时移电视（time-shiftedTV）节目流行度变化剧烈的特点,提出一种改进的最小负载优先（SLF）放置算法．算法以放置更多副本为目标,修改了放置约束,并以双阈值动态调整作为辅助策略,降低了流行度变化对系统负载均衡的影响．仿真结果表明,该策略可有效降低用户请求拒绝率,改善系统性能,特别是在实际点播与预测不符时效果更为明显．     

基于可审计多副本的云存储差错副本恢复机制

针对具备可审计特性的多副本云存储系统的差错副本恢复问题,在多副本云存储完整性审计方案的基础上,从总体流程、影响因素、恢复策略、故障定位和计算模型5个方面阐述差错副本恢复机制,将差错副本恢复策略归纳为全副本下载上传、全副本差值上传、故障块上传和故障段上传4种,并对影响恢复效率的因素进行了量化,提出通信开销、计算开销和总开销的计算模型。针对一个具体的多副本云存储完整性审计方案,对不同策略和参数下纠正一个数据块随机差错的开销进行量化分析。实验结果表明,当带宽分别为1 Mb/s、10 Mb/s、100 Mb/s和1 Gb/s时,实验中最优策略的耗时分别只有全副本差值上传策略的0.34%、2.44%、15.27%和46.93%。可见所提模型可用于为可审计多副本云存储系统选择合适的策略与参数,以提高差错副本恢复效率,尤其适用于网络带宽受限的情况。     

基于动态副本技术的云存储负载均衡研究

以系统总响应时间最小化为目标,以文件热度为依据,提出了一种多时间窗负载均衡策略。在计算文件热度时,不仅考虑了访问的次数和大小,还将I/O访问时序引入到文件热度统计中,该方法能有效控制短时间突发性数据访问导致的不必要副本创建。在多时间窗负载均衡策略中,设置了三种不同大小的时间窗口,分别实现了存储节点负载均衡、文件副本的负载均衡以及低热度文件多余副本的删除工作。实验数据表明,多时间窗负载均衡策略能显著降低I/O访问响应时间。     

面向云存储的多副本文件完整性验证方案

文件完整性验证是云存储服务的一项重要安全需求.研究者已经提出多项针对云存储文件完整性验证的机制,例如数据持有性验证(prove of data possession, PDP)或者数据可恢复证明(proof of retrievability, POR)机制.但是,现有方案只能够证明远程云存储持有一份正确的数据,不能检验其是否保存多份冗余存储.在云存储场景中,用户需要验证云存储确实持有一定副本数的正确文件,以防止部分文件意外损坏时无法通过正确的副本进行恢复.提出的多副本文件完整性验证方案,能够帮助用户确定服务器正确持有的文件副本数目,并能够定位出错的文件块位置,从而指导用户进行数据恢复.实验证明,充分利用了多服务器分布式计算的优势,在验证效率上优于单副本验证方案.     

基于灰色马尔可夫链预测模型的HDFS云存储副本选择策略

在Hadoop分布式文件系统(HDFS)云存储环境下,网络带宽和节点性能有限且动态变化,现有的副本选择策略无法根据环境的变化选择最合适副本.针对这一问题,提出一种综合考虑了网络带宽、节点I/O性能以及节点存储空间等因素,基于灰色马尔可夫链预测模型的副本选择策略,以此在系统可用性和负载均衡性之间寻求一个平衡.最后通过仿真实验,验证了该策略的可行性与有效性.     

多层一致性哈希的HDFS副本放置策略

分布式文件系统HDFS采用机架感知的副本放置策略在一定程度上保证了数据的可靠性,但系统运行一段时间后会出现数据分布不均衡的情况.虽然使用Balancer程序可以对数据进行重分布,但对数据存储不均衡处理的后置性影响了系统的数据读取速率和可靠性.采用多层一致性哈希的副本放置策略,首先通过一致性哈希算法获得数据副本对应的机架位置,再通过一致性哈希算法获得该机架下对应的数据节点位置并最终成为存储位置.一致性哈希算法在查找对应位置的过程中采用地址等分和虚拟节点的技术,提高了查找的效率和分布的均衡性.该策略在数据均衡存储、上传速率方面较原有策略都有很大的提高,并且具有数据自适应性的能力.     

云计算环境下面向最小成本的数据副本策略

数据副本管理是云存储系统的一个重要组成部分,对提高系统的可靠性和性能具有重要意义。一般而言,云计算环境中数据副本数目越少,其传输成本则愈大;而副本过多,存储成本又随之增加,可能导致总成本上升。从降低数据管理成本的角度,在权衡存储成本与传输成本的基础上研究面向最小成本的数据副本管理策略,主要包括:数据管理成本模型、创建副本必要性测试以及近似最小成本的副本布局策略等。以Amazon云平台数据管理成本模型为例进行实验,结果表明:面向最小成本的副本管理策略在满足用户响应时间等需求的同时,可以有效地降低数据中心的管理成本,推动企业(用户)积极运用云计算平台管理企业数据,促进云计算环境的和谐发展。     

基于协调器与遗传算法的云存储数据复制策略

针对云存储数据过程,结合协调器与遗传算法提出一种新的数据复制策略.在Hadoop分布式文件系统体系结构基础上构建一个用于复制管理的协调器,采用接收查询算法和遗传算法接收查询,并将其发送给合适的节点以满足用户期望的服务质量功能需求,同时考虑一个查询中数据块的物理位置以获得更好的复制参数.仿真结果表明,与目前典型的数据中心...     

Hierarchical Optimization of Network Resource for Heterogeneous Service in Cloud Scenarios

With limited homogeneous and heterogeneous resources in a cloud computing system, it is not feasible to successively expand network infrastructure to adequately support the rapid growth in the cloud service. In this paper, an approach for optimal transmission of hierarchical network for heterogeneous service in Cloud Scenarios was presented. Initially, the theoretical optimal transmission model of a common network was transformed into the hierarchical network with the upper and lower optimization transmission model. Furthermore, the computation simplification and engineering transformation were presented for an approximation method at the low cost of computational complexity. In the final section, the average delay in the engineering method shows its influence on the capability of access for common nodes.     

Enhanced Dynamic Hierarchical Replication and Weighted Scheduling Strategy in Data Grid

The Data Grid provides massive aggregated computing resources and distributed storage space to deal with data-intensive applications. Due to the limitation of available resources in the grid as well as production of large volumes of data, efficient use of the Grid resources becomes an important challenge. Data replication is a key optimization technique for reducing access latency and managing large data by storing data in a wise manner. Effective scheduling in the Grid can reduce the amount of data transferred among nodes by submitting a job to a node where most of the requested data files are available. In this paper two strategies are proposed, first a novel job scheduling strategy called Weighted Scheduling Strategy (WSS) that uses hierarchical scheduling to reduce the search time for an appropriate computing node. It considers the number of jobs waiting in a queue, the location of the required data for the job and the computing capacity of the sites Second, a dynamic data replication strategy, called Enhanced Dynamic Hierarchical Replication (EDHR) that improves file access time. This strategy is an enhanced version of the Dynamic Hierarchical Replication strategy. It uses an economic model for file deletion when there is not enough space for the replica. The economic model is based on the future value of a data file. Best replica placement plays an important role for obtaining maximum benefit from replication as well as reducing storage cost and mean job execution time. So, it is considered in this paper. The proposed strategies are implemented by OptorSim, the European Data Grid simulator. Experiment results show that the proposed strategies achieve better performance by minimizing the data access time and avoiding unnecessary replication.     

基于云存储的二阶段动态优化调度机制

在分布式存储的研究中,如何高效地利用存储空间是个热点问题.存储集群中,每个数据节点存储容量不可能完全一致,由于主节点选择数据节点的随机性,被选中数据节点磁盘可能接近满额,此时主节点会自动做存储负载均衡,占用数据传输带宽,不仅影响数据传输的性能,而且会引起传输数据的不可靠.论文提出一种基于云存储的二阶段动态优化调度机制：第一阶段通过计算副本存储优选比率,采用基于贪心算法的局部优化存储方案,选择存储节点,均衡副本放置空间;第二阶段采用实时监控存储集群,动态调整副本放置节点,达到存储资源的高效利用.最后通过实验,验证了该调度机制可有效地放置副本,减少节点间的数据传输,并提高文件访问效率.     

面向云存储的存储网关

对大容量数据存储和快速读写的需求与计算机网络技术的发展,使得网络化存储系统成为网络服务器系统中I/O子系统研究的热点,作为网络存储系统的关键部件,对分布式文件系统的研究具有非常重要的意义.目前开源社区提供了KFS、moosefs、Fast DFS、TFS、GFS[1]等多款分布式文件系统,其中多数提供了基于Linux操作系统的API或者存储网关,却没有提供Windows版的存储网关.主要对分布式文件系统Windows版存储网关的设计框架和思路进行介绍与分析,并实现了一个基于HDFS的Windows版分布式文件系统的存储网关程序dfsclient.     

云计算资源调度研究综述

资源调度是云计算的一个主要研究方向.首先对云计算资源调度的相关研究现状进行深入调查和分析;然后重点讨论以降低云计算数据中心能耗为目标的资源调度方法、以提高系统资源利用率为目标的资源管理方法、基于经济学的云资源管理模型,给出最小能耗的云计算资源调度模型和最小服务器数量的云计算资源调度模型,并深入分析和比较现有的云资源调度方法;最后指出云计算资源管理的未来重要研究方向:基于预测的资源调度、能耗与性能折衷的调度、面向不同应用负载的资源管理策略与机制、面向计算能力(CPU、内存)和网络带宽的综合资源分配、多目标优化的资源调度,以便为云计算研究提供有益的参考.     

云存储环境下副本选择策略研究

云存储服务提供商为了满足各类云用户的存储需求,一般采用划分固定大小的数据块、冗余备份等技术来存储数据,关于块放置、最佳副本选择、副本粒度等存储机制的研究一直是加快大文件存取速度的重要内容。面向云存储系统中存储节点的异构性,设计了一种采用层次分析法对节点性能指标加权并依据加权指标改进粒子群算法的策略(AHPPSO)。通过引入与存储节点性能相关的加权评价矩阵,使得粒子群算法向综合性能较高的节点进化,在不增加存储空间成本的基础上,加快了存取数据的速度。在自主搭建的云存储系统中实现了该策略,实验结果显示该策略能够适应多种用户需求,并且在一定程度上实现系统负载均衡。     

视频点播层次化存储系统的分析与设计

给出了视频点播层次化存储系统的结构,讨论了该层次化存储系统设计中的关键问题,为大规模多媒体点播系统的设计提供了参考。     

云存储服务数字取证调查

越来越多的用户使用云存储服务来存储数据,但利用云存储服务存储违法信息、盗取公司机密信息等违法案例也逐渐增多。如何提取完整、可靠的证据信息以证明云存储服务访问行为成为一个迫切需要解决的问题。以360云存储服务为例,分析使用浏览器、客户端软件访问云存储后残留痕迹的存储规律性,提出了一种用户行为取证分析方法。该方法通过把日志、历史痕迹等相互关联来重构用户行为时间线,进而分析用户的数据操作行为规律。该方法的取证调查思路、方法也适用于当前广泛使用的其他云存储服务。