一种面向大规模副本存储系统的可靠性模型

可靠性对大规模存储系统至关重要,在大规模存储系统中设备失效日趋频繁,副本技术成为提高系统可靠性的主流技术之一.基于Markov模型,针对多副本存储系统建立了度量系统可靠性的理论模型.该模型能够反应失效检测延迟对系统可靠性的影响.通过该模型还可以度量存储系统关键参数如系统规模、副本阶数、单节点容量、单节点平均失效时间、数据对象平均大小、平均修复带宽等对系统可靠性的影响,从而为存储系统的设计提供理论基础.     

主动容错副本存储系统的可靠性分析模型

主动容错机制通过预先发现即将故障的硬盘来提醒系统提前迁移备份危险数据,从而显著提高存储系统的可靠性。针对现有研究无法准确评价主动容错副本存储系统可靠性的问题,提出几种副本存储系统的状态转换模型,然后利用蒙特卡洛仿真算法实现了该模型,从而模拟主动容错副本存储系统的运行,最后统计系统在某个运行时期内发生数据丢失事件的期望次数。采用韦布分布函数模拟设备故障和故障修复事件的时间分布,并定量评价了主动容错机制、节点故障、节点故障修复、硬盘故障以及硬盘故障修复事件对存储系统可靠性的影响。实验结果表明,当预测模型的准确率达到50%时,系统的可靠性可以提高1~3倍;与二副本系统相比,三副本系统对系统参数更敏感。所提模型可以帮助系统管理者比较权衡不同的容错方式以及系统参数下的系统可靠性水平,从而搭建高可靠和高可用的存储系统。     

存储系统可靠性预测综述

对存储系统的可靠性预测,可以用来评估、比较不同容错机制以及评价不同系统参数对存储系统可靠性的作用,有利于创建高可靠的存储系统。因此,存储系统可靠性预测的研究一直是领域热点之一。从硬盘单体和存储系统两种预测对象的角度,对近年来该领域的相关研究进行了介绍和分析。首先从硬盘个体和群体两种对象,主动容错和被动容错两种容错方式,以及纠删码和副本两种冗余机制几个角度分类介绍当前可靠性预测研究现状,然后进一步指明当前该领域研究中尚未解决的一些难题和未来可能的发展方向。分析表明,目前对副本存储系统和主动容错存储系统的可靠性预测研究尚显不足,是未来很有价值的研究方向。     

基于萤火虫优化的副本放置方法

在云计算环境下分布式存储系统中,通常采用副本技术保证存储系统的可用性和可靠性,放置策略是副本技术的一个关键问题。针对现有副本放置策略中存在的副本访问开销大的问题,提出一种基于离散型萤火虫优化的副本放置算法。考虑副本放置对用户访问性能的影响,对其建立数学模型,计算萤火虫位置的适应度函数,并朝着荧光素值最大即最优值移动,进而得到合适的副本放置节点。通过仿真实验评估提出的方法,并与基于蚁群算法的副本放置策略进行比较。实验结果证明该算法能够选择合适的副本放置节点,具有较好的收敛性,并有效地降低存储系统的副本访问开销。     

基于对象分组的集群存储系统可靠性分析模型

可靠性问题是研究大规模集群存储系统的一个重要方面。借鉴RAID的方法,提出基于对象分组在算法一级实现数据冗余分布的高可靠数据对象布局算法。在数据对象和存储节点失效时,利用冗余数据重构数据对象和存储节点,有效保证存储系统的高可用性。采用马尔可夫激励模型对存储系统进行定量的可用性分析,计算结果表明该方法是有效的。     

大规模云存储系统副本布局研究

在基于副本冗余机制的大规模云存储系统中,以往的副本布局算法只能部分地满足副本布局中高可靠、高可扩展并且高效的要求,针对这一问题,提出了一种基于分组和一致性哈希的副本布局算法。首先,将关联性高的存储节点进行分组;然后,通过改进的一致性哈希算法将同一数据对象的多个副本分别分配到不同分组中;最后,再通过改进的一致性哈希算法将分配到各分组的数据副本放置在组内对应的存储节点上。理论分析可知,该方法大大提高数据的可靠性。仿真结果表明,该算法能满足副本布局的均衡性、自适应性要求,并能在几十微秒内完成副本定位。     

基于随机Petri网的P2P存储系统可靠性模型和分析

可靠性是可信性研究的基本内涵之一,也是P2P ( Peer-to-Peer)存储系统研究的关键。P2P存储系统结点具有高动态特征,结点频繁地上下线给系统的可靠性分析带来困难。结点的暂时离线会增加副本数量,从而导致系统不必要的损耗。较多的副本数量会增加系统的可靠性,但是同时会导致系统的一致性维护成本增加。而较少的副本数量又会导致系统的可靠性显著降低。针对副本的数量和可靠性之间的关系,采用随机Pctri建立了P2P存储系统的可靠性模型并加以分析,围绕数据可靠性度量要求和数据副本的数量建立关系模型,从理论上指明研究系统可靠性的目的和基本原则,这可以在系统组建之初帮助优化系统的设计。     

云存储系统中基于动态规划的最小开销数据副本布局研究

传统的副本布局策略较少考虑数据传输开销,且对网络结构有所限定,导致通用性不足。为此,基于动态规划方法,以最小化数据管理开销为目标,提出一种云存储系统中最小开销数据副本布局策略。在数据管理综合开销模型的基础上,比较数据中心放置与不放置副本2种情况下的开销,从而确定副本位置。实验结果表明,该策略能够实现副本的合理分布,在有效降低数据管理开销的同时,可减少平均响应时间与网络传输量,提升云存储系统性能。     

访问特征驱动的副本存储策略自动生成框架

大规模分布式数据存储是云计算和大数据时代的重要支撑技术.在分布式存储系统中,数据副本如何放置是一个基本问题.然而,现有可实用的算法或忽略应用具体的访问特征而牺牲效率,或拘泥于单一应用而不具备泛化能力.通过建立副本存储策略的统一描述模型以及提取应用的关键访问特征参数,定义出副本存储策略自动生成算法的输出和输入;通过机器学习的方法获得访问特征参数和最优副本存储策略参数之间的一般性关系,从而形成自动生成机制的核心算法.在提高存储系统访问性能及节约能耗等成本的同时,有效降低副本存储策略设计过程中的人工干预程度.     

基于框图法的网络存储系统可靠性分析

随着信息的快速增长和对数据安全要求的提高,网络存储系统的可靠性直接影响信息系统性能.重点针对网络存储系统中的设备失效问题,在分析典型网络存储系统可靠性模型的基础上,采用框图法理论提出了一种基于混联结构的网络存储系统的可靠性分析与评价方法,包括基于属性节点的系统可靠性框图描述方法、负载关联的M取值方法等.通过典型混联结构的FC-SAN系统实验,验证了该方法的有效性.该方法相对于测试等其它方法具有简单、省时、费用低等特点,因此更有利于应用于网络存储系统的方案和设备优化.     

云存储智能多数据副本放置机制

数据副本管理机制是云存储系统的重要组成部分。为了提高云存储系统的可伸缩性、可靠性,同时改善用户访问时间,通常采用多数据副本机制,并且需要解决数据副本放置问题。为此,提出了一种用于云存储系统的智能多数据副本放置机制。该机制基于p-中心模型,以最小化访问代价为优化目标,基于遗传算法（genetic algorithm,GA）确定优化的数据副本放置方案,基于生物地理学优化（biogeography-based optimization,BBO）算法确定用户访问请求对数据副本的优化分配。基于CloudSim进行了仿真实现和性能评价,结果表明,云存储智能多数据副本放置机制是可行和有效的。     

蚊子产卵交配和模拟退火的混合优化数据副本放置机制

为了提高云存储系统的可扩展性、可靠性,同时改善用户访问能力,通常为其配备多数据副本机制,则不仅需要为数据副本选择合适的存储场地,而且需要实现用户访问请求对数据副本的优化分配。为此,提出了一种基于蚊子产卵交配和模拟退火混合优化数据副本放置机制。该机制以最小化总代价为优化目标,基于蚊子产卵交配思想确定数据副本候选放置方案,基于模拟退火进一步求精得到最优解。基于CloudSim,对该机制进行了仿真实现和性能评价,并且与现有的机制进行了对比分析,结果表明,该机制具有更好的性能,是可行和有效的。     

QoS-aware,access-efficient,and storage-efficient replica placement in grid environments

In this paper, we study the quality-of-service (QoS)-aware replica placement problem in grid environments. Although there has been much work on the replica placement problem in parallel and distributed systems, most of them concern average system performance and have not addressed the important issue of quality of service requirement. In the very few existing work that takes QoS into consideration, a simplified replication model is assumed; therefore, their solution may not be applicable to real systems. In this paper, we propose a more realistic model for replica placement, which consider storage cost, update cost, and access cost of data replication, and also assumes that the capacity of each replica server is bounded. The QoS-aware replica placement is NP-complete even in the simple model. We propose two heuristic algorithms, called greedy remove and greedy add to approximate the optimal solution. Our extensive experiment results demonstrate that both greedy remove and greedy add find a near-optimal solution effectively and efficiently. Our algorithms can also adapt to various parallel and distributed environments.     

Dynamic replica placement and selection strategies in data grids— A comprehensive survey

Data replication techniques are used in data grid to reduce makespan, storage consumption, access latency and network bandwidth. Data replication enhances data availability and thereby increases the system reliability. There are two steps involved in data replication, namely, replica placement and replica selection. Replica placement involves identifying the best possible node to duplicate data based on network latency and user request. Replica selection involves selecting the best replica location to access the data for job execution in the data grid. Various replica placement and selection algorithms are available in the literature. These algorithms measure and analyze different parameters such as bandwidth consumption, access cost, scalability, execution time, storage consumption and makespan. In this paper, various replica placement and selection strategies along with their merits and demerits are discussed. This paper also analyses the performance of various strategies with respect to the parameters mentioned above. In particular, this paper focuses on the dynamic replica placement and selection strategies in the data grid environment.     

对等网副本散布问题纯策略纳什均衡研究

在对等网环境中为增强数据的可靠性与访问效率,需要将数据副本进行有效的散布。应用博彝论原理研究副本散布问题是一种有效的新方法。分析了当前使用博弈论方法研究所存在的问题,提出副本散布问题的基本博彝模型,首次证明了多对象且节点容量有限情况下纯策略纳什均衡的存在性,较以前的研究成果更具有实用价值,且是今后进一步研究的基础。     

大规模网络存储系统中面向可靠性的数据布局算法

如何有效地在大规模的网络存储系统中存放数据是一个具有挑战性的问题.深入研究如何在满足存储的公平、冗余和自适应性的情况下,基于存储设备不同的可靠性能,充分考虑存储数据的重要性进行数据布局.用整数规划的形式描述了面向不同可靠性等级的存储设备进行数据布局的优化问题,并说明了这个问题是NP难的.提出了一种块级别的面向可靠性的数据分级布局算法,保证了布局算法的公平、冗余以及自适应性,并分析了数据布局算法的合理性和可行性.     

云存储中动态副本放置机制研究

数据副本管理是云计算系统管理的重要组成部分,在云计算系统的海量数据处理过程中,针对目前已知的数据存放与资源调度算法存在考虑副本动态性和可靠性的不足,提出了一种动态的副本放置机制。该机制基于区域结构,考虑数据处理时其副本的数量和放置位置,以及副本的产生对于内存和带宽等系统资源的开销:首先根据云存储中的副本信息,对被访问频率高且访问平均响应时间长的数据信息进行复制,并给出副本数量的计算方法;考虑缩小副本分布的节点选择范围,提出动态的副本放置算法——DRA,将一定范围内的节点根据提出的域的划分,进行放置筛选,以存放数据副本。实验结果表明,提出的动态放置机制不仅减少了低访问率副本对系统存储空间的浪费;同时也减少了高访问率副本所需跨节点的传输延迟,有效提高了云存储系统中的数据文件的访问效率、负载的均衡水平,以及云存储系统的可靠性和可用性。     

重复数据删除技术

重复数据删除技术主要分为两类:相同数据的检测技术和相似数据的检测与编码技术,系统地总结了 这两类技术,并分析了其优缺点.此外,由于重复数据删除技术会影响存储系统的可靠性和性能,又总结了针对这 两方面的问题提出的各种技术.通过对重复数据删除技术当前研究现状的分析,得出如下结论:a) 重复数据删除 中的数据特性挖掘问题还未得到完全解决,如何利用数据特征信息有效地消除重复数据还需要更深入的研 究;b) 从存储系统设计的角度,如何引入恰当的机制打破重复数据删除技术的可靠性局限并减少重复数据删除技术带来的额外系统开销也是一个需要深入研究的方面.