一种面向大规模存储系统的数据副本映射算法

提出一种适应动态环境、无需数据映射表的多副本数据对象映射算法.该算法引入节点权重,借鉴一致性Hash技术,使得海量的数据对象按照节点服务能力在各存储节点间均匀分布;当存储节点个数发生变化时,数据依然在节点间均匀分布,且数据迁移量接近理论下限;只需维护少量数据即可计算得到数据布局,从而有效提高了系统的可扩展性.测试结果表明,算法可使所有节点分配对象个数与理论值偏差小于5%,节点个数变化时移动数据数量与理论下限偏差小于1%.     

主动容错副本存储系统的可靠性分析模型

主动容错机制通过预先发现即将故障的硬盘来提醒系统提前迁移备份危险数据,从而显著提高存储系统的可靠性.针对现有研究无法准确评价主动容错副本存储系统可靠性的问题,提出几种副本存储系统的状态转换模型,然后利用蒙特卡洛仿真算法实现了该模型,从而模拟主动容错副本存储系统的运行,最后统计系统在某个运行时期内发生数据丢失事件的期望次...     

大规模云存储系统副本布局研究

在基于副本冗余机制的大规模云存储系统中,以往的副本布局算法只能部分地满足副本布局中高可靠、高可扩展并且高效的要求,针对这一问题,提出了一种基于分组和一致性哈希的副本布局算法。首先,将关联性高的存储节点进行分组;然后,通过改进的一致性哈希算法将同一数据对象的多个副本分别分配到不同分组中;最后,再通过改进的一致性哈希算法将分配到各分组的数据副本放置在组内对应的存储节点上。理论分析可知,该方法大大提高数据的可靠性。仿真结果表明,该算法能满足副本布局的均衡性、自适应性要求,并能在几十微秒内完成副本定位。     

主动容错多副本民航存储系统状态转换模型

主动容错机制解决了被动容错冗余问题,实现了硬盘潜在故障的提前预测和主动处理,显著提高了存储系统的可靠性.然而,民航存储系统采用被动容错机制无法全面保障系统可靠性.本文利用主动容错机制的优势,基于硬盘故障预测模型构建了多副本民航存储系统状态转换模型.该模型全面考虑硬盘,节点和机架故障3个因素,采用韦布分布模拟民航存储系统事件的发生.根据系统状态转换模型,本文使用了改进的基于事件驱动的蒙特卡洛仿真方法,对民航存储系统进行了全面的可靠性分析.实验结果表明,本文模型显著提高了民航存储系统的可靠性.另外,敏感性分析得出主动和被动的结合机制有效延缓了系统可靠性下降的趋势,节约了网络带宽资源.     

P2P存储系统副本一致性维护策略

副本策略是提高P2P存储系统的可扩展性、容错性、可用性的有效手段。随着新的应用发展,P2P中副本应用从只读静态文件共享转变为读写动态文件交互,副本的一致性维护变得越来越重要。提出一种副本信息传播树的维护策略,该策略把文件副本的相关信息保存在二叉树上,通过订阅和取消订阅算法维护副本的一致。实验证明该策略能有效减少维护开销,避免相关问题的出现。     

一种基于离散马尔科夫模型的神经网络可靠性设计方法

本文给出了一和循环前馈神经网络来表示具有ｎ个状态的离莠马尔科夫模型,及其二次能量函数,并根据梯度下降规则,给出了相应的权值修改规则。利用该神经网络方法可以有效地对容错硬件进行可靠性设计。     

面向本地分布式存储系统的动态副本策略

针对本地分布式存储系统的拓扑结构与存储组成单元的特性,提出了一种基于频度的动态副本算法FBDR。FBDR分别采用基于密度的单次频度分析和基于区间长度的两次频度聚合的方法对文件访问流进行分析,作为确定热点文件的依据,具有较高的命中率。在副本创建位置选择上,综合考虑了存储单元的可用空间、负载、IO性能等因素,使热点文件获得更高的IO速率,同时兼顾了存储单元之间的负载与资源利用的平衡。     

云存储系统中基于动态规划的最小开销数据副本布局研究

传统的副本布局策略较少考虑数据传输开销,且对网络结构有所限定,导致通用性不足。为此,基于动态规划方法,以最小化数据管理开销为目标,提出一种云存储系统中最小开销数据副本布局策略。在数据管理综合开销模型的基础上,比较数据中心放置与不放置副本2种情况下的开销,从而确定副本位置。实验结果表明,该策略能够实现副本的合理分布,在有效降低数据管理开销的同时,可减少平均响应时间与网络传输量,提升云存储系统性能。     

分布式存储系统可靠性的研究

通过对分布式存储系统可靠性的研究,运用了具有MDS特性的X码的编码模式,实现了能纠正2个疑符的译码新算法,从而有效地增强了分布式存储系统的可靠性。     

面向数据中心的安全网络存储系统设计

针对各类数据中心存储系统建设需求,开展了存储系统设计需求分析,重点针对存储系统可靠性、安全性需求,进行了安全网络存储系统备份恢复机制、安全保密机制设计,针对数据中心大数据存储加密处理需求,开展了存储加密运算高性能和可靠性设计研究,提出了灵活可配置的存储加密策略,可适配具有不同加密性能或可靠性需求的应用场景,能够适配各类数据中心存储区域网络建设安全保密需求.     

大规模分布式存储系统中数据修复策略的研究

在大规模分布式存储系统中,为了保证数据的可用性和可靠性,需要对数据进行一定的冗余存储。当节点失效后,有必要对失效节点所存储的数据进行修复以提供数据的可用性保证。然而,由于节点失效行为的不可预测性,何时对数据进行修复成为难题。目前,许多系统采用了立即修复的策略,但是这种方式会给系统负载带来大量不必要的浪费。通过对节点失效行为和副本数量的分析,提出了基于平均偏移的两阶段数据修复策略。实验证明,该策略在保证系统副本可用性的前提下,有效地降低了数据修复过程对系统的负载压力,提高了集群系统的系统稳定性。     

基于智能预警的自恢复存储系统研究

为提高磁盘阵列存储的可靠性,提出一种基于智能预警的自恢复存储系统。在对磁盘S.M.A.R.T信息实时监测采集的基础上,利用机器学习方法对磁盘故障进行预测,对于预警磁盘采取以数据为中心的自修复迁移保护策略。分析结果表明,该系统能提高存储可靠性,数据迁移过程对用户透明,可用性较强。     

电视播放系统中数据存储子系统的研究与实现

电视台无压缩播放系统是一个多媒体计算机系统,它要求其存储子系统具有大容量、高数传率、高可靠性、高可用性及可扩展性等特点。本文详细分析了这些性能,并在我们自己构建的无压缩播放系统上作了实现与验证。运行结果表明,此存储子系统不仅很好地满足了标准清晰度电视无压缩数字播放系统的要求,而且也可满足高清晰度电视数字
字播放系统的要求。     

集群RAID5存储系统可靠性分析

集群存储具有高并发性、高可扩展性、高性价比等特点,成为构建大型存储系统的一种重要技术.但随着系统规模的扩大,系统失效事件日益频繁,如何提高系统可靠性,保证数据持续、有效地访问就成为一个必须解决的问题.集群RAID系统是传统RAID技术在集群存储上的延伸,是有效解决可靠性问题的一种方案.出于设计集群RAID5系统的需要,提出了一种基于Markov模型的集群RAID5存储系统的可靠性模型,用以定量分析存储拓扑结构、节点/磁盘平均失效时间、重构速率等参数对集群RAID5系统可靠性的影响.分析表明:1.多层集群RAID5具有比单层集群RAID5更高的系统可靠性,更适合构建集群RAID系统;2.提高重构速率能够带来近似等幅的可靠性提升;3.在保持可靠性不变的前提下,提高重构速率能够降低系统对节点平均失效时间的需求,10倍的重构速率提升最多可以使得系统对节点平均失效时间的需求降低到原来的1/7.     

一种面向连续数据保护的分布式存储模型研究

一个典型的连续数据保护(CDP,Continuous Data Protection)系统必须具有一个高效的存储系统来支撑.本文提出了一种分布式的存储模型,在此基础之上设计了一个面向CDP应用的分布式存储系统.同传统CDP系统相比,本文提出了分布式存储应用于CDP应用,将文件级和块级的数据存储都归纳到一个存储系统中;通过引入了元数据和数据分离的思想,并且把数据分级存储.根据原型系统的理论论证以及测试,结果表明,论文所提存储模型很好的解决了CDP服务器低效率,高负荷的问题,并且具有低成本的优势.     

云存储智能多数据副本放置机制

数据副本管理机制是云存储系统的重要组成部分。为了提高云存储系统的可伸缩性、可靠性,同时改善用户访问时间,通常采用多数据副本机制,并且需要解决数据副本放置问题。为此,提出了一种用于云存储系统的智能多数据副本放置机制。该机制基于p-中心模型,以最小化访问代价为优化目标,基于遗传算法（genetic algorithm,GA）确定优化的数据副本放置方案,基于生物地理学优化（biogeography-based optimization,BBO）算法确定用户访问请求对数据副本的优化分配。基于CloudSim进行了仿真实现和性能评价,结果表明,云存储智能多数据副本放置机制是可行和有效的。     

面向多租户数据存储的分段多维性能模型

多租户数据存储对提高用户体验质量,优化系统运行效率,降低服务提供商成本至关重要。面对大规模租户,共享数据存储节点如何满足不同租户的不同性能需求是需要解决的关键问题。为此,针对多租户数据存储不同性能需求的特点,提出了一种面向多租户数据存储的考虑租户之间相互干扰的分段多维性能模型,包括分段多维性能边界函数和多租户数据存储性能预测分析方法。通过基准测试数据采集、模型计算和性能分析,来判断是否每个数据存储节点能够综合地满足不同租户的不同性能需求。实验系统的分析结果表明,该方法能够判断在特定租户负载组合下每个数据节点是否过载,为分布式多租户数据布局提供基础。     

一种基于光纤通道的高可用存储系统设计与实现

在光纤通道存储区域网络环境下提出了一种三级容错的高可用存储系统体系结构 ,详细描叙了该存储系统软件功能模块的设计和实现 ,并对存储系统可用性进行了 Markov模型分析 .理论分析和实际应用表明该系统具有较高的可用性 ,达到了系统设计的要求