一种面向大规模存储系统的数据副本映射算法

提出一种适应动态环境、无需数据映射表的多副本数据对象映射算法.该算法引入节点权重,借鉴一致性Hash技术,使得海量的数据对象按照节点服务能力在各存储节点间均匀分布;当存储节点个数发生变化时,数据依然在节点间均匀分布,且数据迁移量接近理论下限;只需维护少量数据即可计算得到数据布局,从而有效提高了系统的可扩展性.测试结果表明,算法可使所有节点分配对象个数与理论值偏差小于5%,节点个数变化时移动数据数量与理论下限偏差小于1%.     

主动容错副本存储系统的可靠性分析模型

主动容错机制通过预先发现即将故障的硬盘来提醒系统提前迁移备份危险数据,从而显著提高存储系统的可靠性.针对现有研究无法准确评价主动容错副本存储系统可靠性的问题,提出几种副本存储系统的状态转换模型,然后利用蒙特卡洛仿真算法实现了该模型,从而模拟主动容错副本存储系统的运行,最后统计系统在某个运行时期内发生数据丢失事件的期望次...     

大规模云存储系统副本布局研究

在基于副本冗余机制的大规模云存储系统中,以往的副本布局算法只能部分地满足副本布局中高可靠、高可扩展并且高效的要求,针对这一问题,提出了一种基于分组和一致性哈希的副本布局算法。首先,将关联性高的存储节点进行分组;然后,通过改进的一致性哈希算法将同一数据对象的多个副本分别分配到不同分组中;最后,再通过改进的一致性哈希算法将分配到各分组的数据副本放置在组内对应的存储节点上。理论分析可知,该方法大大提高数据的可靠性。仿真结果表明,该算法能满足副本布局的均衡性、自适应性要求,并能在几十微秒内完成副本定位。     

主动容错多副本民航存储系统状态转换模型

主动容错机制解决了被动容错冗余问题,实现了硬盘潜在故障的提前预测和主动处理,显著提高了存储系统的可靠性.然而,民航存储系统采用被动容错机制无法全面保障系统可靠性.本文利用主动容错机制的优势,基于硬盘故障预测模型构建了多副本民航存储系统状态转换模型.该模型全面考虑硬盘,节点和机架故障3个因素,采用韦布分布模拟民航存储系统事件的发生.根据系统状态转换模型,本文使用了改进的基于事件驱动的蒙特卡洛仿真方法,对民航存储系统进行了全面的可靠性分析.实验结果表明,本文模型显著提高了民航存储系统的可靠性.另外,敏感性分析得出主动和被动的结合机制有效延缓了系统可靠性下降的趋势,节约了网络带宽资源.     

P2P存储系统副本一致性维护策略

副本策略是提高P2P存储系统的可扩展性、容错性、可用性的有效手段。随着新的应用发展,P2P中副本应用从只读静态文件共享转变为读写动态文件交互,副本的一致性维护变得越来越重要。提出一种副本信息传播树的维护策略,该策略把文件副本的相关信息保存在二叉树上,通过订阅和取消订阅算法维护副本的一致。实验证明该策略能有效减少维护开销,避免相关问题的出现。     

一种基于离散马尔科夫模型的神经网络可靠性设计方法

本文给出了一和循环前馈神经网络来表示具有ｎ个状态的离莠马尔科夫模型,及其二次能量函数,并根据梯度下降规则,给出了相应的权值修改规则。利用该神经网络方法可以有效地对容错硬件进行可靠性设计。     

面向本地分布式存储系统的动态副本策略

针对本地分布式存储系统的拓扑结构与存储组成单元的特性,提出了一种基于频度的动态副本算法FBDR。FBDR分别采用基于密度的单次频度分析和基于区间长度的两次频度聚合的方法对文件访问流进行分析,作为确定热点文件的依据,具有较高的命中率。在副本创建位置选择上,综合考虑了存储单元的可用空间、负载、IO性能等因素,使热点文件获得更高的IO速率,同时兼顾了存储单元之间的负载与资源利用的平衡。     

云存储系统中基于动态规划的最小开销数据副本布局研究

传统的副本布局策略较少考虑数据传输开销,且对网络结构有所限定,导致通用性不足。为此,基于动态规划方法,以最小化数据管理开销为目标,提出一种云存储系统中最小开销数据副本布局策略。在数据管理综合开销模型的基础上,比较数据中心放置与不放置副本2种情况下的开销,从而确定副本位置。实验结果表明,该策略能够实现副本的合理分布,在有效降低数据管理开销的同时,可减少平均响应时间与网络传输量,提升云存储系统性能。     

分布式存储系统可靠性的研究

通过对分布式存储系统可靠性的研究,运用了具有MDS特性的X码的编码模式,实现了能纠正2个疑符的译码新算法,从而有效地增强了分布式存储系统的可靠性。     

面向海量高清视频数据的高性能分布式存储系统

通过对视频监控数据的特点和传统存储方案进行分析,提出一种高性能分布式存储系统解决方案.不同于传统的基于文件存储的方式,设计了一种逻辑卷结构,将非结构化的视频流数据以此结构进行组织并直接写入RAW磁盘设备,解决了传统存储方案中随机磁盘读写和磁盘碎片导致存储性能下降的问题.该方案将元数据组织为两级索引结构,分别由状态管理器和存储服务器管理,极大地减少了状态管理器需要管理元数据的数量,消除了性能瓶颈,并提供精确到秒级的检索精度.此外,该方案灵活的存储服务器分组策略和组内互备关系使得存储系统具备容错能力和线性扩展能力.系统测试结果表明,该方案在成本低廉的PC服务器上实现了单台服务器能同时记录400路1080P视频流,写入速度是本地文件系统的2.5倍.     

大规模分布式存储系统中数据修复策略的研究

在大规模分布式存储系统中,为了保证数据的可用性和可靠性,需要对数据进行一定的冗余存储。当节点失效后,有必要对失效节点所存储的数据进行修复以提供数据的可用性保证。然而,由于节点失效行为的不可预测性,何时对数据进行修复成为难题。目前,许多系统采用了立即修复的策略,但是这种方式会给系统负载带来大量不必要的浪费。通过对节点失效行为和副本数量的分析,提出了基于平均偏移的两阶段数据修复策略。实验证明,该策略在保证系统副本可用性的前提下,有效地降低了数据修复过程对系统的负载压力,提高了集群系统的系统稳定性。     

面向数据中心的安全网络存储系统设计

针对各类数据中心存储系统建设需求,开展了存储系统设计需求分析,重点针对存储系统可靠性、安全性需求,进行了安全网络存储系统备份恢复机制、安全保密机制设计,针对数据中心大数据存储加密处理需求,开展了存储加密运算高性能和可靠性设计研究,提出了灵活可配置的存储加密策略,可适配具有不同加密性能或可靠性需求的应用场景,能够适配各类数据中心存储区域网络建设安全保密需求.     

基于智能预警的自恢复存储系统研究

为提高磁盘阵列存储的可靠性,提出一种基于智能预警的自恢复存储系统。在对磁盘S.M.A.R.T信息实时监测采集的基础上,利用机器学习方法对磁盘故障进行预测,对于预警磁盘采取以数据为中心的自修复迁移保护策略。分析结果表明,该系统能提高存储可靠性,数据迁移过程对用户透明,可用性较强。     

电视播放系统中数据存储子系统的研究与实现

电视台无压缩播放系统是一个多媒体计算机系统,它要求其存储子系统具有大容量、高数传率、高可靠性、高可用性及可扩展性等特点。本文详细分析了这些性能,并在我们自己构建的无压缩播放系统上作了实现与验证。运行结果表明,此存储子系统不仅很好地满足了标准清晰度电视无压缩数字播放系统的要求,而且也可满足高清晰度电视数字
字播放系统的要求。     

集群RAID5存储系统可靠性分析

集群存储具有高并发性、高可扩展性、高性价比等特点,成为构建大型存储系统的一种重要技术.但随着系统规模的扩大,系统失效事件日益频繁,如何提高系统可靠性,保证数据持续、有效地访问就成为一个必须解决的问题.集群RAID系统是传统RAID技术在集群存储上的延伸,是有效解决可靠性问题的一种方案.出于设计集群RAID5系统的需要,提出了一种基于Markov模型的集群RAID5存储系统的可靠性模型,用以定量分析存储拓扑结构、节点/磁盘平均失效时间、重构速率等参数对集群RAID5系统可靠性的影响.分析表明:1.多层集群RAID5具有比单层集群RAID5更高的系统可靠性,更适合构建集群RAID系统;2.提高重构速率能够带来近似等幅的可靠性提升;3.在保持可靠性不变的前提下,提高重构速率能够降低系统对节点平均失效时间的需求,10倍的重构速率提升最多可以使得系统对节点平均失效时间的需求降低到原来的1/7.     

Peer-to-Peer存储系统中一种高效的数据维护方案

提出一套完整的数据维护方案.该方案建立在P2P环境动态性特点的基础上.一方面,该方案考虑了节点动态性差异,它基于不同的动态性作相应的数据冗余,能够用更少的冗余开销来保证数据的目标可用性;另一方面,该方案给出如何利用判别器来区分永久失效和暂时失效,以减少由于不必要的数据修复而带来的额外修复开销.通过在真实P2P系统Maze上的实验结果表明,该方案比目前主流的方案能够节省大约80%的数据维护带宽.     

粮仓储粮数量在线检测模型

粮仓储粮数量在线检测是国家粮食数量安全的重要保障技术, 是粮食库存检查的重要内容. 本文根据储粮数量在线检测精度和可靠性的要求, 针对粮仓压强分布的随机性, 提出了基于粮仓底面零内摩擦压强估计的粮仓储粮数量检测的新思路, 建立了粮仓压力传感器布置模型, 给出了粮堆底面与侧面压力分布随机性消除和侧面摩擦力影响补偿的具体方法, 提出了基于底面压力传感器检测均值的粮仓储粮数量检测模型和快速建模方法. 实仓实验结果表明, 所提出的储粮数量检测模型检测误差远小于3%, 且检测系统成本低, 可有效满足国家粮库储粮数量在线实时监测的实际需要.