基于智能预警的自恢复存储系统研究

为提高磁盘阵列存储的可靠性,设计了基于智能预警的自恢复存储系统.在对磁盘SMART信息实时监测采集的基础上,利用机器学习方法对磁盘故障进行预测.对于预警磁盘,采取以数据为中心的自修复迁移保护策略,结果表明自恢复系统使存储可靠性有显著提高,并实现对用户透明,提高了系统的可用性.     

自修复磁盘阵列技术研究

以数据为中心的计算模式对数据的可靠性提出新的需求,高可靠存储设备成为高性能计算的基础.自从Xiotech公司提出ISE结构并取得成功后,关注磁盘失效之前的征兆而不是失效后的具体处理的"自修复"概念已成为磁盘阵列设计新的指导思想之一.提出存储系统可靠性系数的概念,分析单个磁盘可靠性与磁盘阵列可靠性关系,选择合适的磁盘S.M.A.R.T属性结合磁盘当前利用率和历史信息建立评定磁盘状态的T~2US算法,接着介绍RAID 5结合T2US监测的高可靠、自修复的RAID 5T结构,说明RAID 5T结构的运行方式和磁盘不符合T~2US监测标准时数据迁移策略,最后对结构的可靠性利用存储系统可靠性系数和MTTF分别进行了分析.     

一种基于Windows操作系统的存储虚拟化在线扩展技术

云计算、大数据等传统应用系统中的存储系统往往以虚拟化的形式运行在开源的Linux平台上,随着存储虚拟化技术不断成熟并向多元化发展,用户同样需要基于Windows平台的存储虚拟化服务。针对这些需求,提出一种基于Windows操作系统平台提供存储虚拟化服务的软件,可实现在Windows操作系统中创建虚拟的本地磁盘供用户使用,磁盘中的数据以条带化的形式平均分布在底层各个物理磁盘上。该软件基于海量存储网络系统TH-MSNS,在存储区域网SAN环境中为用户提供虚拟磁盘服务并支持在线容量扩展。通过测试后证明,条带卷在进行在线扩展时可以保证前台应用不中断,并且能够快速准确地完成大规模的数据迁移。当用户需要扩充虚拟磁盘的容量时,使用此项技术既可保证虚拟磁盘的可靠性又可提高扩容之后的读写性能。     

混合结构数据库中基于页迁移的存储分层算法

为了有效地利用固态盘读速快以及磁盘低存储成本的特点,在磁盘和固态盘共存的混合存储结构模型下,设计并实现了一种基于页迁移思想的存储分层算法(SZA)。不同于NUMA的迁移代价计算方法,该算法按照迁移代价选择相应的存储介质,并且对不同工作负载的数据进行迁移。实验结果显示,算法有效地提升了数据库系统的I/O性能,同时大幅度地减少了对闪存的擦写次数。     

基于存储熵的存储负载均衡算法

在分布式存储系统中,一般都是以磁盘空间利用率（DU）来判断各存储节点的负载均衡程度,当所有节点的磁盘空间利用率相等时,是整个分布式存储系统的存储负载均衡点。但是在实际的应用场景中,磁盘I/O速率比较低的存储节点和可靠性比较低的存储节点往往成为影响整个存储系统数据读写性能的瓶颈,因此在异构分布式存储系统中,特别是各存储节点磁盘I/O速率和可靠性差异较大的分布式存储系统中,如果仅仅以磁盘空间利用率作为存储负载均衡的判定条件,则其数据的读写效率必然受到限制。从读写效率的角度提出一种度量分布式存储系统中存储负载均衡的新思路。根据负载均衡理论和熵理论给出存储熵（SE）的定义,并提出一种基于存储熵的负载均衡算法,该算法通过系统负载判定、单节点负载判定和负载迁移实现了对分布式存储系统存储负载的量化调整,并通过实验与基于磁盘空间利用率的负载均衡算法进行了对比分析,验证了该算法对分布式存储系统中存储负载具有良好的均衡性,有效地控制了系统负载失衡的问题,提高了分布式存储系统的整体读写效率。     

一种面向数据可用性和存储可靠性动态要求的自适应纠删码存储策略设计

为了满足指数级增长的大数据存储需求,现代的分布式存储系统需要提供大容量的存储空间以及快速的存储服务.因此在主流的分布式存储系统中,均应用了纠删码技术以节约数据中心的磁盘成本,保证数据的可靠性,并且满足应用程序和客户端的快速存储需求.在实际应用中数据往往重要程度并不相同,对数据可用性要求不一,且不同磁盘的故障率和可靠性动态不一的特点,对于传统RAID存储方式包括基于纠删码的存储系统提出了新的挑战.本文提出了一种面向数据可用性和磁盘可靠性动态要求的灵活自适应纠删码存储设计On-demand ARECS(On-demand Availability and Reliability Oriented Adaptive Erasure Coded Storage System),根据存储后端数据可用性和磁盘可靠性的多个维度进行设计,综合确定纠删码编码策略和存储节点选择,从而减少存储冗余度和存储延迟,同时提高数据可用性和存储可靠性.我们在Tahoe-LAFS开源分布式文件系统中进行了实验,实验结果验证了我们的理论分析,在保证具有多样性要求的数据可用性和磁盘可靠性的前提下,明显减少了数据冗余度和存储延迟.     

一种基于块级的存储性能优化方法

性能是存储管理系统中的一项重要内容,提高存储性能可以有效地降低系统的总体拥有成本(TCO).数据迁移是性能优化的重要的组成部分,确定一个有效的模型,以决定迁移的对象和迁移的位置非常重要.提出一个定量的评价模型,与仅关心IO特性的热点检测系统不同,该模型考虑多方面的影响因素,评估磁盘中每个数据块的重要性,以此作为数据分类的依据.与其他模型最大的不同在于它是基于块级的,不考虑文件系统和上层应用程序,因此具有较好的性能.实验表明,该模型可以用于热点检测,指导数据迁移;有助于提高存储系统中存储设备的利用率.     

比较在线、近线和离线存储

传统存储数据的方式有两种：在线存储和离线存储。在线存储是指存储设备和所存储的数据时刻保持＂在线＂状态,可供用户随意读取,满足计算平台对数据访问的速度要求。就像PC机中常用的磁盘存储模式一样。一般在线存储设备为磁盘和磁盘阵列等存储设备,价格相对昂贵,但性能较好。     

虚拟机Windows 10的软RAID配置与恢复

磁盘阵列(RAID)具有提高计算机读写数据的速度、实现对数据的冗余保护及保证数据存储可靠性的功能.本文介绍利用在虚拟机Windows 10客户机添加两个磁盘进行软件RAID的配置,以及模拟磁盘损坏和RAID1恢复的方法.该方法中的RAID1可以保证普通用户数据存储的可靠性,适用性强.     

基于Ceph云存储的磁盘利用率研究

云存储以其强大的容错性、部署的灵活性、可扩展性、维护的便捷性等优势,在各行业得到普遍推广和广泛应用,但是因云存储数据冗余保护的需要,高消耗是其不可避免的弊端.如何降低其磁盘空间的消耗,对云存储系统的成本优化意义重大.本文基于Ceph文件系统,研究文件和磁盘的映射关系以及数据冗余和磁盘利用率的关系,对云存储的实际生产运行有重要意义.     

一种新型的能够防止两块磁盘失败的技术

海量存储系统的建设是目前计算机系统最热门和发展最快的领域,存储系统的主要部分是在线存储系统。RAID(磁盘阵列)对于提升存储系统的效率、数据的高可靠性、防止数据破坏和业务停顿具有重大意义。目前实际应用中的RAID 1,RAID 0+1,RAID 4,RAID 5都只能防止单块磁盘的损坏,实际生产中已经出现了很多由于双盘损坏造成业务长时间停顿的事故。在介绍了通用的RAID级别的基础上,介绍了一种新型的对角线奇偶校验方法,结合水平奇偶校验,可以防止两块磁盘损坏。通过可靠的数学分析,可以看到该方法可以极大提高磁     

A reliable and energy-efficient storage system with erasure coding cache

In modern energy-saving replication storage systems, a primary group of disks is always powered up to serve incoming requests while other disks are often spun down to save energy during slack periods. However, since new writes cannot be immediately synchronized into all disks, system reliability is degraded. In this paper, we develop a high-reliability and energy-efficient replication storage system, named RERAID, based on RAID10. RERAID employs part of the free space in the primary disk group and uses erasure coding to construct a code cache at the front end to absorb new writes. Since code cache supports failure recovery of two or more disks by using erasure coding, RERAID guarantees a reliability comparable with that of the RAID10 storage system. In addition, we develop an algorithm, called erasure coding write (ECW), to buffer many small random writes into a few large writes, which are then written to the code cache in a parallel fashion sequentially to improve the write performance. Experimental results show that RERAID significantly improves write performance and saves more energy than existing solutions.     

RAID0.5: design and implementation of a low cost disk array data protection method

RAID has long been established as an effective way to provide highly reliable as well as high-performance disk subsystems. However, reliability in RAID systems comes at the cost of extra disks. In this paper, we describe a mechanism that we have termed RAID0.5 that enables striped disks with very high data reliability but low disk cost. We take advantage of the fact that most disk systems use offline backup systems for disaster recovery. With the use of these offline backup systems, the disk system needs to only replicate data since the last backup, thus drastically reducing the storage space requirement. Though RAID0.5 has the same data loss characteristics of traditional mirroring, the lower storage space comes at the cost of lower availability. Thus, RAID0.5 is a tradeoff between lower disk cost and lower availability while still preserving very high data reliability. We present analytical reliability models and experimental results that demonstrate the enhanced reliability and performance of the proposed RAID0.5 system.     

基于日志翻译层的冗余闪存阵列研究

为了适应在苛刻嵌入式环境下对闪存存储提出的高可用性和高可靠性要求,人们难免想到借鉴RAID的思想设计类似的闪存的冗余存储方案.但是,闪存的物理特性、接入系统的方式等均与磁盘有着较大差异,这就决定了不能在闪存上直接应用RAID机制.为了能在闪存上使用RAID,提出了日志翻译层(journaling translation layer,JTL).JTL通过建立逻辑擦除块到物理擦除块的动态映射来处理闪存芯片特有的物理限制;它引入日志系统到映射管理中,有效减少了对芯片的磨损,延长了其寿命,并提高了系统的鲁棒性.把类似的RAID机制建立在JTL之上,从而实现了冗余闪存阵列.     

RAID 4SMR: RAID Array with Shingled Magnetic Recording Disk for Mass Storage Systems

One way to increase storage density is using a shingled magnetic recording (SMR) disk. We propose a novel use of SMR disks with RAID (redundant array of independent disks) arrays, specifically building upon and compared with a basic RAID 4 arrangement. The proposed scheme (called RAID 4SMR) has the potential to improve the performance of a traditional RAID 4 array with SMR disks. Our evaluation shows that compared with the standard RAID 4, when using update in-place in RAID arrays, RAID 4SMR with garbage collection not just can allow the adoption of SMR disks with a reduced performance penalty, but offers a performance improvement of up to 56%.

     

集群RAID5存储系统可靠性分析

集群存储具有高并发性、高可扩展性、高性价比等特点,成为构建大型存储系统的一种重要技术.但随着系统规模的扩大,系统失效事件日益频繁,如何提高系统可靠性,保证数据持续、有效地访问就成为一个必须解决的问题.集群RAID系统是传统RAID技术在集群存储上的延伸,是有效解决可靠性问题的一种方案.出于设计集群RAID5系统的需要,提出了一种基于Markov模型的集群RAID5存储系统的可靠性模型,用以定量分析存储拓扑结构、节点/磁盘平均失效时间、重构速率等参数对集群RAID5系统可靠性的影响.分析表明:1.多层集群RAID5具有比单层集群RAID5更高的系统可靠性,更适合构建集群RAID系统;2.提高重构速率能够带来近似等幅的可靠性提升;3.在保持可靠性不变的前提下,提高重构速率能够降低系统对节点平均失效时间的需求,10倍的重构速率提升最多可以使得系统对节点平均失效时间的需求降低到原来的1/7.     

RAID-VCR:一种能够承受三个磁盘故障的RAID结构

提出了一种新RAID结构——RAID-VCR.这种结构仅需要3个额外的磁盘来保存校验信息,但是却能够承受任意模式的3个成员磁盘故障.与现有的其它RAID结构相比,RAID-VCR的容灾能力大幅提高,但是对磁盘空间利用率和系统吞吐量的影响却非常小.RAID-VCR的编码和解码过程都是基于简单的XOR操作,并且以明文方式保存了用户数据,从而可以高效地执行读操作.仿真实验结果表明,RAID-VCR的编码和解码性能较好,具有很好的应用前景.     

海量存储系统中基于BUFFER的虚拟存储池的构造

网络磁盘阵列通过实行命令与数据的分离极大地提高了系统的吞吐能力和服务器的平均响应速度 .本文基于原有的网络磁盘阵列的研究成果 ,采用虚拟技术 ,在服务器端构造了一个虚拟存储池 ,使得构成虚拟存储池的多台异构接口的物理存储设备 (这里为网络磁盘阵列 )可以通过其网络通道并行传输数据 ,实现扩容和增速同步 ,文件集中管理与数据分布存储 ,从而构造了一种新型海量存储系统