基于智能预警的自恢复存储系统研究

为提高磁盘阵列存储的可靠性,提出一种基于智能预警的自恢复存储系统。在对磁盘S.M.A.R.T信息实时监测采集的基础上,利用机器学习方法对磁盘故障进行预测,对于预警磁盘采取以数据为中心的自修复迁移保护策略。分析结果表明,该系统能提高存储可靠性,数据迁移过程对用户透明,可用性较强。     

自修复磁盘阵列技术研究

以数据为中心的计算模式对数据的可靠性提出新的需求,高可靠存储设备成为高性能计算的基础.自从Xiotech公司提出ISE结构并取得成功后,关注磁盘失效之前的征兆而不是失效后的具体处理的"自修复"概念已成为磁盘阵列设计新的指导思想之一.提出存储系统可靠性系数的概念,分析单个磁盘可靠性与磁盘阵列可靠性关系,选择合适的磁盘S.M.A.R.T属性结合磁盘当前利用率和历史信息建立评定磁盘状态的T~2US算法,接着介绍RAID 5结合T2US监测的高可靠、自修复的RAID 5T结构,说明RAID 5T结构的运行方式和磁盘不符合T~2US监测标准时数据迁移策略,最后对结构的可靠性利用存储系统可靠性系数和MTTF分别进行了分析.     

一种基于Windows操作系统的存储虚拟化在线扩展技术

云计算、大数据等传统应用系统中的存储系统往往以虚拟化的形式运行在开源的Linux平台上,随着存储虚拟化技术不断成熟并向多元化发展,用户同样需要基于Windows平台的存储虚拟化服务。针对这些需求,提出一种基于Windows操作系统平台提供存储虚拟化服务的软件,可实现在Windows操作系统中创建虚拟的本地磁盘供用户使用,磁盘中的数据以条带化的形式平均分布在底层各个物理磁盘上。该软件基于海量存储网络系统TH-MSNS,在存储区域网SAN环境中为用户提供虚拟磁盘服务并支持在线容量扩展。通过测试后证明,条带卷在进行在线扩展时可以保证前台应用不中断,并且能够快速准确地完成大规模的数据迁移。当用户需要扩充虚拟磁盘的容量时,使用此项技术既可保证虚拟磁盘的可靠性又可提高扩容之后的读写性能。     

海量视频数据分布式存储性能优化方法研究

针对文件系统存储效率低、多余副本导致空间浪费以及磁盘能源损耗严重的问题,提出一种新型分布式优化存储策略(distributed optimized storage strategy,DOSS).首先,引入Bcache混合存储技术在磁盘阵列前增设固态硬盘,作为高速缓冲区对多路视频流进行临时数据组织,变多线程并发写任务为单线程顺序写入任务,规避磁盘内部碎片产生,有效提高系统写入效率.其次,提出改进的liberation码对视频数据进行压缩存储,在保证系统可靠性的同时提高磁盘空间利用率.最后,基于ioctl系统调用编写盘片转速控制函数,实现磁盘多级休眠和低延迟唤醒,减低磁盘能耗,提高使用寿命.结果表明单台存储服务器在500路4 Mbps并发视频流下存储效率提高约36％,存储空间节省约40％,系统应对12000路并发视频流时仍存在休眠磁盘约10％.     

面向存储安全系统的新型人工免疫算法

提出了新型人工免疫算法,用于研究高效的存储安全系统.首先给出了基于免疫存储安全系统的结构和相关定义.在分析人工免疫算法中已有匹配规则的基础上,为提高安全系统的效率,提出了任意r连续位匹配规则,提高检测器识别非自体的能力,减少存储安全系统识别非自体所需的成熟检测器数量;为了使存储安全系统能适应不同的自体集,自动优化检测效率和准确性,避免检测存储安全系统的失效,本文提出了自适应匹配阈值机制.分析了使用不同匹配规则时检测器能识别的最大非法访问请求数量,以及对不同自体集采用静态匹配阈值和自适应匹配阅值机制时存储安全系统的检测效率和准确性.使用新型人工免疫算法实现安全原型系统,验证了算法的性能.最后通过修改开源存储区域网系统Lustre中智能磁盘部分的源代码,实现了基于免疫安全磁盘的原型系统,测试增加存储安全系统前后Lustre系统的I/O性能,结果表明新型人工免疫算法能高效地保护存储系统的安全.     

虚拟机Windows 10的软RAID配置与恢复

磁盘阵列(RAID)具有提高计算机读写数据的速度、实现对数据的冗余保护及保证数据存储可靠性的功能.本文介绍利用在虚拟机Windows 10客户机添加两个磁盘进行软件RAID的配置,以及模拟磁盘损坏和RAID1恢复的方法.该方法中的RAID1可以保证普通用户数据存储的可靠性,适用性强.     

加密存储算法和模式研究

为提高全盘加密系统的性能,研究现有的磁盘加密算法和模式,测试不同加密算法和模式组合的性能。介绍加密存储的主要方式,对现有磁盘加密算法和模式进行分析,将不同加密算法和模式结合进行性能测试与分析,针对全盘加密系统给出相应的建议,为加密存储设计者提供参考和依据。     

磁盘阵列数据安全预警技术研究

高性能计算和数据中心存储规模的飞速增长造成对存储系统的容量和性能的巨大需求.磁盘阵列是目前应用最广泛的存储系统,是构成最大规模存储系统的基础设备.磁盘阵列采用多磁盘并行的方式扩展了存储系统容量,提高了存储系统性能,用冗余技术提高了存储系统高可用性.通过对磁盘阵列预警技术中传感技术、S.M.A.R.T技术及磁盘增长缺陷表的研究和分析,使用户能及时发现系统中可能存在的隐患,及时发现预警信息,及时进行相关保护,大幅降低了数据丢失的风险,提高了磁盘阵列存储系统的可靠性和可用性.     

基于存储熵的存储负载均衡算法

在分布式存储系统中,一般都是以磁盘空间利用率（DU）来判断各存储节点的负载均衡程度,当所有节点的磁盘空间利用率相等时,是整个分布式存储系统的存储负载均衡点。但是在实际的应用场景中,磁盘I/O速率比较低的存储节点和可靠性比较低的存储节点往往成为影响整个存储系统数据读写性能的瓶颈,因此在异构分布式存储系统中,特别是各存储节点磁盘I/O速率和可靠性差异较大的分布式存储系统中,如果仅仅以磁盘空间利用率作为存储负载均衡的判定条件,则其数据的读写效率必然受到限制。从读写效率的角度提出一种度量分布式存储系统中存储负载均衡的新思路。根据负载均衡理论和熵理论给出存储熵（SE）的定义,并提出一种基于存储熵的负载均衡算法,该算法通过系统负载判定、单节点负载判定和负载迁移实现了对分布式存储系统存储负载的量化调整,并通过实验与基于磁盘空间利用率的负载均衡算法进行了对比分析,验证了该算法对分布式存储系统中存储负载具有良好的均衡性,有效地控制了系统负载失衡的问题,提高了分布式存储系统的整体读写效率。     

集群RAID5存储系统可靠性分析

集群存储具有高并发性、高可扩展性、高性价比等特点,成为构建大型存储系统的一种重要技术.但随着系统规模的扩大,系统失效事件日益频繁,如何提高系统可靠性,保证数据持续、有效地访问就成为一个必须解决的问题.集群RAID系统是传统RAID技术在集群存储上的延伸,是有效解决可靠性问题的一种方案.出于设计集群RAID5系统的需要,提出了一种基于Markov模型的集群RAID5存储系统的可靠性模型,用以定量分析存储拓扑结构、节点/磁盘平均失效时间、重构速率等参数对集群RAID5系统可靠性的影响.分析表明:1.多层集群RAID5具有比单层集群RAID5更高的系统可靠性,更适合构建集群RAID系统;2.提高重构速率能够带来近似等幅的可靠性提升;3.在保持可靠性不变的前提下,提高重构速率能够降低系统对节点平均失效时间的需求,10倍的重构速率提升最多可以使得系统对节点平均失效时间的需求降低到原来的1/7.     

基于语义信息的存储能效的研究

随着数字化信息爆炸性的增长,存储技术成为IT业发展的新动力。存储系统规模的不断扩大,使能效问题越来越突出,主要表现为增加了系统运行维护和冷却的成本、降低了系统的可靠性和扩展性、加剧了存储系统周围环境的污染,因此研究存储能效问题具有较大的经济价值和实用意义。阐述了存储系统中磁盘能效的研究进展和现状,并从语义信息出发,设计与实现了基于语义信息的驱动程序。实验表明该驱动程序有效地降低了磁盘能耗,提高了存储系统I/O性能,优化了存储能效。     

NAS系统中IDE磁盘热插拔技术的研究与实现

网络化存储是当今存储技术的趋势．NAS系统中一般采用IDE磁盘，但IDE磁盘并不支持热插拔．为了提高NAS系统的可用性，本文介绍了一种实现IDE磁盘热插拔技术的方法．这种方法对IDE驱动进行了分析和改进，并编写了一个守护进程来监测磁盘的状态，与特殊设计的背板配合，实现了IDE磁盘的热插拔．     

大容量数据采集存储系统设计与实现

为解决现有数字示波器和数据存储记录仪对复杂系统覆盖性和可靠性测试不适用问题,设计了基于PCIe总线架构的大容量数据采集存储系统,保证多路高速测量时完整保留测试数据便于后续分析和回顾。给出了基于主控单元片上系统的硬件框架和PCIe总线存储架构设计,多种数据存储方式满足不同数据量的需求。设计了系统通信协议,HPS与FPGA之间的控制指令和交互方式。对数据存储流程中HPS获取采样数据过程,HPS将采样数据写入磁盘过程,以及数据写入磁盘的数据格式进行了设计。测试结果表明,系统硬件、软件设计方案可行,运行稳定,在相同采样速率和分辨率下能存储记录数据量远优于现有数字示波器和数据存储记录仪,目前已投入多款产品的研制和生产过程,取得良好测试效果。     

基于磁带分级存储的文件备份系统设计与实现

随着磁盘价格的不断下降,越来越多的容灾备份系统采用将本地数据经过网络传输到服务器磁盘进行备份,但是大数据时代的来,瞄,导致存储压力越来越大。然而在庞大的数据中,有很大一部分数据活跃率并不高。设计并实现了一种基于磁带分级存储的文件备份与恢复系统,采用索引的方式记录并组织备份文件,实现增量备份;该系统将服务器端拆分为两部分,首先将文件数据备份到服务器磁盘,再根据相关时间保留策略,将活跃率较低的数据归档到脏带中。保证了大数据时代服务器磁盘的高效利用。     

五十年创新经典 新世纪再筑辉煌——IBM召开磁盘存储50周年庆典

IBM（NYSE：IBM）系统存储事业部在北京举行了主题为“五十年创新经典，新世纪再筑辉煌”的新闻发布会，庆祝全球第一个硬盘驱动器系统IBM350和全球第一款磁盘存储IBM RAMAC305计算机诞生50周年。IBM系统存储事业部大中华区总经理侯淼先生、IBM系统存储事业部中国区总经理杨萍萍女士、IBM企业级磁盘存储服务器开发部总监Steve Broadbent先生、     

基于热度的Hadoop快速副本复制算法

在云存储中心, 由于节点失效带来的文件数据块副本丢失不仅会影响系统的可靠性, 还会影响文件的并发访问效率. 针对Hadoop中默认的副本复制方法存在的问题, 即副本复制过程某些节点数据传输过于集中, 负载不均衡, 磁盘I/O吞吐率低, 提出一种基于热度的快速副本复制算法. 该算法优先复制热度高的数据块, 合理选择数据块复制的源节点和目的节点. 仿真结果表明, 该算法平衡了系统的工作负载, 提高了磁盘I/O吞吐率, 显著降低用户请求平均响应时间.     

异构存储共享系统的设计与实现

对基于SAN的异构系统间文件共享问题进行研究,采用异步I／O访问模式、缓冲I／O及双重缓冲区等优化方法,提高了系统运行性能,使得大型机与开放系统对SAN的磁盘子系统的存储共享效率更高。通过SAN连接大型机、Unix工作站、Window工作站和磁盘阵列,同时系统还提供一组文件访问API供上层应用程序调用。系统具有海量存储、高速数据存取、高可用性以及高可靠性等突出特性。     

OHPSS:一种基于对象的高性能存储系统

现有存储系统主要存在以下问题:信息存储规模有限、系统结构限制了高速应用范围以及系统实时性和可靠性不够.为了满足大容量、高效、可扩展和高服务质量的存储系统需求,提出了一种基于对象的高性能存储体系结构--OHPSS.其特点是充分利用对象属性并采用适应性服务,达到提高访问性能的目的;基于对象存储设备(OBSD)有处理器和操作系统的硬件支持,既可避免系统性能瓶颈,又能提供异步I/O方式;存储磁盘采用SRAID(similar RAID)结构,提高了磁盘的并行性和可扩展性.测试结果表明,与其他存储系统相比,该存储结构显著提高了小块数据的随机读/写性能,并且多线程 异步I/O的工作方式也使系统扩展性得到了显著提高.     

一种面向数据可用性和存储可靠性动态要求的自适应纠删码存储策略设计

为了满足指数级增长的大数据存储需求,现代的分布式存储系统需要提供大容量的存储空间以及快速的存储服务.因此在主流的分布式存储系统中,均应用了纠删码技术以节约数据中心的磁盘成本,保证数据的可靠性,并且满足应用程序和客户端的快速存储需求.在实际应用中数据往往重要程度并不相同,对数据可用性要求不一,且不同磁盘的故障率和可靠性动态不一的特点,对于传统RAID存储方式包括基于纠删码的存储系统提出了新的挑战.本文提出了一种面向数据可用性和磁盘可靠性动态要求的灵活自适应纠删码存储设计On-demand ARECS(On-demand Availability and Reliability Oriented Adaptive Erasure Coded Storage System),根据存储后端数据可用性和磁盘可靠性的多个维度进行设计,综合确定纠删码编码策略和存储节点选择,从而减少存储冗余度和存储延迟,同时提高数据可用性和存储可靠性.我们在Tahoe-LAFS开源分布式文件系统中进行了实验,实验结果验证了我们的理论分析,在保证具有多样性要求的数据可用性和磁盘可靠性的前提下,明显减少了数据冗余度和存储延迟.     

一种NAS系统的设计模型与性能分析研究

与传统的存储服务器相比，附网存储体系具有诸多的优点．它实现了数据在存储设备到客户机之间的直接传输，提高了系统的整体性能，是目前新型的分布式存储解决方案．文中分析了基于附网存储的数据传输特点，并在此基础上提出了系统实现的设计模型．同时，我们对两种不同的存储方案造成的性能差异进行了研究，结果表明，附网存储系统能够有效地减轻服务器的负载，更充分地利用网络资源，如磁盘中缓存、磁盘处理器性能等．