菜鸟进阶：详解企业硬盘接口类型与特点

随着大数据时代的到来,数据存储得到更多企业的重视,各种存储技术不断出现,RAID保护、灾难恢复和重复数据删除技术都应用非常广泛。人们在重视这些的时候,往往忽视了一些存储中的细节,导致存储技术在应用过程中事倍功半。硬盘接口是最基础的应用技术部分,它影响着整个存储系统的存储速度,更直接决定存储性能的好坏,从整体的角度上,硬盘接口类型可分为IDE、SATA、SCSI、     

一种归档存储系统结构

针对归档数据的存储管理问题,提出一种归档存储体系结构AStore,采用数据指纹、数据压缩、数据分块和重复数据删除技术,设计归档存储系统的数据存储和管理策略。测试并分析不同参数设置下存储系统的性能,结果表明该策略能减少数据冗余,提高系统存储空间的利用率和访问性能。     

重复数据删除技术的存储空间利用率测评研究

在大数据时代,为了提高存储空间利用率,重复数据删除技术被广泛应用.然而,重复数据删除技术的重删效果如何评价,它对存储系统的存储空间利用率影响程度如何等问题,目前还没有有效的测评指标和测评方法来解决.为此,对3种典型的重复数据删除技术进行了分析,研究了存储空间利用率的测评指标和测评方法,然后通过理论分析和真实数据实验对其可行性和有效性进行了验证.分析和实验结果表明:设计的测评指标和测评方法实际可行,能定量的评估存储空间利用率,有利于数据中心存储效率的提高,从而实现绿色存储和节能减排,并能减少企业的资源浪费和提高投资回报率.     

云存储安全技术研究进展综述

云存储服务涉及大量的用户隐私数 据,因此其安全性和隐私性至关重要。为此,本文针对云存储的重复数据删除、隐藏存储、 数据加密与密文搜索以及数据完整性审计４个方面,介绍当前云存储安全技术研究的进 展, 并探讨提高商业云存储系统的安 全性和隐私性的未来研究方向。 其中,云存储的可重复数据删除技术旨在同时对抗文件识别攻击等多种攻击,减少额外 服务器开支,并提高用户收益。隐藏存储技术采用模块化结构和异步机制等方法降低 云存储系统的计算量,并提高其安全性和可扩展性。云存储的数据加密和密文搜索在传统加 密的基础上,基于密文策略属性的加密技术实现,提供密文搜索,防止用户身份隐私的泄露 。数据完整性审计系统针对用户密钥泄露等安全问题,旨在为用户提供安全、高效和支持审 计的存储服务。     

一种基于iSCSI的网络RAID设计与实现

RAID是存储系统的基础和关键部件,它通过数据分布存储、并行访问以及信息冗余等技术,极大地扩大了存储容量、增强了I/O请求处理能力、提高了数据可靠性。论文将RAID的思想扩展到了分布的存储网络环境之中,设计了一种基于iSCSI的网络RAID系统,实现了系统原型,并对该系统进行了性能测试和分析。结果表明,该系统可以通过并行数据读写提高存取速度,通过奇偶校验技术提高数据的可靠性。     

一个网络文件存储系统TNS关键技术

基于多服务器架构、为多用户服务的网络文件存储系统普遍存在资源分配不均,重复文件多,存储空间浪费严重的问题。设计并实现了TNS网络文件存储系统,该系统基于多服务器存储架构,分别由用户服务器、索引服务器、数据服务器、共享服务器、管理服务器和登录服务器组成,为多用户服务,采用一致性Hash实现负载均衡,支持在客户端进行文件粒度的重复数据删除。经过实际生产环境运行测试,具有良好的负载均衡能力和重复数据删除功能,可以有效节省存储空间,提高存储设备利用率。     

区块链存储：技术与挑战

区块链具有不可被篡改和去中心化的特性,将其应用到存储系统中,有助于提高存储系统的数据安全性和系统可扩展性。区块链技术与存储技术的融合主要分为 3 方面：基于区块链构建的去中心化存储系统、基于区块链优化已有系统的存储性能和区块链系统自身的存储方法与优化。对这些工作进行了综述,讨论对比了当前典型的采用了区块链技术的存储系统,总结了区块链存储面临的主要挑战,并展望了区块链存储的发展方向。     

基于在线压缩的数据采集存储系统

在高速数据采集存储系统中,随着数据存储速度需求越来越高,数据带宽和计算能力的快速增长,存储性能越来越成为系统性能的瓶颈。为此,设计并实现一个基于在线压缩的数据采集存储系统。该系统通过提供一套简单的API,实现自身的灵活性以及高可集成性。系统允许用户注册自己的压缩算法,同时向用户屏蔽压缩数据的管理,并且对数据压缩以及存储过程进行优化。实验结果表明,在数据达到一定压缩率情况下,该系统显著地减少数据存储时间,提高了系统的存储速率,同时提高了存储空间利用率。     

基于云存储的重复数据删除架构的研究与设计

随着云计算的发展,云存储技术通过集群应用、虚拟化技术、分布式文件系统等功能将网络中大量各种不同类型的存储设备集合起来协同工作,缓解了老式数据中心的存储压力.另外,重复数据删除技术是一种缩减存储空间减少网络传输量的技术,随着云的广泛应用也势必会发展应用于云存储中.这两种技术结合将会给IT存储业带来实际效益.本文通过研究重复数据删除技术、云存储技术,设计了基于云存储的重复数据删除架构,提出了一种用In-line方式在客户端进行数据块级与字节级相结合的重复数据删除操作后再将数据存入云中的方案.在本架构下,海量数据存储在HDFS中;而文件数据块的哈希值存储在HBase中.     

SAN网络存储研究

网络数据的骤增,对数据存储要求越来越高,网络存储系统的性能成为了整个系统的核心,因此网络存储直接影响到网络的有效运行.有效的网络存储技术能更大发挥网络系统的功能,更加优化网络的运行.SAN是一种集中化的存储技术,使网络存储系统具有良好的可用性、可扩充性、可维护性.     

基于对象分组的集群存储系统可靠性分析模型

可靠性问题是研究大规模集群存储系统的一个重要方面。借鉴RAID的方法,提出基于对象分组在算法一级实现数据冗余分布的高可靠数据对象布局算法。在数据对象和存储节点失效时,利用冗余数据重构数据对象和存储节点,有效保证存储系统的高可用性。采用马尔可夫激励模型对存储系统进行定量的可用性分析,计算结果表明该方法是有效的。     

天津气象信息综合管理共享系统建设与应用

随着天津省级气象数据的急剧增加,CIMISS对其存储和管理能力不足、查询规模较大的历史数据时效较低的问题日益突出.针对上述问题,基于分布式存储技术和WebGIS技术构建了天津气象信息综合管理共享系统,实现了天津特色观测数据、预报产品、智能预报、行业共享数据的集约管理、综合展示和统一服务,提升了天津气象大数据访问性能.文中详细阐述了系统的设计思路、数据流程、关键技术、主要功能及应用情况.     

硬盘播出系统的数据储存技术

硬盘播出系统是电视数字信号的母体,观众看到的电视节目都以数据的形式储存在硬盘播出系统中。该系统的数据储存技术主要有在线存储、近线存储、DAS、SAN、RAID3。     

海量存储系统中基于BUFFER的虚拟存储池的构造

网络磁盘阵列通过实行命令与数据的分离极大地提高了系统的吞吐能力和服务器的平均响应速度 .本文基于原有的网络磁盘阵列的研究成果 ,采用虚拟技术 ,在服务器端构造了一个虚拟存储池 ,使得构成虚拟存储池的多台异构接口的物理存储设备 (这里为网络磁盘阵列 )可以通过其网络通道并行传输数据 ,实现扩容和增速同步 ,文件集中管理与数据分布存储 ,从而构造了一种新型海量存储系统     

集群RAID5存储系统可靠性分析

集群存储具有高并发性、高可扩展性、高性价比等特点,成为构建大型存储系统的一种重要技术.但随着系统规模的扩大,系统失效事件日益频繁,如何提高系统可靠性,保证数据持续、有效地访问就成为一个必须解决的问题.集群RAID系统是传统RAID技术在集群存储上的延伸,是有效解决可靠性问题的一种方案.出于设计集群RAID5系统的需要,提出了一种基于Markov模型的集群RAID5存储系统的可靠性模型,用以定量分析存储拓扑结构、节点/磁盘平均失效时间、重构速率等参数对集群RAID5系统可靠性的影响.分析表明:1.多层集群RAID5具有比单层集群RAID5更高的系统可靠性,更适合构建集群RAID系统;2.提高重构速率能够带来近似等幅的可靠性提升;3.在保持可靠性不变的前提下,提高重构速率能够降低系统对节点平均失效时间的需求,10倍的重构速率提升最多可以使得系统对节点平均失效时间的需求降低到原来的1/7.     

高性能气象数据存储集群及在线扩展技术应用

为了满足气象数据快速增长和高效应用的业务需求,设计采用基于SAN和GPFS的高性能存储集群进行数据存储,并随着数据量的快速增长,实现灵活在线扩展以满足数据存储需求.结合国家级气象资料存储检索系统、省级风能资源数据库共享服务系统和风能资源数值模拟系统的存储设计,阐述基于SAN和GPFS技术的存储集群架构,并重点介绍存储集群的在线扩展技术的实现.基于SAN和GPFS的存储集群在线扩展技术包含在线扩展服务器节点、在线扩展存储容量和在线扩展文件系统容量三方面,实现了气象数据存储系统随着业务数据变化的灵活扩展,使系统具备优秀的扩展性和适应性.     

一种新型的能够防止两块磁盘失败的技术

海量存储系统的建设是目前计算机系统最热门和发展最快的领域,存储系统的主要部分是在线存储系统。RAID(磁盘阵列)对于提升存储系统的效率、数据的高可靠性、防止数据破坏和业务停顿具有重大意义。目前实际应用中的RAID 1,RAID 0+1,RAID 4,RAID 5都只能防止单块磁盘的损坏,实际生产中已经出现了很多由于双盘损坏造成业务长时间停顿的事故。在介绍了通用的RAID级别的基础上,介绍了一种新型的对角线奇偶校验方法,结合水平奇偶校验,可以防止两块磁盘损坏。通过可靠的数学分析,可以看到该方法可以极大提高磁     

基于智能预警的自恢复存储系统研究

为提高磁盘阵列存储的可靠性,提出一种基于智能预警的自恢复存储系统。在对磁盘S.M.A.R.T信息实时监测采集的基础上,利用机器学习方法对磁盘故障进行预测,对于预警磁盘采取以数据为中心的自修复迁移保护策略。分析结果表明,该系统能提高存储可靠性,数据迁移过程对用户透明,可用性较强。     

基于Intel ISA-L的RS-RAID系统的研究与实现

由于传统RAID技术自身的局限性,导致其难以在更高的可靠性、I/O性能以及存储空间利用率之间取得良好的平衡。RS-RAID（Reed Solomon RAID）能够提供更高的可靠性,并且具有较高的存储空间利用率,但仍存在I/O性能低和数据恢复时间长的重要问题。基于Intel ISA-L的RS-RAID通过使用Intel ISA-L库加速RS码的计算速度,提高了RS-RAID的I/O性能;通过使用有效数据bitmap记录磁盘中实际需要恢复的数据,减少了RS-RAID在数据恢复过程中需要恢复的数据量,从而降低了RS-RAID的数据恢复时间。     

动态大容量影像数据实时存储的研究

通过对单驱动器磁盘系统和由多驱动器配置构成的磁盘阵列系统存储性能的对比研究发现，多驱动器配置的磁盘阵列系统是解决动态大容量影像数据实时存储的有效解决方案。在多驱动器配置中应尽量使用具有异步I/O功能的SCSI磁盘以降低I/O系统对CPU的占用率，同时尽可能采用多个SCSI通道以进一步提高I/O性能。