大容量数据采集存储系统设计与实现

为解决现有数字示波器和数据存储记录仪对复杂系统覆盖性和可靠性测试不适用问题,设计了基于PCIe总线架构的大容量数据采集存储系统,保证多路高速测量时完整保留测试数据便于后续分析和回顾。给出了基于主控单元片上系统的硬件框架和PCIe总线存储架构设计,多种数据存储方式满足不同数据量的需求。设计了系统通信协议,HPS与FPGA之间的控制指令和交互方式。对数据存储流程中HPS获取采样数据过程,HPS将采样数据写入磁盘过程,以及数据写入磁盘的数据格式进行了设计。测试结果表明,系统硬件、软件设计方案可行,运行稳定,在相同采样速率和分辨率下能存储记录数据量远优于现有数字示波器和数据存储记录仪,目前已投入多款产品的研制和生产过程,取得良好测试效果。     

一种面向数据可用性和存储可靠性动态要求的自适应纠删码存储策略设计

为了满足指数级增长的大数据存储需求,现代的分布式存储系统需要提供大容量的存储空间以及快速的存储服务.因此在主流的分布式存储系统中,均应用了纠删码技术以节约数据中心的磁盘成本,保证数据的可靠性,并且满足应用程序和客户端的快速存储需求.在实际应用中数据往往重要程度并不相同,对数据可用性要求不一,且不同磁盘的故障率和可靠性动态不一的特点,对于传统RAID存储方式包括基于纠删码的存储系统提出了新的挑战.本文提出了一种面向数据可用性和磁盘可靠性动态要求的灵活自适应纠删码存储设计On-demand ARECS(On-demand Availability and Reliability Oriented Adaptive Erasure Coded Storage System),根据存储后端数据可用性和磁盘可靠性的多个维度进行设计,综合确定纠删码编码策略和存储节点选择,从而减少存储冗余度和存储延迟,同时提高数据可用性和存储可靠性.我们在Tahoe-LAFS开源分布式文件系统中进行了实验,实验结果验证了我们的理论分析,在保证具有多样性要求的数据可用性和磁盘可靠性的前提下,明显减少了数据冗余度和存储延迟.     

TVDSM:支持透明计算的虚拟磁盘存储模型

为了解决在透明计算环境下,现有虚拟磁盘镜像存储存在多用户虚拟磁盘数据冗余过度的问题,基于写时重定向(redirect-on-write,ROW)思想设计了一种树状虚拟磁盘存储模型(tree virtual disk storage model,TVDSM)。该模型将虚拟磁盘中数据资源按共享度划分成多个层级,不同终端用户共享位于上层的系统资源以及应用软件资源,只在底层存储自身改写的数据,从而减少了虚拟磁盘存储系统中的冗余数据。同时基于位图索引技术设计并实现了一种树状的虚拟磁盘存储结构,该结构不仅能够很好地支持虚拟磁盘存储模型,而且支持将写重定向和查询定位操作以不同粒度分开实现,使得系统能够在较小共享粒度下获得较高的数据查询效率。     

比较在线、近线和离线存储

传统存储数据的方式有两种：在线存储和离线存储。在线存储是指存储设备和所存储的数据时刻保持＂在线＂状态,可供用户随意读取,满足计算平台对数据访问的速度要求。就像PC机中常用的磁盘存储模式一样。一般在线存储设备为磁盘和磁盘阵列等存储设备,价格相对昂贵,但性能较好。     

磁盘信息的存储原理

磁盘是一种可以重复使用的存储设备,它能以文件形式存储软件和数据信息,磁盘的空间容量可用字节数来量度,其上存储的信息在机器关掉后仍然存在。一张小小的磁盘究竟靠什么得以存储这么庞大的数据量呢?下面就让我们共同来探讨一下磁盘信息的存储原理。让我们先来看看:     

基于非关系型数据库的水文大数据存储方法研究

针对现有的技术架构和主流软件工具存储水文大数据存在的问题,分析非关系型数据库存储水文大数据的优势和技术特点,提出非关系型数据库TRIP存储水文大数据的方法。TRIP数据库管理系统部署在PC机上,水文结构化和非结构化数据存储在与PC机数据连接的磁盘存储装置的数据库文件中,根据水文数据的规模,增加磁盘存储装置的数量和容量。研究结果证明,TRIP数据库能够存储多种类型、格式的水文结构化和非结构化数据,可为水文行业存储水文大数据提供新的技术途径。     

基于BitLocker数据保护的研究与设计

针对数据存储的安全性,讨论了一种BitLocker磁盘加密功能,研究了加密原理、加密方法和密钥系统,在研究分析系统引导磁盘加密和数据磁盘加密的基础上,通过实验给出了应用BitLocker加密系统磁盘和逻辑磁盘的具体方法,更加可靠的保护个人数据安全。     

昆腾宣布推出全新广域存储解决方案系列产品领航大数据管理

本刊讯数据保护和大数据管理领域厂商昆腾公司(NYSE:QTM)近日宣布推出新的广域存储解决方案系列Lattus,它可提供高可扩展、高成本效益的全球分布的磁盘归档,并能够在不中断或不迁移的情况下在磁盘上永久存储数据。Lattus整合了分散的对象存储和昆腾文件系统技术,提供新的归档方式,可克服多PB存储环境中传统磁盘架构造成的限制和低效率。     

ISCSI磁盘数据双控制器存储完整性测试技术研究

传统的ISCSI磁盘数据双控制器在存储数据时存在响应速度慢、数据丢帧等问题,为了改善传统方法在数据存储时遇到的这些问题,提出一种ISCSI磁盘数据双控制器存储完整性测试技术,在原始的磁盘数据双控制器存储系统中增加一种对数据完整性进行测试的技术,以达到提高存储响应时间,减小存储数据误差的目的;数据双控制器存储系统分为:数据采集、中心控制、动态存储、预警输出、网络接口及电源六大模块,通过采集模块获取存储信息,将采集到的数据经由中心控制模块进行去噪除杂等处理,将处理数据信息进行存储,当磁盘内存不够时,可由预警模块给出相应警告,通过网络接口扩展磁盘空间同时清除缓存,获得存储空间,电源模块为整个系统供电;实验结果表明,所提算法能够有效降低系统响应时间,获得完整的存储数据,同时数据丢帧率在0.05%以内。     

磁盘文件的安全删除

磁盘文件的安全删除太原理工大学郝桂芳１ＤＯＳ对磁盘文件的管理以及存储方法为了方便有效地管理、存储磁盘文件，ＤＯＳ在对磁盘进行格式化时，就将磁盘划分为４个区：引导区、文件分配表区、文件目录区、数据区。ＤＯＳ在管理和存储一个文件时，把文件分为两部分：第一...     

探析基于智能网络磁盘的存储网格实现方式

随着计算机技术的快速发展,海量数据存储要求技术越来越高,网络存储技术和理论如雨后春笋般诞生。网格存储技术是一种新兴的存储技术,基于智能网络磁盘的存储网格实现方式也一直是人们关心的问题。文章阐述了网格存储、智能网络磁盘的概述,然后阐述了基于智能网络磁盘的网格存储系统中的关键技术和基于智能网络磁盘的存储网格实现方式。     

NAS设备的磁盘调度模型分析

附网存储 (NAS)设备的性能目标是优化网络存储数据访问和存储子系统的管理 .本文旨在显示随着磁盘转速的增加 ,NAS应该从磁盘硬件的最佳工作性能出发 ,整体配合以提高它的 I/O操作性能 .为了发掘 NAS最佳的工作性能 ,我们建立同时基于磁臂位置和旋转位置的精确的磁盘调度模型 ,并提出测量调度算法性能的方法 .以 HP975 6 0性能参数为基础 ,进行理论分析和模拟测试 .结果磁盘转速越快 ,磁盘访问的开销越大 .因此 ,NAS设备的设计必须从整体上考虑磁盘调度策略的选择 ,并行多磁盘结构的选择 ,文件 cache的分配和文件系统布局等 ,以便提高网络存储数据访问的性能     

SATA及ADMA控制器Linux操作系统驱动的设计与实现

信息时代,数据的存储及远程备份尤为重要。为了满足用户对存储系统产品的高性能及低费用的需求,设计和实现了一种新型存储外设的操作系统驱动,该存储系统采用SATA磁盘及ADMA控制器并基于Linux系统。着重于如何驱动SATA磁盘及ADM／,控制器并实现一些关键功能,以大幅提升数据存储性能。实验结果表明,性能已远超过采用IDE磁盘的存储系统,对于大批量数据存取,性能更为显著。     

智能网络磁盘存储系统的容灾研究

为了应对信息时代巨量数据的存储要求,多种网络存储技术和理论先后出现.其中,智能网络磁盘(intelligent network disk,IND)存储系统理论和实现技术是解决当前网络上的海量信息存储问题的一种重要的新技术方法.然而,至今还少有关于这种存储系统数据容灾性的研究.对智能网络磁盘存储系统进行了简单介绍,根据这种存储系统的数据分布特点和现有的容灾技术,提出了在智能网络磁盘存储系统上实现的自免疫容灾恢复算法和后备智能网络磁盘容灾恢复算法;还通过在高速局域网上的相关实验证明了这两个算法的可行性和正确性;实验和理论都证明了后备智能网络磁盘容灾恢复算法比自免疫容灾恢复算法更可靠.研究工作将对今后智能网络磁盘存储系统的容灾研究有较好的理论借鉴意义和实际参考价值,同时也可以让智能网络磁盘存储技术和理论更趋完善.     

基于磁光虚拟存储系统的文件调度算法

基于光盘库的Hadoop分布式文件系统（HDFS光盘库）在单位存储成本、数据安全性、使用寿命等方面非常符合当前大数据存储要求，但是HDFS不适合存储大量小文件和实时数据读取。为了使HDFS光盘库能更好地运用到更多大数据存储场景，本文提出一种更加适合大数据存储的磁光虚拟存储系统（MOVS, Magneto-optical Virtual Storage System）。系统在HDFS光盘库与用户之间加入磁盘缓存，并在磁盘缓存内通过文件标签分类、虚拟存储、小文件合并等技术将磁盘缓存内小文件合并为适合HDFS光盘库存储的大文件，提高系统的数据传输速度。系统还使用了文件预取、缓存替换等文件调度算法对磁盘缓存内文件进行动态更新，减少用户访问HDFS光盘库次数。实验结果表明，MOVS相对HDFS光盘库在响应时间和数据传输速度方面得到很大改善。     

支持集群存储容灾系统的设计与实现

传统容灾系统后台存储采用灾备中心直接磁盘存储的方法,该方法存在集中存储带来的一系列问题,如存储数据易损坏、存储能力无法在线扩展以及随着磁盘容量的增大存储性能会不断下降等。针对这些问题,设计并实现了一种支持集群存储的容灾系统。通过在容灾系统后台部署GlusterFS分布式文件系统,实现了数据的分布式和副本化存储,数据存储的安全性、可扩展性和存储性能均得到了极大的改进,很好地克服了上述问题。     

航空货运系统数据库的存储优化设计

开源数据库MySQL越来越广泛地应用于航空公司的信息系统,在深入分析航空货运系统数据特点的基础上,提出了联合使用内存和磁盘存储引擎的方法,用InnoDB存储业务数据,用Memory存储基础数据,大大提高了表连接操作的性能。针对内存表的永久保存问题,用写回相关磁盘表的方法加以解决。     

深入解析浪潮AS1000G2

1997年1Gb光纤通道(Fibre Channel)技术广泛应用于外部磁盘存储系统,为外部磁盘存储系统特别是开放平台架构的外部磁盘存储系统的发展开启了新的篇章。随后,FC技术升级到2Gb,加速了光纤磁盘存储系统的应用普及,其高性能、高扩展和高可靠的特性不仅强化了存储应用的独立化趋势,也为实现集中化、网络化存储应用提供了可能。性能得到充分提升后,网络化的光纤磁盘存储系统已经成为构建核心存储平台的首选产品与方案,担负着核心的数据存储与数据应用的重任;除了速度与带宽的提升,高端的光纤磁盘存储系统又能为我们带来哪些价值呢?浪潮新近推出…     

一种磁盘历史数据库模型研究

为解决流程工业中过程历史数据的存储以及大量数据的快速查询问题,提出一种基于关系数据库的磁盘历史数据库模型。在数据存储方案设计中,将关于位号和数据采集接口的静态信息存储在关系数据库中,历史数据以文件形式存放,采用三重二级缓存机制避免频繁访问磁盘,并使用经典的SDT算法对实时数据进行压缩存储,降低存储成本。数据查询方案采用三级索引文件结构,即总索引文件、二级索引文件和位号索引文件,提高查询效率。该磁盘历史数据库的第一版已经成功实现,应用结果表明,数据存储方案和查询方案的设计是合理的,100个位号的查询时间约为500 ms。     

软磁盘问与答

问:什么是软磁盘? 答:软磁盘是计算机中使用的一种数据存储器,它是运用磁性物体在磁场的作用下极化的特性,来存储数据的。为便于数据访问,磁盘中的数据是放在环形的圆盘中。如果磁性物质附着在软性的磁盘基片上,做成的磁盘就称之为软磁盘,简称为软盘。 问:常用软盘有哪些规格? 答:从封装上划分,有常规软盘封装和微磁盘封装两种。常规封装用于8英寸(200mm)和5英寸(130mm)软盘;微磁盘封装用于3英寸(76mm)的磁盘。从磁盘存储能力上划分有普通密度