云环境下海量非结构化信息存储技术探究

云环境下,互联网用户既是信息浏览者又是信息生产者,在不断膨胀的互联网数据中,非结构化数据增幅尤为显著。如何突破传统技术,实现海量信息高效存储和管理成为亟待解决的问题。脱离关系型数据库存储思想,选用分布式非关系型数据库MongoDB作为存储底层。组建存储资源网,将非结构化数据存储于MongoDB结点中,而无需考虑数据结构及类型限制。实践表明,存储系统的灵活度及可扩展性良好,为云存储研究提供了一种思路。     

云计算环境下网格文件存储应用研究

针对互联网应用中不断增长的海量文件数据管理难题,提出网格存储层次结构并设计了网络文件存储系统原型。比较了云存储和网络存储异同,设计了基于安全认证的网格文件数据存储流程,应用名字服务解决网格文件的统一视图问题,采用了冗余存储策略解决数据存储可靠性问题。相对于传统数据中心模式存储结构,新系统的可用性较高。该存储应用可用于能源电力系统中的数据管理及互联网数据服务的后台存储。     

基于MongoDB继电保护大数据管理系统设计

针对继电保护相关数据呈现的海量数据和非结构化等特性,传统的关系型数据库难以满足其对应的高并发性、高可用性和高扩展性,提出了基于MongoDB数据库的继电保护大数据的管理理念和方法,重点阐述继电保护大数据管理框架、数据模型构架和非关系型数据库(NoSQL)管理方式。通过将MongoDB服务器部署于系统、使用Java语言开发客户端,得出一套适用于继电保护大数据增加、删除、修改和查询的管理系统,实践应用验证了新型NoSQL数据库管理继电保护大数据的可行性,对基于继电保护大数据的存储、分析和决策具有指导意义。     

存储回放式仪表的数据管理

存储回放式仪表广泛应用于需要存储长时段、大容量检测数据,并对数据进行离线回放分析的场合。该文分析了此类仪表的一般体系结构以及常采用的存储介质。以存储回放式变压器油压监测仪为实例,介绍了监测仪的总体设计,分析了其存储介质——U盘的文件管理、数据组织和存储等技术,还阐述了上位机分析系统的数据库结构设计、数据存储、数据回放、时标管理、数据呈现等技术问题。该数据管理方法的实用性和有效性在实验室测试以及现场试用中得到了有效验证。     

基于VB/SQLServer2000选煤厂设备点检数据分类存储的实现

针对选煤厂设备的众多点检数据,研究了一种数据存储方法,该方法通过基于STM32单片机开发的手持式点检仪进行采集并存储到SD卡。再通过USB接口传到上位机基于VB开发的点检数据管理系统,经过系统的处理,最后实现数据的分类存储到基于SQL Server2000开发的数据库。结果表明:点检数据按帧截割的存储方式在处理大数据量时用时较少;振动数据及图片数据在数据库中采用路径存储方式,解决了数据库访问变慢问题;数字量数据与图片数据相结合的数据存储方式,克服了传统点检系统缺乏图片信息的局限性。     

非平稳状态下的存储系统控制方法

传统的高速数据存储系统使用RAID(redundant array of independent disks)技术组建硬盘阵列以提高存储带宽与存储容量.工作过程中RAID控制器的数据分配策略、缓存性能以及单次存储操作的数据长度等因素会直接影响系统存储带宽的稳定性,并造成瞬时存储速度陡降.针对这一问题,提出了一种硬盘分组控制方法,该方法分为3个步骤:根据存储带宽需求组建硬盘分组;建立分组切换机制保证分组间的工作负载均衡;实时监测缓存状态,非平稳状态下当缓存长度达到安全阈值时自适应切换工作分组以保证存储系统持续稳定工作.该方法已在国家西部测绘项目实际应用并得到验证.     

区块链技术下大规模电子通信信息存储方法

常规的电子通信信息存储方法以多路径传输存储为主,并未根据通信信息的结构分配存储文件,延长了后续信息查找的时间。因此,在区块链技术下,设计了大规模电子通信信息存储方法。获取大规模电子通信信息跨链存储明文,将用户需要存储的通信信息记录在哈希密文上,使用IPFS明文存储用户需要的通信信息,确保区块链上的信息完整地存储。基于区块链技术建立大规模电子通信信息存储机制,将不同类型的电子通信信息数据进行分配,并以区块共识机制约束信息存储的时隙,从而优化电子信息存储效果。采用对比实验,验证了存储方法的命中率更高,能够应用于实际生活中。     

基于Hadoop的小文件分布式存储技术研究

HDFS （Hadoop Distributed File System）以其高容错性、高伸缩性等优点,允许用户将Hadoop部署在低廉的硬件上,广泛适用于大文件存储。然而对于海量小文件,因为内存开销过高,因此对数据的存储技术提出了更高的要求。基于Hadoop分布式文件系统(HDFS)架构,研究小文件在Hadoop架构下的数据处理策略,通过实验将其与传统的文件系统的读写、计算速度进行比较。     

基于纠删码的数据冗余策略研究

在分布式文件存储系统中,每一个节点的可用性是至关重要的,需要在该系统中引入一定的冗余来提高每个存储节点的可用性以对存储的数据起到保护的作用。传统的冗余方式是完全副本技术,但随着副本个数的增加,该机制在存储空间上的浪费暴露无遗,而且在一定程度上这对整个系统性能的提高几乎没有帮助。文章讨论了传统的基于完全副本的技术与纠删码技术,比较了它们各自的优缺点,提出一种基于RS纠删码的分布式网络容灾模型,并对RS纠删码进行了实现。     

关于LabVIEW采集系统的数据存储

数据的完整性与准确性受到了越来越多人的关注,存储也显得越来越重要。该文基于LabVIEW对存储进行分析,在高速情况下,二进制存储的速率远远优于其他方式,并通过分文件存储的方式解决了文件打开受行数与列数限制的问题。经验证,该方案工作稳定,满足高速存储的要求。     

大型数据存储与管理系统设计与实现

结合地震行业网中数据平台的建设,分析了地震数据在台站、区域中心和国家中心的汇集、存储和管理情况,在国家中心、区域中心和台站节点分别采用了相应的数据库平台和数据存储平台技术,设计了各类节点的数据备份策略,实现了满足海量数据流高效运行的台站-区域-国家数据平台。     

单片机访问SD卡精简方法的设计与实现

针对传统方法中"单片机(MCU)读写SD卡数据时需要执行复杂的文件分区表数据操作"的缺点,以LED护栏管显示屏技术要求为例,提出了一种单片机主从系统中快速、简单的SD卡存储器的访问方法,并给出了一种实用的SD卡与单片机连接的接口电路.采用该方法读取SD卡控制数据与存储文件的分区表格式无关,因此支持FAT32、NTFS、...     

一种新型网络存储模型在医院信息系统中的应用

随着现代医院信息系统的发展与完善，要求其存储系统能更好的解决系统数据类型复杂、数据存储量大、数据共享度高及数据操作复杂等问题。本文在对网络附加存储与存储局域网络这两种企业级网络存储模型分析的基础上，把网络附加存借的文件共享特性与存储局域网络的高速存储特性相结合。提出了一种新型的医院信息系统网络存储模型。我们将该模型在现实中应用，结果证明该模型更好的满足了现代医院信息系统对网络存储的需求。     

基于P2P分布式开放资源管理服务的云存储方案研究

云存储技术因其能为用户提供了安全、海量、随时随地的数据存储功能而得以快速发展。提出了利用网络上现存的自然分布于世界各地的大量免费存储服务,如网盘、ftp、email以及其他形式等存储空间,将这些服务集中起来,为用户提供价廉、可靠的存储系统。介绍了一种低开销、快速度、高可用、可扩展的云存储拓扑系统,以期在该拓扑架构下实现以文件存储和共享服务为基础,不断扩展其他功能,最终形成P2P分布式存储资源共享的目的。     

大数据环境下云存储数据安全探讨

伴随互联技术、云数据技术的不断发展和进步,大数据时代逐步到来.大数据技术让许多行业进入了全新的发展阶段,但也出现了新的问题,数据安全威胁逐步加大.本文的课题研究由此出发,深入探究现阶段云数据存储安全面临的威胁与问题,并结合现阶段的安全技术提出相应的完善策略.     

工业控制软件中数据存储方法分析

针对工业控制软件中数据存储的方法进行了分析,并以全自动校圆机的数据存储为例,论述了Txt方法、Excel方法和Access方法的各自实现方案,进而比较它们的优缺点。Txt方法适合简单的数据存储,Excel方法适合复杂的数据存储,而Access方法适合需求一致性和安全性的数据存储。具体使用哪一种方法,需要依据实际的数据存储需求而定。     

基于云计算的海量数据存储

针对因网络的广泛应用而产生的海量数据的存储问题,在云计算技术的基础上,分析了Hadoop框架结构和MapReduce的计算模型,提出了基于云计算的海量数据存储技术架构图,并对存储层进行了进一步分析.该存储结构解决了网络中海量数据存储中存在的问题,提高了存储的效率和安全性.     

今年最流行的科技新产品

全息存储光盘：传统光学存储将所有信息存储在光盘表面，通过激光进行数据读取；而全息存储却利用了整个磁盘的所有空间。最新研制的全息存储光盘的单牒容量已经达到传统DVD的200倍。     

海量气象水文数据存储结构的研究与实现

本文针对气象水文保障业务中数据的安全存储、快速读取等不同要求,对海量气象水文数据存储结构进行分析研究,提出了采用基于RAID-0／RAID-1／RAID-5组合的三级盘阵冗余技术的海量气象水文数据存储结构解决方案,为提高气象水文业务中数据的安全存储和快速读取模式提供了较为完整可行的设计思路。     

一种基于容器的对投影矩阵稀疏存储与快速访问的方法(英文)

针对迭代重建算法中投影系数的重复计算,以及投影矩阵存储占用空间大,检索效率低等问题,本文提出一种基于vector容器的投影矩阵稀疏存储与快速访问方法。该方法只计算一次投影系数,并利用容器的大小可变性将投影系数以二进制格式进行稀疏存储。在迭代重建过程中,循环访问这些二进制文件,并使用容器快速检索获得每一条射线的投影系数。实验证明,本文提出的方法有效地减少了投影矩阵占用的内存,减少了迭代过程中计算投影系数的运算量,加快了重建速度。