基于区块链的监控视频数据存储模型研究

监控设备生成海量的视频数据，由于管理不善、维护不力和人为删除等原因，存在监控视频数据的丢失和篡改等问题。在研究云存储和区块链的基础上，结合区块链去中心化、难篡改和可溯源等特性，提出一种基于区块链的监控视频数据存储模型。监控视频数据存储在单位的云存储服务器，监控视频数据的哈希值等元数据存储在区块链，云存储技术实现监控视频数据的海量存储和便捷访问，区块链技术实现上链监控视频数据的防篡改和防删除，对于提高监控视频数据的安全性和可靠性有一定的应用价值。     

探析云计算的海量数据存储模型

随着互联网技术的飞速发展,产生的数据越来越多,这就对数据存储提出了更高的要求。在云计算技术的基础上,采用虚拟化技术和Hadoop技术,构建基于云计算的海量数据存储模型,从而将海量数据设置在Hadoop平台上,利用Mapreduce进行处理,并将海量数据存储在虚拟资源池中,从而有效地提高数据存储效率。     

一种基于Hadoop的纺织海量生产数据存储设计

随着传统的纺织工艺进行知识融合与知识重用,生产制造系统每天获取的数据呈几何级递增,因此在如何分发、存储、管理和共享这些海量数据已成为亟待解决的问题。本文在研究Hadoop框架的基础上,提出一种基于Hadoop的海量纺织生产数据的存储管理体系。通过HDFS实现了数据的一次写入,多次读取;通过MapReduce实现了充分的并行性,将作业有效分布到数据上;通过HBase实现了随着表空间增长的自动分区、区域自动平衡、访问数据在毫秒范围内的应用。运行表明,系统安全可靠、易维护、具有良好的可扩展性。     

基于Hadoop的海量农业数据资源管理平台

使用传统分布式数据库架构存储和管理海量农业数据存在资源效率不高及存储能力不足的问题,为此,在Hadoop的基础上研究海量农业数据资源组织存储与检索技术,提出基于Hadoop的大文件分块存储方法和海量农业数据资源检索方法。测试及实践结果表明,该方法为构建海量农业数据资源管理平台提供了支持,实现了海量农业数据资源高效的组织和管理。     

一种基于Hadoop的Scool云存储平台

针对海量数据的指数级增长,现有的文件存储系统很难满足现有系统需求,提出基于Hadoop的Scool云存储平台,系统通过采用Linux集群技术、分布式文件系统和云计算框架等技术,来实现海量数据存储和高速数据处理。通过比较云存储和传统存储模式的区别,分析了云存储技术优势和可行性,介绍了云存储架构模型,设计了基于Hadoop的Scool云存储文件管理系统,为今后深入研究云计算和云存储提供了一定的基础。     

基于Hadoop的电力运维审计系统的设计

国家电网公司信息化程度越来越高，单机运维审计系统产生的数据量日益增多，对海量数据高效率存储分析性能严重下降，系统稳定性降低。为满足国家电网当前对运维审计系统数据存储分析以及系统稳定性的需求，在Hadoop开源架构的基础上，本文提出基于Hadoop集群的海量数据分布式存储方法和基于Heartbeat的心跳检测技术，实现基于Hadoop的电力运维审计系统。〖JP2〗实验测试结果表明，基于Hadoop的电力运维审计系统相比单机系统可用性提高了8.42%，大大提升了存储分析海量数据的性能，具有系统工作稳定和服务不间断等优势。     

基于Hadoop的海量数据存储平台设计与开发

随着北部湾海洋生态资源的开发和利用,海量海洋科学数据飞速涌现出来,利用海量数据存储平台合理管理和存储这些科学数据显得极为重要.这里提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法,构建了海量海洋科学数据存储平台解决方案,采用Linux集群技术,设计开发一个基于Hadoop的海量数据存储平台.系统由五大模块组成,有系统管理模块、并行加载存储模块、并行查询模块、数据字典模块、备份恢复模块,能够实现存储海量海洋科学数据.系统模块实现结果表明,该系统安全可靠、易维护、具有良好的可扩展性.     

基于云计算的海量大数据存储系统设计和实现

云计算技术是大数据存储、处理和管理的一项热门技术。随着互联网中海量数据的爆炸性增加,传统数据存储方式逐渐无法充分满足对海量数据存储的要求,而云计算中的云存储技术为海量数据存储提供了解决思路。为实现对海量数据的管理、存储以及智能分析,基于云计算技术对海量大数据的存储和管理等展开相应的研究,并根据Hadoop架构技术提出了一种新型的海量大数据存储系统设计方案,同时给出了各项模块的设计方案,增强了对海量大数据的高效存储、处理以及管理的能力。     

基于Hadoop的煤矿数据中心架构设计

根据煤矿安全生产业务需求及智慧矿山发展要求,新型的煤矿数据中心需满足对同一时空坐标体系下煤矿海量、多元数据的高效处理、缓存、计算、存储与发布。针对传统煤矿数据中心各类数据离散存储,数据集成、业务应用及数据分析难度大等问题,设计了一种基于Hadoop的煤矿数据中心架构。采用Storm实时数据流引擎进行数据实时计算,并应用MapReduce,Spark实现批处理计算和内存计算,解决高频时序数据存储与海量数据计算问题;采用Hadoop分布式文件系统(HDFS)实现文件的可靠存储,并采用HBase分布式存储数据库实现历史数据的持久化存储,利用其无模式稀疏设计满足同一时空坐标体系下的数据分析需求;采用Redis作为实时数据库存储数据快照进行最新数据检索。基于Hadoop的煤矿数据中心充分利用大数据技术的高速数据存取和压缩性能,通过统一的云计算数据中心,有效降低了煤炭企业数据应用的复杂度及数据中心日常运维难度,可为智慧矿山建设奠定数据基础。     

适应冷热数据存储的多编码架构的设计与实证

随着互联网技术的发展,数据爆炸性增长,互联网的实际应用也已广泛依赖于海量数据的存储。实际的互联网应用往往需要存储多种类型数据,根据数据被访问频率差异可以将数据划分为冷热数据。然而,现有的编码存储机制往往只能采用固化的实现机制,无法适应多种数据类型的编码存储,导致存储系统性能(如数据访问时间)恶化。考虑到冷热存储数据的不同,提出一种基于多数据编码机制的存储系统框架。对于冷数据,该框架可以采用冗余度较低的编码,从而提高空间利用率;对于热数据,该框架可以采用解码速度较快的编码,从而提高数据访问速度。基于HDFS-RAID设计了这一框架并将之实现为真实系统,实际部署在一个Hadoop集群中。另外基于一个实际系统的用户数据轨迹,在搭建的集群中进行了试验,实验结果表明该框架可以满足不同类型数据同时高效存取的需求,并对编码机制具备高扩展性。     

海量网络数据智能分级存储技术研究

随着网络的普及和应用,诞生了海量的网络数据,因此针对海量网络数据实施有效的存储,可以提高数据的访问效率和安全性。文章详细地分析了海量网络数据智能分级存储现状,提出了一种智能分级存储系统,并且研究了智能分级存储的数据分类技术、数据放置技术、数据迁移技术等关键技术。     

Hadoop平台下的地震波形数据存储与应用规划

地震波形数据的存储与应用是国家地震数据灾备中心的重要业务之一。本文主要针对海量地震波形数据基于传统关系型数据库和文件系统的存储方式所存在的数据存储离散、查询效率低下等问题,从大数据平台的角度,提出基于Hadoop的地震波形数据存储解决方案,着重阐述了业务需求、功能设计和实现原理。希望为国家地震数据灾备中心存储平台的建设提供有益的借鉴。     

基于云平台NoSQL的海量天文图像存储研究

云计算所提出的全新计算和存储思想,对海量数据的存储解决方案以及快速访问有效数据资源提供了参考。以云存储平台NoSQL数据库为背景,研究海量天文数据的存储和访问技术。首先构建了基于MongoDB平台的天文图像FITS文件存储原型,在此基础上设计并分析存储实验。实验结果表明,数据分片存储以及选择最佳的分片大小能有效提高天文数据的存储和访问效率。     

电力调度大数据应用平台系统技术研究

为解决智能电网的发展中电网运行和设备检测或监测数据、电力企业管理数据、电力企业营销等数据海量的增加带来的不同业务系统之间分散地开发、运行和管理,系统数据存储结构独立,带来数据多源、格式不一致,数据准确性、实时性不强,数据质量不高,缺乏统一的数据规范等问题,本文利用Hadoop的分布式文件系统HDFS和并行处理框架MapReduce的工作原理,搭建电网调度大数据应用平台系统,解决了不同业务系统之间的数据不能及时共享、访问、管理与分析挖掘等问题。采用数据清洗数据,解决数据质量不高的问题。搭建电网调度大数据应用平台系统,既能实现跨专业、跨部门的多维度关联分析,又能满足海量的智能电网数据存储和数据处理需求,并具有强大的伸缩性,可扩展为电网实现安全、可靠、经济、高效地运行提供保障。     

面向装备试验数据的融合存储技术研究与应用

针对海量装备试验数据结构复杂、分散存储及检索访问等问题,开展装备试验数据融合存储技术研究。提出了数据源插件技术、分布式采集处理技术、海量数据文件索引技术,实现多源异构试验数据的采集整理、校核验证、入库和多维信息查询,以及图像、视频、文档类数据文件的检入、检出等功能,并保证系统稳定、高效运行,确保数据应用业务可扩展、可发展。该装备试验数据融合存储技术已应用到某装备系统中,为系统试验数据的稳定存储和应用提供了基础支撑,也为多源异构试验数据的融合存储和管理提供了一种解决方案。     

Hadoop对关系数据库的访问

Hadoop的分布式文件系统存储的是非结构化数据,可用来存储海量数据,适合海量数据集的应用程序,但有应用系统的关系数据库中存有大量的结构化数据,为了把现有关系数据库中的结化数据转存到Hadoop中,在Hadoop进行分布式计算处理并把分析结果存回到关系数据库中,Hadoop提供了两个访问关系数据的简单接口DBIn-putFormat和DBOutputFormat.通过具体实例介绍Hadoop与现有关系数据库结合,在Hadoop应用程序中访问关系数据.     

Hadoop的HDFS大数据存储技术

Hadoop的HDFS是一个部署在廉价硬件设备上使用的分布式文件系统,具有高容错性,适合海量数据集的应用程序,可用来存储海量数据,为应用程序提供高吞吐量。HDFS开放了一些可移植操作系统接口,文件系统中数据的访问采用流的方式,在时下企业数据急剧膨胀,海量存储挑战严峻的情况下,提供了一个好的技术方法,海量数据的存储需求就是时下流行的云存储的概念,以存储海量视频数据为实例,介绍HDFS存储海量的过程。     

时序数据库在风电监控系统中的应用

分析了风电监控系统对海量数据的存储和访问需求,提出了引入时序数据库技术来解决传统数据库在处理海量数据时碰到的存储容量和访问效率方面的问题.所采用的时序数据库和关系数据库相结合的解决方案,在满足海量数据存储和访问需求的同时,很好地解决了数据模型的描述和存储问题.介绍了基于时序数据库开发的一些风电高级应用.     

基于Hadoop的矢量空间数据库技术

大型GIS系统中要存储海量的空间数据,需要面对大量用户高并发访问提供高效的服务,而传统的空间数据库设计方案难以满足需求。针对大型GIS系统中海量矢量数据存储组织,提出一种基于Hadoop的存储方案,并通过实验验证该方案的有效性。     

基于Hadoop云存储系统在设计院的应用研究

近年来,三维设计、协同设计在设计院中逐渐推广使用,设计院面临着文件和数据量的快速增长,现有的文件存储设施已不能适应业务增长的需求。本文首先描述了云计算和云存储的概念,分析了云存储的体系结构和技术优势,提出了基于Hadoop构建的云存储系统模型,并应用于数据备份、归档及数据共享等领域,满足了设计院对海量数据存储、数据共享和数据挖掘等要求。