基于Hadoop的海量数据存储平台设计与开发

随着北部湾海洋生态资源的开发和利用,海量海洋科学数据飞速涌现出来,利用海量数据存储平台合理管理和存储这些科学数据显得极为重要.这里提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法,构建了海量海洋科学数据存储平台解决方案,采用Linux集群技术,设计开发一个基于Hadoop的海量数据存储平台.系统由五大模块组成,有系统管理模块、并行加载存储模块、并行查询模块、数据字典模块、备份恢复模块,能够实现存储海量海洋科学数据.系统模块实现结果表明,该系统安全可靠、易维护、具有良好的可扩展性.     

一种基于文件系统的海量遥感影像存储组织结构

针对传统数据库技术在管理海量遥感影像数据方面存在的不足,本文提出了一种基于文件系统的海量遥感影像存储组织结构,该结构能够快速检索影像数据.     

基于云计算的海量大数据存储系统设计和实现

云计算技术是大数据存储、处理和管理的一项热门技术。随着互联网中海量数据的爆炸性增加,传统数据存储方式逐渐无法充分满足对海量数据存储的要求,而云计算中的云存储技术为海量数据存储提供了解决思路。为实现对海量数据的管理、存储以及智能分析,基于云计算技术对海量大数据的存储和管理等展开相应的研究,并根据Hadoop架构技术提出了一种新型的海量大数据存储系统设计方案,同时给出了各项模块的设计方案,增强了对海量大数据的高效存储、处理以及管理的能力。     

面向海量数据存储的对象存储技术研究

在这个信息大爆炸的时代,伴随着各行业中数据量的不断激增,以至海量数据的大量出现,存储技术正在发生革命性的变化.专门针对海量数据存储环境,对现有存储结构进行了分析,研究了面向对象存储技术:主要包括对象存储模型、对象存储系统以及对象存储特性.由于对象存储结构具有良好的可伸缩性、高性能、跨平台、安全数据共享等能力,使其成为海量数据存储的一个理想选择.     

优化RFID数据压缩与存储算法的实现

随着物联网的快速发展,RFID作为物联网的核心技术已经广泛应用于物联网,由此带来海量的数据,而传统的关系数据库技术已经不能完全应对如此巨大的数据量以及基于海量数据的检索,由此提出了一种新的数据仓库结构RFID-Box.这种新的数据仓库结构RFID-Box主要利用大量物品的成批移动、数据泛化和部分路径的融合等特性来进行数据压缩和存储,极大地减少了存储空间,提高了查询效率.简单介绍海量数据压缩与存储算法的一种实现过程,并用C#语言实现算法结果.     

基于IFC标准的建筑信息模型分布式大数据平台存储技术研究

随着建筑信息模型的规模和复杂性不断增加,利用单台计算机处理海量BIM数据的存储和分析变得越来越困难。传统的关系数据库、面向对象数据库等已经无法满足当下建筑业海量和多样化的数据存储和管理的需求。而大数据技术的出现为建筑信息模型海量数据的存储、管理和分析带来极大的潜力。利用大数据技术管理BIM结构化和非结构化数据的优势,探讨分布式大数据平台Hadoop和HBase数据库整体架构和存储模型;制定基于HBase数据库存储IFC(工业基础类)结构化数据和非结构化数据的策略及数据表格的设计;建立基于Hadoop和HBase大数据环境的建筑信息模型存储系统,实现对IFC数据的基本管理操作。通过实际案例验证该系统的可行性。     

海量数据存储管理技术研究

海量数据存储管理在各行业的信息化过程中越来越重要,受到了广泛的关注.综述了海量存储管理技术的研究及应用现状,介绍了一些关键技术,包括数据存储架构,分级存储,数据自动化归档,业务流程控制,并发设计,数据服务等,最后,结合当前海量数据存储管理技术,指出了海量数据存储管理面临的一些新的发展方向.     

云数据库和云计算在BSS系统中的应用

鉴于目前通信运营商的业务支撑系统数据多采用省集中、数据库表结构存储模式,这种存储方式和目前海量数据查询、更新产生冲突;通过把云数据库和云计算技术引入到通信业务支撑系统,运用云计算和云存储技术,解决目前通信运营商面临海量数据难以管理、集中的问题,为通信运营商构筑全国业务支撑系统统一模型提供发展.     

探析云计算的海量数据存储模型

随着互联网技术的飞速发展,产生的数据越来越多,这就对数据存储提出了更高的要求。在云计算技术的基础上,采用虚拟化技术和Hadoop技术,构建基于云计算的海量数据存储模型,从而将海量数据设置在Hadoop平台上,利用Mapreduce进行处理,并将海量数据存储在虚拟资源池中,从而有效地提高数据存储效率。     

时序数据库在风电监控系统中的应用

分析了风电监控系统对海量数据的存储和访问需求,提出了引入时序数据库技术来解决传统数据库在处理海量数据时碰到的存储容量和访问效率方面的问题.所采用的时序数据库和关系数据库相结合的解决方案,在满足海量数据存储和访问需求的同时,很好地解决了数据模型的描述和存储问题.介绍了基于时序数据库开发的一些风电高级应用.     

压缩数据上的关系代数操作算法

针对在大数据管理中,在压缩的数据上无需解压即可进行相关操作的问题,在数据服从正态分布的前提下,根据列数据存储的特点,提出了一种新的面向列存储的压缩方法——CCA。首先,通过对列数据的长度进行归类;然后,采用抽样的方法获得重复度较高的前缀;最后,使用字典编码进行压缩,提出了列索引(CI)和列实体(CR)作为数据压缩结构来降低大数据存储的空间需求,从而直接有效地在压缩数据上支持选择、投影、连接等基本操作,并实现了基于CCA的数据库原型系统——D-DBMS。理论分析和在1 TB数据上的实验结果表明,该压缩算法能够显著提高大数据的存储效率和数据操作性能,与BAP和TIDC压缩方法相比,在压缩率分别提高了51%、14%;在执行速度上提高了47%、42%。     

物联网信息服务系统研究综述

信息服务系统作为物联网的重要基石,是实验物联网信息化、智能化的手段。从系统架构、关键技术两个方面阐述物联网信息服务系统的研究现状,在关键技术中着重分析数据质量控制、海量数据存储以及异构数据共享三个方面;最后进行总结,并展望未来工作。     

基于SDE API的影像数据高效存储研究*

对于目前与日俱增的影像数据,难以实现快捷高效的管理存储,应有更有效的管理方法来满足目前应用需要。阐述了SDE中影像数据存储机理。在此基础上,分析了用API开发影像管理系统时,存储影像数据的关键技术,并给出了实现 代码。     

基于PLOT算法的测井数据压缩

油井测井曲线数据压缩的主要目的是减少数据冗余和相关性，简化测井曲线的特征提取过程，并且可以大幅度地降低数据存储容量。本文利用分段线性在线趋势化（PLOT）方法，来对油井曲线数据进行压缩。     

Scale and performance in semantic storage management of data grids

Data grids are middleware systems that offer secure shared storage of massive scientific datasets over wide area networks. The main challenge in their design is to provide reliable storage, search, and transfer of numerous or large files over geographically dispersed heterogeneous platforms. The Storage Resource Broker (SRB) is an example of a system that provides these services and that has been deployed in multiple high-performance scientific projects during the past few years. In this paper, we take a detailed look at several of its functional features and examine its scalability using synthetic and trace-based workloads. Unlike traditional file systems, SRB uses a commodity database to manage both system- and user-defined metadata. We quantitatively evaluate this decision and draw insightful conclusions about its implications to the system architecture and performance characteristics. We find that the bulk transfer facilities of SRB demonstrate good scalability properties, and we identify the bottleneck resources across different data search and transfer tasks. We examine the sensitivity to several configuration parameters and provide details about how different internal operations contribute to the overall performance.     

基于多级存储结构的海量信息管理系统的研究

It is very important for such large-scale application systems as global information systems,GIS,digital libraries,data warehousing to effectively manage and manipulate the large volumes of infor-mation(more than terabytes of data). One of challenge problems is to study massive information man-agement system and related techniques. Since the large volumes of information are mainly stored on ter-tiary storage devices,the study of massive information management system should focus on the follow-ing aspects. (l)the multilevel storage architecture in which the tertiary storage devices are main datamedia and the secondary storage devices are data cache; (2)scalable system architecture of massive in-formation management system; (3)retrieve process techniques. This paper will deeply study and discussthe above oroblems.     

FPGA-based architecture for hardware compression/decompression of wide format images

In this article, we present a popular lossless compression/decompression algorithm, GZIP, and the study to implement it on an FPGA-based architecture, the ADM-XRC board from ALPHA DATA parallel system ltd. The algorithm is lossless, and applied to “bi-level” images of large size (A0 format). It ensures a minimum compression rate for the images we are considering. It aims to decrease storage requirements and transfer times, which are critical for wide format printing systems. In a wide format document industry, raster data are most of time processed in an uncompressed format, in order to apply processing (P) before printing (p). An example of a copy chain is composed of scanner, set of processing operations, storage, link and printer. We propose to use a compressed format as the new data-flow representation to improve the performances of the printing system. For example, the compression (C) is applied as soon as the data are produced by the scanner, and decompression (D) is performed at the last stage, before printing. The set of processing is applied to compressed images. The proposed architecture for the compressor is based on a hash table and the decompressor is based on a parallel decoder of the Huffman codes. We implemented the proposed architecture for compression and decompression algorithms on FPGA Xilinx Virtex XCV 400.     

GIS命令消息在实时协同GIS系统中的应用研究

为了有效降低网络传输量以满足GIS实时协作的要求,针对地理空间数据量大的特点,通过对协作者的GIS操作进行抽象与封装,提出利用消息传递机制构建实时协同GIS系统的解决方案。首先分析了基于消息传递的实时协同GIS的实现机制,给出了系统体系结构;重点讨论了GIS操作的划分粒度与基于XML的GIS命令消息的编码规范;最后对GIS命令消息库进行了介绍。     

QDR—Ⅱ SRAM在高速数据采集系统中的应用

随着数字通信技术的发展,对高速大容量数据存储的要求越来越高。本文在分析QDR-Ⅱ SRAM的存储器结构和主要操作时序的基础上,详细介绍了QDR—Ⅱ SRAM控制器的设计以及在高速数据采集系统中的应用。     

云计算在智能电网调度中的应用

为解决传统电力系统中集中式计算平台海量数据流的存储和分析功能不足的问题,针对云计算在智能电网调度技术中的应用进行了研究。首先,对云计算技术在IT行业的发展进行阐述,对云计算的关键技术从虚拟化与快速部署技术、大规模分布式存储技术、资源调度技术、大规模多租户技术、海量数据处理技术以及大规模信息通信技术等方面出发进行介绍。其次,借鉴IT行业云计算技术,设计了基于云计算的智能电网计算平台以及基于云计算的智能电网互动式节能优化调度架构,以期推动云计算在电力系统中的发展,解决智能电网互动式节能优化调度算法方面的问题。