分布式下MongoDB对激光点云的存储和处理研究

近年来,激光点云数据的应用急剧增加,如何对其进行高效存储和快速处理成为当前的一个重要研究方向。点云数据包含着丰富的地理信息,属于空间数据范畴。传统的关系型数据库对海量空间数据的存储和处理相对薄弱,分布式环境下非关系型数据库的应用为此提供了一个新的研究视角。Sharding技术是数据库水平扩展的一种解决方案,在分布式环境下搭建MongoDB的Sharding集群,通过范围分片和哈希分片对大量激光点云数据进行分布式存储、空间查询和MapReduce运算测试,充分体现了分布式下MongoDB在空间数据的存储和处理方面的巨大优势。     

面向电子政务的MongoDB与MySQL混合存储策略

针对传统电子政务平台所采用的关系型数据库在存储非结构化数据时的缺陷,利用MongoDB存储海量非结构化数据的优势,提出MongoDB与MySQL混合存储的策略。MongoDB负责存储图片、视频等非结构化数据,MySQL负责存储用户注册信息、工资表等结构化数据。二者协同提供政务数据的云存储服务和查询操作,从而降低MySQL数据库服务器的负载,节约MySQL的存储空间,增强电子政务后台数据库的扩展性。实验结果表明,该混合策略能大大提高电子政务平台的查询效率。     

PostgreSQL与MongoDB处理非结构化数据性能比较

互联网技术的发展产生的海量非结构化数据在传统关系型数据库中难以被高速有效地进行存储和处理,各类NoSQL数据库可以有效存储处理非结构化数据,但是对关系运算功能的弱化难以满足应用场景的需求。具备非结构化数据处理能力的新型关系型数据库提供了适用多种应用场景的高效存储方式。为了能够定量地比较关系型数据库和面向文档的NoSQL数据库的数据存储与处理能力,比较了PostgreSQL的hstore数据类型和MongoDB的内嵌文档对非结构化数据的储存方式,并通过非结构化数据的批量加载、磁盘占用、主键查询、非主键查询、地理空间坐标查询等方面的对比来以分析性能特征与适用场景。     

RFID与MongoDB融合的分布式云仓储管理系统

利用非关系型数据库具有数据存储不需要固定表结构、不存在连接操作的特性,建立起来的非关系型分布式云存储数据管理,具有比关系型数据库存储管理更好的性能优势。通过基于MongoDB建立的分布式云存储架构,结合底层的Angular和RFID技术,设计实现一种分布式云存储智能仓储管理系统,以解决现代商品仓储管理存在的数据规模大、异地数据不同步、数据共享度低、管理成本高等问题。针对MongoDB为了加速对查询或修改过的数据访问速度而采取记忆并缓存至本地的策略,以及对某节点数据的高密度访问可能造成数据拥堵的问题,设计了基于数据操作频率统计技术的节点均衡访问算法,并对算法的均衡关系参数进行优化验证。系统包括商品的进出库管理、查询统计等基本功能,可应用于数量、地域不断扩大的分散型仓储智能管理。     

MongoDB数据库在网络行为分析与控制系统中的应用

在网络行为分析与控制系统中,传统的关系数据库在异构数据、海量日志的管理上难以胜任。NoSQL非关系型数据库的出现,对于解决面向文档的超大规模和高并发的问题提供了卓有成效的方案。本文在研究非关系数据库的基础上,着重分析MongoDB的特点和优势,通过性能测试,提出将MongoDB数据库应用于网络行为分析与控制系统,有效提高了大规模日志数据在网络行为分析与控制系统中的存储效率。     

基于FODO算法MongoDB自动分片的改进

随着Web2.0技术的高速发展,云计算中的大规模分布式服务和数据存储技术对传统的关系型数据库带来了巨大的挑战。NoSQL数据库打破了关系型数据的束缚,正在成为人们关注的焦点。NoSQL是一种非关系型数据库管理系统,松散的数据存储机制,不支持多表查询,有高效的查询功能。文中首先介绍了MongoDB数据库自动分片的原理和实现机制,然后为了解决在自动分片中数据负载不均衡,提出了基于数据操作频率的改进算法。这个改进的平衡策略可以有效地均衡分片中的数据,提高集群的并发读写性能。     

传统RDBMS向非关系型MongoDB数据模型转换与数据迁移方法研究

为解决关系型数据库在大数据处理中遇到的瓶颈问题,满足企业对大数据处理的需求,提出将关系型数据库迁移到NoSQL文档型数据库中。针对RDBMS中的关系模型向MongoDB中的集合模型转化方法进行了研究,提出了表示关系间参照完整性的有向图表示模型,和基于关系型数据模型向MongoDB文档模型自动转化算法;实现了RDBMS中迁移数据到MongoDB的插入算法。针对上述方案和算法,结合典型开源RDBMS--MySQL实例,对上述关系有向图模型的生成、基于有向图模型的转化算法以及数据迁移算法应用验证。实验结果表明RDBMS可以按照一定的数据结构平滑地迁移到MongoDB中。     

基于FODO算法MongoDB自动分片的改进

随着Web2.0技术的高速发展,云计算中的大规模分布式服务和数据存储技术对传统的关系型数据库带来了巨大的挑战.NoSQL数据库打破了关系型数据的束缚,正在成为人们关注的焦点.NoSQL是一种非关系型数据库管理系统,松散的数据存储机制,不支持多表查询,有高效的查询功能.文中首先介绍了MongoDB数据库自动分片的原理和实现机制,然后为了解决在自动分片中数据负载不均衡,提出了基于数据操作频率的改进算法.这个改进的平衡策略可以有效地均衡分片中的数据,提高集群的并发读写性能.     

一种基于MongoDB的企业内容管理系统实现

随着IT技术在企业实际业务中扮演着越来越重要的角色,企业的IT系统中所产生的数据量也越来越大,其中非结构化的数据又占有相当大的比例,传统的利用关系型数据库对非结构化数据的管理在面对海量数据时面临着性能不足的瓶颈.基于此,提出了使用非关系型数据库MongoDB作为后端数据库的内容管理解决方案,利用MongoDB的文档数据库且易于横向扩展的特性来解决基于关系型数据库的内容管理系统的性能瓶颈.     

MongoDB在呼叫中心系统中的应用

MongoDB是一个可扩展,高性能,无模式,基于文档存储的非关系型数据管理系统。它的面向文档存储的特点使得MongoDB可以支持松散结构数据的存储;弱一致性特点使得MongoDB可以保证更快速的用户访问速度;高性能特点使得MongoDB可以更好的支持大数据量的处理。呼叫中心的不断发展对数据存储系统提出了新要求:大数据量+松散数据结构+高访问速度,因此引入非关系数据库MongoDB作为呼叫中心部分应用数据的存储系统十分合适。本文首先对MongoDB进行了简要介绍,然后详细展示了MongoDB的实施部署方法,最后给出了MongoDB在呼叫中心系统中应用的一个设计思想。     

基于HBase的气象地面分钟数据分布式存储系统

针对气象地面分钟数据要素多样、信息量大、产生频次高等特点,传统的关系型数据库系统在存储和管理数据上出现负载饱满、读写性能不理想等问题。结合对分布式数据库HBase的存储模型的研究,行主键(row key)采用时间加站号的方式设计了气象分钟数据存储结构模型,实现对海量气象数据的分布式存储和元信息管理。对HBase的唯一索引在面对气象业务的复杂查询用例时响应时间过长的问题,使用搜索引擎solr提供的API接口并参考气象业务中的查询用例对相关字段建立辅助索引,来满足业务检索时效。实验结果表明,该系统具有很好的存储能力和检索效率,入库效率最高可达每秒34000条,并且在常规查询用例的结果返回时效达到毫秒级,能够满足大规模气象数据在业务应用中对存储和查询时效的性能要求。     

海量自动气象站分钟数据存储检索系统设计

地面自动气象站的时空密度不断增加,产生的观测数据量呈指数级增长,传统的关系型数据库在海量数据存储与检索方面存在能力不足、检索性能下降等问题。鉴于此,本文设计一种自动站分钟数据存储与检索系统。使用Quartz定时采集自动站分钟文件并解码入库;应用HBase分布式数据库建立分钟数据存储模型;针对多要素查询需求,应用Elasticsearch建立辅助索引,实现HBase的二级索引。系统测试结果表明,分钟数据入库平均耗时54.6 s,二级索引完整可靠,数据检索结果返回时效达到毫秒级,能够满足业务应用中对自动站分钟数据存储和检索时效的要求。     

XTRON: An XML data management system using relational databases

Recently, there has been plenty of interest in XML. Since the amount of data in XML format has rapidly increased, the need for effective storage and retrieval of XML data has arisen. Many database researchers and vendors have proposed various techniques and tools for XML data storage and retrieval in recent years. In this paper, we present an XML data management system using a relational database as a repository. Our XML management system stores XML data in a schema independent manner, and translates a comprehensive subset of XQuery expressions into a single SQL statement. Also, our system does not modify the relational engine. In this paper, we also present the experimental results in order to demonstrate the efficiency and scalability of our system compared with well-known XML processing systems.     

基于Neo4j的海量石油领域本体数据存储研究

语义网技术的发展促进了石油领域中多学科本体之间的整合技术的发展。随着数据的规模的增大,传统的基于关系型数据库的数据存储和信息检索等存在较多问题。对此,提出了一个基于Neo4j数据库的领域本体构建过程,专注于改进数据存储和信息检索两个方面。首先,提出了一种基于图形数据库Neo4j的大规模本体数据存储问题的解决方案,通过设计一种基于Neo4j的存储模型配合分布式存储机制,实现存储空间的高效利用。其次,在Neo4j数据模型的基础上,设计了一种两层索引结构的检索算法。实验评估表明, 提出的方法与基于关系数据库的方法相比,在数据存储方面可以节省10％以上的存储空间,在信息检索方面将检索效率提高了30多倍。     

一种基于存储过程的高效空间可视化检索算法

现有的GIS空间数据管理引擎对海量遥感影像数据库的数据管理和空间可视化检索存在效率低下的问题,该文在深入研究海量遥感影像数据库的空间可视化检索特点的基础上,提出了一种基于关系型数据库存储过程实现的高效的海量遥感影像数据库空间可视化检索算法,并对算法进行了多个级男日的性能优化。最后实验结果说明该算法具有高效性、稳定性和普适性。     

Redis缓存技术在自动气象站资料调用中的优化应用

为了提高气象自动站资料的检索查询效率,采用基于内存Key-Value结构的Redis数据库技术,通过搭建Redis数据库集群,把数据缓存在内存中并实现主从复制,提出一种适合气象自动站数据特性的数据存储结构模型,使得高频次访问的气象自动站数据能够直接从内存中读取,有效地减少数据查询响应的时间.本文分析了逐小时自动气象站观测资料的调用情况和到报时间特性,并基于Redis分别从业务库、索引库和时间库对逐小时自动站资料进行存储设计和具体实现,最后通过实验比对,得出采用Redis缓存逐小时自动气象站观测资料的检索效率比直接访问CIMISS检索效率高,该方法也可以应用到其它资料的检索调用业务场景中,具有较好的推广应用价值.     

基于内容的多媒体数据库系统引擎CDB

CDB(Content-based DataBase)是一种基于内容的多媒体数据库引擎，可以嵌入到通用的对象一关系数据库中，使数据库系统综合支持对多媒体数据的常规和基于内容的壹询．本文首先阐述CDB的体系结构，它把信息检索和数据检索结合到数据库中，支持多媒体数据库的基于内容的建立、操纵和维护；然后给出其层次型内容模型，描述多媒体内容的时空结构特征以及信息线索；最后描述用于CDB的基于内容信息检索技术及其设计和实现的用户壹询和操纵接口，包括示例壹询、主观颜色壹询、视频概要和浏览、扩展SQL内容壹询等．     

Chabot: retrieval from a relational database of images

Selecting from a large, expanding collection of images requires carefully chosen search criteria. We present an approach that integrates a relational database retrieval system with a color analysis technique. The Chabot project was initiated at our university to study storage and retrieval of a vast collection of digitized images. These images are from the State of California Department of Water Resources. The goal was to integrate a relational database retrieval system with content analysis techniques that would give our querying system a better method for handling images. Our simple color analysis method, if used in conjunction with other search criteria, improves our ability to retrieve images efficiently. The best result is obtained when text-based search criteria are combined with content-based criteria and when a coarse granularity is used for content analysis     

基于Jena的知识检索系统的优化研究

构建了基于Jena的知识检索系统,系统进行了一定的优化:采用了语义模型持久化存储方法,并使用最新的SPARQL语言,具有一定的先进性。经过实例验证,此检索系统有效地实现了知识的智能检索和推理。     

Emission inventory database management system using microcomputers

An emissions inventory database management system called EMIDBMS has been developed for storage, retrieval, and processing of air pollution emission data for both urban and industrial sources. It is a generalized user-friendly database system developed on a microcomputer using the query language of dBASE III Plus. Moreover, it is a relational interactive database which has been prepared and installed on an IBM PC/AT. The menu-driven option of the software allows the user easy access to the information for retrieval by simply executing the command files in a question/answer session. This could also provide air quality enforcement authorities a system for on-site use.EMIDBMS is comprised of a number of command and database files. The database files are designed to store data on all aspects of emission inventories, while the command files are designed for storage, processing, and retrieval of the various types of information stored in the database files. The emissions inventory data retrieved by EMIDBMS can either be used as input for an air pollution dispersion model installed on a microcomputer or can be transferred to an IBM mainframe for further use.