分布式下MongoDB对激光点云的存储和处理研究

近年来,激光点云数据的应用急剧增加,如何对其进行高效存储和快速处理成为当前的一个重要研究方向。点云数据包含着丰富的地理信息,属于空间数据范畴。传统的关系型数据库对海量空间数据的存储和处理相对薄弱,分布式环境下非关系型数据库的应用为此提供了一个新的研究视角。Sharding技术是数据库水平扩展的一种解决方案,在分布式环境下搭建MongoDB的Sharding集群,通过范围分片和哈希分片对大量激光点云数据进行分布式存储、空间查询和MapReduce运算测试,充分体现了分布式下MongoDB在空间数据的存储和处理方面的巨大优势。     

一种MongoDB集群数据布局优化方法研究

传统关系型数据库在处理大规模数据应用时暴露出许多难以克服的问题,NoSQL以独有的特点在大数据背景下得到广泛应用。选择快递业寄递大数据应用为背景,研究MongoDB分片集群的数据布局优化方法。介绍基于MongoDB分片集群的快递寄递数据离线分析系统。根据快递运单字段特点研究MongoDB片键策略,提出基于分片标签的连续均匀数据条带化数据布局方法。对提出的数据布局方法进行测试,结果表明采用该方法的MongoDB集群数据均匀分布和统计分析性能均达到较高水平,并且通过扩展集群分片数目可以进一步提升系统性能。     

MongoDB数据库在生产环境中的分片策略研究

分片是数据库实现集群的关键技术,MongoDB通过分片切分数据实现负载均衡。本文从MongoDB数据库分片的技术架构入手,探讨生产环境中部署配置服务器、构建副本集和启动路由进程等分片环节的实施策略。     

MongoDB负载均衡算法优化研究

随着Web2.0网络应用的兴起和大数据技术的发展,传统的关系型数据库(ORDBMS)已经难以满足海量数据的存储需求。非关系型数据库(NoSQL)因其高扩展性、高伸缩性、高可用性和容错性等特点,得到了越来越多的应用。作为一种新兴的NoSQL数据库,MongoDB数据库因具有模式自由、易于扩展、故障自动恢复、支持自动分片等特点,被广泛应用于大数据处理与分析中。文中首先介绍了MongoDB自动分片架构原理和实现机制,然后分析了MongoDB自带的负载均衡算法,其虽能使各个节点数据量达到平衡,但没有考虑各个节点的负载均衡。为了解决节点的负载平均问题,在原算法基础上提出了一种基于节点实时负载的负载均衡改进算法,改进算法的主要思想是引入节点负载指数作为chunk块迁移的一个判断条件。通过搭建测试环境并进行实验,验证了改进的负载均衡算法可以有效地均衡分片中的数据,提高集群的并发读写性能,从而证明了算法的有效性。     

数据库系统应用分片中间件

随着国家电网信息化系统一级部署的陆续实施, 业务数据库的表越来越多, 表中的数据量越来越大. 海量数据的存储与访问对数据库造成了相当大的负载, 数据处理能力和访问能力均遭遇瓶颈. 本文针对国家电网一级部署数据量快速增长的特点, 提出了数据分片中间件UAPDS(UAP DB Sharding). UAPDS以集群、分区、分片三层拆分模式, 通过读写分离、单库分表、多库分表等多种解决方案将数据按照一定的规则切分到不同的库或表中, 有效的缓解了对数据库的压力, 提高了数据访问效率, 在实际应用中取得了较好的效果.     

基于FODO算法MongoDB自动分片的改进

随着Web2.0技术的高速发展,云计算中的大规模分布式服务和数据存储技术对传统的关系型数据库带来了巨大的挑战。NoSQL数据库打破了关系型数据的束缚,正在成为人们关注的焦点。NoSQL是一种非关系型数据库管理系统,松散的数据存储机制,不支持多表查询,有高效的查询功能。文中首先介绍了MongoDB数据库自动分片的原理和实现机制,然后为了解决在自动分片中数据负载不均衡,提出了基于数据操作频率的改进算法。这个改进的平衡策略可以有效地均衡分片中的数据,提高集群的并发读写性能。     

基于FODO算法MongoDB自动分片的改进

随着Web2.0技术的高速发展,云计算中的大规模分布式服务和数据存储技术对传统的关系型数据库带来了巨大的挑战.NoSQL数据库打破了关系型数据的束缚,正在成为人们关注的焦点.NoSQL是一种非关系型数据库管理系统,松散的数据存储机制,不支持多表查询,有高效的查询功能.文中首先介绍了MongoDB数据库自动分片的原理和实现机制,然后为了解决在自动分片中数据负载不均衡,提出了基于数据操作频率的改进算法.这个改进的平衡策略可以有效地均衡分片中的数据,提高集群的并发读写性能.     

一种基于MongoDB的企业内容管理系统实现

随着IT技术在企业实际业务中扮演着越来越重要的角色,企业的IT系统中所产生的数据量也越来越大,其中非结构化的数据又占有相当大的比例,传统的利用关系型数据库对非结构化数据的管理在面对海量数据时面临着性能不足的瓶颈.基于此,提出了使用非关系型数据库MongoDB作为后端数据库的内容管理解决方案,利用MongoDB的文档数据库且易于横向扩展的特性来解决基于关系型数据库的内容管理系统的性能瓶颈.     

基于冷热数据的MongoDB自动分片机制

MongoDB数据库中的自动分片(Auto-Sharding)机制仅通过数据量来进行分片迁移,会导致负载不均衡的问题。为此,提出一种基于数据冷热访问特征的Auoto-Sharding优化机制。通过朴素贝叶斯算法对数据的访问特性进行冷热数据判定,将数据分片中热数据的所占比重作为热负载值以确定数据迁移时机,并根据数据片之间的热负载差异建立新的数据迁移策略。实验结果表明,在高并发条件下,该优化机制的数据吞吐量高于原有的AutoShading机制。     

一种基于数据热点的MongoDB负载均衡策略

MongoDB作为一种新兴的NoSQL数据库,以其模式自由、文档式存储、故障自动恢复、良好的水平扩展、自动负载均衡等特点深受国内外市场的青睐.MongoDB自带的负载均衡策略能使各个节点数据量达到平衡.但是在实际的生产环境中,节点之间数据访问热度不同也会导致负载失衡,特别是出现节点过热的情况.针对这一问题,引入Markov随机过程,提出一种基于Markov预测模型的负载均衡策略,根据Markov模型的稳态概率向量预测各个分片的负载并进行数据迁移.通过实验,验证了当各个分片间出现节点过热时,所提出的负载均衡策略能够很好地使分片间的负载达到基于访问热点的均衡.     

MongoDB中数据分页优化技术

针对MongoDB在大数据量情况下,内置的skip操作会变的很慢,数据库的分页查询效率成为影响数据库访问性能提高的重要问题。从分析MongoDB内置的skip-limit分页方法的优点和缺点及影响分页查询速度的关键因素入手,提出一种新的where-limit数据分页方法。通过改变查询文档的规则及使用合理的索引来提高分页效率。实验结果证实,优化后的查询方法在实现分页显示的操作中速度有明显的提高。     

RFID与MongoDB融合的分布式云仓储管理系统

利用非关系型数据库具有数据存储不需要固定表结构、不存在连接操作的特性,建立起来的非关系型分布式云存储数据管理,具有比关系型数据库存储管理更好的性能优势。通过基于MongoDB建立的分布式云存储架构,结合底层的Angular和RFID技术,设计实现一种分布式云存储智能仓储管理系统,以解决现代商品仓储管理存在的数据规模大、异地数据不同步、数据共享度低、管理成本高等问题。针对MongoDB为了加速对查询或修改过的数据访问速度而采取记忆并缓存至本地的策略,以及对某节点数据的高密度访问可能造成数据拥堵的问题,设计了基于数据操作频率统计技术的节点均衡访问算法,并对算法的均衡关系参数进行优化验证。系统包括商品的进出库管理、查询统计等基本功能,可应用于数量、地域不断扩大的分散型仓储智能管理。     

传统RDBMS向非关系型MongoDB数据模型转换与数据迁移方法研究

为解决关系型数据库在大数据处理中遇到的瓶颈问题,满足企业对大数据处理的需求,提出将关系型数据库迁移到NoSQL文档型数据库中。针对RDBMS中的关系模型向MongoDB中的集合模型转化方法进行了研究,提出了表示关系间参照完整性的有向图表示模型,和基于关系型数据模型向MongoDB文档模型自动转化算法;实现了RDBMS中迁移数据到MongoDB的插入算法。针对上述方案和算法,结合典型开源RDBMS--MySQL实例,对上述关系有向图模型的生成、基于有向图模型的转化算法以及数据迁移算法应用验证。实验结果表明RDBMS可以按照一定的数据结构平滑地迁移到MongoDB中。     

支持MongoDB的事务管理方案研究

MongoDB作为一个基于分布式文件存储的数据库,强大的单表查询语言,以及可扩展的高性能数据存储受很用户喜爱,但其没有对事务的完全支持,使得用户对MongoDB的使用处于被动状态.为改善MongoDB对事务管理方面的兼容性,提出一种支持MongoDB事务管理,完善MongoDB功能的方案.利用MQ与守护进程间的消息通信,使守护进程对事务提交或者回滚后的脏数据进行清理,保证了MongoDB在事务管理方面的可用性与安全性.     

基于Spring Boot和MongoDB 的数据持久化框架研究

随着Spring Boot 和MongoDB 技术的进一步完善和发展,采用该解决方案的企业如同雨后春笋般不断涌现。 但是Spring Boot 整合MongoDB 数据库的时候却遇到了一些问题,例如没有完整的数据持久化解决方案。然而回顾传统关系 型数据库却有Hibernate 完成该工作。本文首先介绍了Spring Boot 和MongoDB 的原理及其技术背景,具体地分析了该解决方 案存在的问题。本文的主要工作是设计并实现基于该解决方案JPA 方式的数据持久化框架MDBC。例如MDBC 增加完善了 聚合函数;提供了处理事务和保证数据一致性的工具;提供了容灾备份的工具等等。     

基于MongoDB数据库的智能医疗分布式数据提取算法

智能医疗分布式数据提取受到数据节点数目的 影响,为了提高智能医疗分布式数据提取算法的性能,提出了基于MongoDB数据库的智能医疗分布式数据提取算法.在引入MongoDB数据库集群结构的基础上,构建了分布式数据的自定义词库,同时提取出分布式数据的标本名,完成了智能医疗分布式数据的预处理;利用建立分布式数据动态簇的步骤,...     

使用文档型数据库MongoDB深度挖掘天气现象数据内在价值

针对天气现象这种非结构化、模式不固定的数据资料,提出了利用文档型数据库系统来存储、查询天气现象数据资料的方案,以期达到深度挖掘利用该资料的目的。本文先分析天气现象数据利用现状、介绍文档型数据库MongoDB的特点,然后通过具体实例来介绍如何存储、检索天气现象数据,并提供了几种数据使用情况的检索方案。     

基于MongoDB的分布式缓存

电力信息化的发展对传统电力信息系统的数据处理、并发请求及响应能力提出诸多挑战.针对电力信息系统数据处理的特点,提出一种基于MongoDB数据库的分布式缓存,并对该分布式缓存的运行机制、服务端架构和客户端功能模块的设计进行了分析与阐述.基于MongoDB的分布式缓存能够有效地降低电力信息系统数据库层的访问负载量,提高系统的整体性能,它采用分布式文件存储缓存数据,支持数据冗余备份和故障恢复功能,具有较高的可靠性和扩展性.基于MongoDB的分布式缓存已成功应用到电力某企业的项目管理系统中.     

基于消息中间件及MongoDB的物联网应用服务平台

物联网正广泛应用于各行各业.将现实世界参数化并结合感知设备、网络通信技术、数据技术等诸多手段实现物联网数据对于用户的直接可用便是物联网技术的中心思想.本文依托于智能燃气数据管理系统,针对其物联网平台架构中应用服务平台在大规模设备接入场景下的性能瓶颈,提出一种结合消息中间件Kafka与NoSQL数据库MongoDB的混合方案.根据燃气公司和设备厂商的应用背景实现该方案,完成应用服务平台并发性能和数据持久化效率的提高.