MongoDB数据库中Sharding技术应用研究

非关系型数据库的出现,对于解决面向文档的超大规模和高并发的问题提供了卓有成效的解决方案。MongoDB为了提高处理大数据量的性能,提供了分片集群的功能,支持自动分片和划分架构,可以利用它构建一个水平扩展的数据库集群系统,将数据库分表存储在各个Sharding节点上。文中在研究MongoDB特性的基础上,着重分析Sharding技术的应用,通过比较普通和分片这两种情况下的性能测试,提出使用MongoDB中的Sharding技术来解决随着数据量增加带来的数据库的读写性能和效率的问题。     

一种MongoDB集群数据布局优化方法研究

传统关系型数据库在处理大规模数据应用时暴露出许多难以克服的问题,NoSQL以独有的特点在大数据背景下得到广泛应用。选择快递业寄递大数据应用为背景,研究MongoDB分片集群的数据布局优化方法。介绍基于MongoDB分片集群的快递寄递数据离线分析系统。根据快递运单字段特点研究MongoDB片键策略,提出基于分片标签的连续均匀数据条带化数据布局方法。对提出的数据布局方法进行测试,结果表明采用该方法的MongoDB集群数据均匀分布和统计分析性能均达到较高水平,并且通过扩展集群分片数目可以进一步提升系统性能。     

MongoDB负载均衡算法优化研究

随着Web2.0网络应用的兴起和大数据技术的发展,传统的关系型数据库(ORDBMS)已经难以满足海量数据的存储需求。非关系型数据库(NoSQL)因其高扩展性、高伸缩性、高可用性和容错性等特点,得到了越来越多的应用。作为一种新兴的NoSQL数据库,MongoDB数据库因具有模式自由、易于扩展、故障自动恢复、支持自动分片等特点,被广泛应用于大数据处理与分析中。文中首先介绍了MongoDB自动分片架构原理和实现机制,然后分析了MongoDB自带的负载均衡算法,其虽能使各个节点数据量达到平衡,但没有考虑各个节点的负载均衡。为了解决节点的负载平均问题,在原算法基础上提出了一种基于节点实时负载的负载均衡改进算法,改进算法的主要思想是引入节点负载指数作为chunk块迁移的一个判断条件。通过搭建测试环境并进行实验,验证了改进的负载均衡算法可以有效地均衡分片中的数据,提高集群的并发读写性能,从而证明了算法的有效性。     

基于FODO算法MongoDB自动分片的改进

随着Web2.0技术的高速发展,云计算中的大规模分布式服务和数据存储技术对传统的关系型数据库带来了巨大的挑战。NoSQL数据库打破了关系型数据的束缚,正在成为人们关注的焦点。NoSQL是一种非关系型数据库管理系统,松散的数据存储机制,不支持多表查询,有高效的查询功能。文中首先介绍了MongoDB数据库自动分片的原理和实现机制,然后为了解决在自动分片中数据负载不均衡,提出了基于数据操作频率的改进算法。这个改进的平衡策略可以有效地均衡分片中的数据,提高集群的并发读写性能。     

基于FODO算法MongoDB自动分片的改进

随着Web2.0技术的高速发展,云计算中的大规模分布式服务和数据存储技术对传统的关系型数据库带来了巨大的挑战.NoSQL数据库打破了关系型数据的束缚,正在成为人们关注的焦点.NoSQL是一种非关系型数据库管理系统,松散的数据存储机制,不支持多表查询,有高效的查询功能.文中首先介绍了MongoDB数据库自动分片的原理和实现机制,然后为了解决在自动分片中数据负载不均衡,提出了基于数据操作频率的改进算法.这个改进的平衡策略可以有效地均衡分片中的数据,提高集群的并发读写性能.     

分布式下MongoDB对激光点云的存储和处理研究

近年来,激光点云数据的应用急剧增加,如何对其进行高效存储和快速处理成为当前的一个重要研究方向。点云数据包含着丰富的地理信息,属于空间数据范畴。传统的关系型数据库对海量空间数据的存储和处理相对薄弱,分布式环境下非关系型数据库的应用为此提供了一个新的研究视角。Sharding技术是数据库水平扩展的一种解决方案,在分布式环境下搭建MongoDB的Sharding集群,通过范围分片和哈希分片对大量激光点云数据进行分布式存储、空间查询和MapReduce运算测试,充分体现了分布式下MongoDB在空间数据的存储和处理方面的巨大优势。     

一种高效的Flink与MongoDB连接中间件的研究与实现

为了提高大数据处理平台Flink与MongoDB之间的读写速率,提出并实现了一种高效的Flink与MongoDB连接中间件。基于Flink的并行化思想,通过对数据进行逻辑分片,调用Mongo-Java包中的接口实现并行化将数据读取和写入。以不同规模的水文传感器数据集作为实验数据,实验了在Java单线程操作、Hadoop与MongoDB连接器和提出的Flink与MongoDB连接中间件三种连接方式下数据的读写速度。结果表明,Flink并行读写数据效率较于单线程提高了1.5倍,验证了该连接中间件可以有效地提高对海量数据的读写速率。     

一种基于数据热点的MongoDB负载均衡策略

MongoDB作为一种新兴的NoSQL数据库,以其模式自由、文档式存储、故障自动恢复、良好的水平扩展、自动负载均衡等特点深受国内外市场的青睐.MongoDB自带的负载均衡策略能使各个节点数据量达到平衡.但是在实际的生产环境中,节点之间数据访问热度不同也会导致负载失衡,特别是出现节点过热的情况.针对这一问题,引入Markov随机过程,提出一种基于Markov预测模型的负载均衡策略,根据Markov模型的稳态概率向量预测各个分片的负载并进行数据迁移.通过实验,验证了当各个分片间出现节点过热时,所提出的负载均衡策略能够很好地使分片间的负载达到基于访问热点的均衡.     

基于冷热数据的MongoDB自动分片机制

MongoDB数据库中的自动分片(Auto-Sharding)机制仅通过数据量来进行分片迁移,会导致负载不均衡的问题。为此,提出一种基于数据冷热访问特征的Auoto-Sharding优化机制。通过朴素贝叶斯算法对数据的访问特性进行冷热数据判定,将数据分片中热数据的所占比重作为热负载值以确定数据迁移时机,并根据数据片之间的热负载差异建立新的数据迁移策略。实验结果表明,在高并发条件下,该优化机制的数据吞吐量高于原有的AutoShading机制。     

基于云平台NoSQL的海量天文图像存储研究

云计算所提出的全新计算和存储思想,对海量数据的存储解决方案以及快速访问有效数据资源提供了参考。以云存储平台NoSQL数据库为背景,研究海量天文数据的存储和访问技术。首先构建了基于MongoDB平台的天文图像FITS文件存储原型,在此基础上设计并分析存储实验。实验结果表明,数据分片存储以及选择最佳的分片大小能有效提高天文数据的存储和访问效率。     

传统RDBMS向非关系型MongoDB数据模型转换与数据迁移方法研究

为解决关系型数据库在大数据处理中遇到的瓶颈问题,满足企业对大数据处理的需求,提出将关系型数据库迁移到NoSQL文档型数据库中。针对RDBMS中的关系模型向MongoDB中的集合模型转化方法进行了研究,提出了表示关系间参照完整性的有向图表示模型,和基于关系型数据模型向MongoDB文档模型自动转化算法;实现了RDBMS中迁移数据到MongoDB的插入算法。针对上述方案和算法,结合典型开源RDBMS--MySQL实例,对上述关系有向图模型的生成、基于有向图模型的转化算法以及数据迁移算法应用验证。实验结果表明RDBMS可以按照一定的数据结构平滑地迁移到MongoDB中。     

基于Redis+MySQL+MongoDB存储架构应用

Redis+MySQL+MongoDB技术架构实现了本项目中大数据存储和实时云计算的需求。使用MongoDB切片的水平动态添加,可在不中断平台业务系统的同时保障扩容后的查询速度和云计算效能;依据切片键索引分片,位于各切片独立进行计算,使大数据下的实时分析成为现实。对于高频访问的数据放在了Redis中,有效地降低磁盘I/O,使业务系统响应更为敏捷,满足了高并发下应用服务的高呑吐要求。     

新工具

MongoDB2．2发布 MongoDB是高性能开源文档数据库，也是目前最受关注的NoSQL技术之一，以敏捷、可扩展和对企业应用友好而著称。有人甚至认为LAMP中的M应该用MongoDB取代MySQL,     

SaaS数据层的多租户设计模式研究

多租户(Multi-Tenancy)是SaaS中的一项关键内容,其目标是在扩大经济规模的同时降低租赁的总成本。由于越来越多的企业开始采取SaaS的运营模式,现有的数据层解决方案的定制性和时间性能已经不能满足多租户的要求,因此迫切需要一种更好的解决方案来实现数据层。MongoDB是一种NoSql数据库,它的文档式和非关系型的特点使其相比其他数据库具有更好的定制性和时间性能。研究采用MongoDB解决SaaS数据层的多租户问题,在该种数据库上进行多租户设计模式研究,并通过与关系型数据库的对比实验证明其时间性能的优越性。实验显示,MongoDB对于简单查询和插入具有较强的优势,更能满足多租户的定制性和时间性能的要求。     

支持MongoDB的事务管理方案研究

MongoDB作为一个基于分布式文件存储的数据库,强大的单表查询语言,以及可扩展的高性能数据存储受很用户喜爱,但其没有对事务的完全支持,使得用户对MongoDB的使用处于被动状态.为改善MongoDB对事务管理方面的兼容性,提出一种支持MongoDB事务管理,完善MongoDB功能的方案.利用MQ与守护进程间的消息通信,使守护进程对事务提交或者回滚后的脏数据进行清理,保证了MongoDB在事务管理方面的可用性与安全性.     

基于Spring Boot和MongoDB 的数据持久化框架研究

随着Spring Boot 和MongoDB 技术的进一步完善和发展,采用该解决方案的企业如同雨后春笋般不断涌现。 但是Spring Boot 整合MongoDB 数据库的时候却遇到了一些问题,例如没有完整的数据持久化解决方案。然而回顾传统关系 型数据库却有Hibernate 完成该工作。本文首先介绍了Spring Boot 和MongoDB 的原理及其技术背景,具体地分析了该解决方 案存在的问题。本文的主要工作是设计并实现基于该解决方案JPA 方式的数据持久化框架MDBC。例如MDBC 增加完善了 聚合函数;提供了处理事务和保证数据一致性的工具;提供了容灾备份的工具等等。     

面向电子政务的MongoDB与MySQL混合存储策略

针对传统电子政务平台所采用的关系型数据库在存储非结构化数据时的缺陷,利用MongoDB存储海量非结构化数据的优势,提出MongoDB与MySQL混合存储的策略。MongoDB负责存储图片、视频等非结构化数据,MySQL负责存储用户注册信息、工资表等结构化数据。二者协同提供政务数据的云存储服务和查询操作,从而降低MySQL数据库服务器的负载,节约MySQL的存储空间,增强电子政务后台数据库的扩展性。实验结果表明,该混合策略能大大提高电子政务平台的查询效率。     

虚拟现实环境下的分布式服务器架构策略研究

虚拟现实环境下,数据实时性和系统稳定性的高要求对服务器架构的设计和优化提出了新的挑战。针对虚拟现实环境下海量数据存储效率的提升和系统性能的优化,提出了一种新的分布式服务器架构,该架构基于分布式协调框架ZooKeeper、分布式缓存架构Redis以及MongoDB分片机制,并改进一致性Hash算法来优化Redis缓存架构,同时优化MongoDB分片的负载均衡机制。经过相应的仿真验证,该架构在虚拟现实环境下具有有效性。     

MongoDB中数据分页优化技术

针对MongoDB在大数据量情况下,内置的skip操作会变的很慢,数据库的分页查询效率成为影响数据库访问性能提高的重要问题。从分析MongoDB内置的skip-limit分页方法的优点和缺点及影响分页查询速度的关键因素入手,提出一种新的where-limit数据分页方法。通过改变查询文档的规则及使用合理的索引来提高分页效率。实验结果证实,优化后的查询方法在实现分页显示的操作中速度有明显的提高。     

一种基于MongoDB的企业内容管理系统实现

随着IT技术在企业实际业务中扮演着越来越重要的角色,企业的IT系统中所产生的数据量也越来越大,其中非结构化的数据又占有相当大的比例,传统的利用关系型数据库对非结构化数据的管理在面对海量数据时面临着性能不足的瓶颈.基于此,提出了使用非关系型数据库MongoDB作为后端数据库的内容管理解决方案,利用MongoDB的文档数据库且易于横向扩展的特性来解决基于关系型数据库的内容管理系统的性能瓶颈.