一种基于MongoDB的企业内容管理系统实现

随着IT技术在企业实际业务中扮演着越来越重要的角色,企业的IT系统中所产生的数据量也越来越大,其中非结构化的数据又占有相当大的比例,传统的利用关系型数据库对非结构化数据的管理在面对海量数据时面临着性能不足的瓶颈.基于此,提出了使用非关系型数据库MongoDB作为后端数据库的内容管理解决方案,利用MongoDB的文档数据库且易于横向扩展的特性来解决基于关系型数据库的内容管理系统的性能瓶颈.     

基于FODO算法MongoDB自动分片的改进

随着Web2.0技术的高速发展,云计算中的大规模分布式服务和数据存储技术对传统的关系型数据库带来了巨大的挑战.NoSQL数据库打破了关系型数据的束缚,正在成为人们关注的焦点.NoSQL是一种非关系型数据库管理系统,松散的数据存储机制,不支持多表查询,有高效的查询功能.文中首先介绍了MongoDB数据库自动分片的原理和实现机制,然后为了解决在自动分片中数据负载不均衡,提出了基于数据操作频率的改进算法.这个改进的平衡策略可以有效地均衡分片中的数据,提高集群的并发读写性能.     

基于FODO算法MongoDB自动分片的改进

随着Web2.0技术的高速发展,云计算中的大规模分布式服务和数据存储技术对传统的关系型数据库带来了巨大的挑战。NoSQL数据库打破了关系型数据的束缚,正在成为人们关注的焦点。NoSQL是一种非关系型数据库管理系统,松散的数据存储机制,不支持多表查询,有高效的查询功能。文中首先介绍了MongoDB数据库自动分片的原理和实现机制,然后为了解决在自动分片中数据负载不均衡,提出了基于数据操作频率的改进算法。这个改进的平衡策略可以有效地均衡分片中的数据,提高集群的并发读写性能。     

满足油田自动采集的MongoDB数据库负载均衡算法研究

重点介绍了在油田生产现场对实时数据高效传输的需求下,通过部署MongoDB数据库环境,优化负载均衡算法,有效地解决了生产实时数据库数据资源交互响应不足的问题,实现了一个可以在海量数据情况下,可以高效运行的数据管理技术设施,为油田由数字化向智能化、智慧化转型提供支撑.     

开源数据库Sharding技术

Sharding是一项仍处于高速发展中的＂老＂技术,随着Web 2.0的发展,Sahrding逐渐从比较＂虚＂的概念变成比较＂实＂的运用思路,本文介绍了这方面新的发展和思想。     

MongoDB在呼叫中心系统中的应用

MongoDB是一个可扩展,高性能,无模式,基于文档存储的非关系型数据管理系统。它的面向文档存储的特点使得MongoDB可以支持松散结构数据的存储;弱一致性特点使得MongoDB可以保证更快速的用户访问速度;高性能特点使得MongoDB可以更好的支持大数据量的处理。呼叫中心的不断发展对数据存储系统提出了新要求:大数据量+松散数据结构+高访问速度,因此引入非关系数据库MongoDB作为呼叫中心部分应用数据的存储系统十分合适。本文首先对MongoDB进行了简要介绍,然后详细展示了MongoDB的实施部署方法,最后给出了MongoDB在呼叫中心系统中应用的一个设计思想。     

分布式数据库课程知识体系扩展探索（英文）

分布式数据库是软件工程专业研究生课程中的重要组成部分。本课程现有的部分教学内容及教学模式因与工业界发展速度不匹配,存在部分知识陈旧、教学模式落后等一系列问题。文章在总结已有讲授方式与数据库领域发展趋势的基础之上,选择以Mongo DB为案例,向学生补充非关系型数据库的相关知识。通过课堂匿名调查显示,课上所补充的知识激发了众多学生的学习兴趣并受到了认可。     

面向电子政务的MongoDB与MySQL混合存储策略

针对传统电子政务平台所采用的关系型数据库在存储非结构化数据时的缺陷,利用MongoDB存储海量非结构化数据的优势,提出MongoDB与MySQL混合存储的策略。MongoDB负责存储图片、视频等非结构化数据,MySQL负责存储用户注册信息、工资表等结构化数据。二者协同提供政务数据的云存储服务和查询操作,从而降低MySQL数据库服务器的负载,节约MySQL的存储空间,增强电子政务后台数据库的扩展性。实验结果表明,该混合策略能大大提高电子政务平台的查询效率。     

分布式下MongoDB对激光点云的存储和处理研究

近年来,激光点云数据的应用急剧增加,如何对其进行高效存储和快速处理成为当前的一个重要研究方向。点云数据包含着丰富的地理信息,属于空间数据范畴。传统的关系型数据库对海量空间数据的存储和处理相对薄弱,分布式环境下非关系型数据库的应用为此提供了一个新的研究视角。Sharding技术是数据库水平扩展的一种解决方案,在分布式环境下搭建MongoDB的Sharding集群,通过范围分片和哈希分片对大量激光点云数据进行分布式存储、空间查询和MapReduce运算测试,充分体现了分布式下MongoDB在空间数据的存储和处理方面的巨大优势。     

MongoDB分页技术改进与优化

随着数据量的不断增加,使用MongoDB数据库内置的skip和limit组合分页算法效率低下,成为影响数据库访问性能提升的重要问题。从分析影响分页查询速度的关键因素入手,提出细粒度查询改进算法和where-limit算法。通过理论推导和与原算法的实验结果的比较,分析了两种新算法使用场景和优缺点。将两种算法应用于实际Web2.0日志系统应用中,取得了较好的效果。最后,对影响数据分页的其它因素进行了探讨,以更好的提高Web应用性能。     

基于MongoDB和Spark的计量大数据处理技术方案及应用

在计量机构的信息系统中,需要存储大量证书报告、原始记录,如果直接存放于文件系统中,易出现扩容麻烦、碎片化、利用率低和I/0速度瓶颈等问题。日常使用中,经常查询各种业务数据统计,如果实时运算统计结果,易出现运算时间长的问题。为了解决这些问题,将证书报告、原始记录存入分布式MongoDB数据库,这样可以轻松存储海量数据。定时运行Spark作业,计算并缓存各种统计结果,用户查询时直接从MongoDB返回结果。测试发现:在并发数达到100时,存储速度是334 ms/份;在预先缓存结果后,能在1 s内响应客户请求。因此,基于MongoDB和Spark的大数据技术能满足计量机构的数据存储、运算需求。     

MongoDB在城市排水中的应用研究

In the construction of urban drainage information platform, the amount of rainfall data and water point data is huge. At the same time, it is necessary to combine multimedia data to monitor the drainage points. Based on this, the author takes advantage of MongoDB and the GridFS multimedia module to propose a solution to the storage and management of large amounts of data and multimedia data generated by drainage facilities.     

RFID与MongoDB融合的分布式云仓储管理系统

利用非关系型数据库具有数据存储不需要固定表结构、不存在连接操作的特性,建立起来的非关系型分布式云存储数据管理,具有比关系型数据库存储管理更好的性能优势。通过基于MongoDB建立的分布式云存储架构,结合底层的Angular和RFID技术,设计实现一种分布式云存储智能仓储管理系统,以解决现代商品仓储管理存在的数据规模大、异地数据不同步、数据共享度低、管理成本高等问题。针对MongoDB为了加速对查询或修改过的数据访问速度而采取记忆并缓存至本地的策略,以及对某节点数据的高密度访问可能造成数据拥堵的问题,设计了基于数据操作频率统计技术的节点均衡访问算法,并对算法的均衡关系参数进行优化验证。系统包括商品的进出库管理、查询统计等基本功能,可应用于数量、地域不断扩大的分散型仓储智能管理。     

基于MongoDB数据库的智能医疗分布式数据提取算法

智能医疗分布式数据提取受到数据节点数目的 影响,为了提高智能医疗分布式数据提取算法的性能,提出了基于MongoDB数据库的智能医疗分布式数据提取算法.在引入MongoDB数据库集群结构的基础上,构建了分布式数据的自定义词库,同时提取出分布式数据的标本名,完成了智能医疗分布式数据的预处理;利用建立分布式数据动态簇的步骤,...     

传统RDBMS向非关系型MongoDB数据模型转换与数据迁移方法研究

为解决关系型数据库在大数据处理中遇到的瓶颈问题,满足企业对大数据处理的需求,提出将关系型数据库迁移到NoSQL文档型数据库中。针对RDBMS中的关系模型向MongoDB中的集合模型转化方法进行了研究,提出了表示关系间参照完整性的有向图表示模型,和基于关系型数据模型向MongoDB文档模型自动转化算法;实现了RDBMS中迁移数据到MongoDB的插入算法。针对上述方案和算法,结合典型开源RDBMS--MySQL实例,对上述关系有向图模型的生成、基于有向图模型的转化算法以及数据迁移算法应用验证。实验结果表明RDBMS可以按照一定的数据结构平滑地迁移到MongoDB中。     

基于Spring Boot和MongoDB 的数据持久化框架研究

随着Spring Boot 和MongoDB 技术的进一步完善和发展,采用该解决方案的企业如同雨后春笋般不断涌现。 但是Spring Boot 整合MongoDB 数据库的时候却遇到了一些问题,例如没有完整的数据持久化解决方案。然而回顾传统关系 型数据库却有Hibernate 完成该工作。本文首先介绍了Spring Boot 和MongoDB 的原理及其技术背景,具体地分析了该解决方 案存在的问题。本文的主要工作是设计并实现基于该解决方案JPA 方式的数据持久化框架MDBC。例如MDBC 增加完善了 聚合函数;提供了处理事务和保证数据一致性的工具;提供了容灾备份的工具等等。     

MongoDB负载均衡算法优化研究

随着Web2.0网络应用的兴起和大数据技术的发展,传统的关系型数据库(ORDBMS)已经难以满足海量数据的存储需求。非关系型数据库(NoSQL)因其高扩展性、高伸缩性、高可用性和容错性等特点,得到了越来越多的应用。作为一种新兴的NoSQL数据库,MongoDB数据库因具有模式自由、易于扩展、故障自动恢复、支持自动分片等特点,被广泛应用于大数据处理与分析中。文中首先介绍了MongoDB自动分片架构原理和实现机制,然后分析了MongoDB自带的负载均衡算法,其虽能使各个节点数据量达到平衡,但没有考虑各个节点的负载均衡。为了解决节点的负载平均问题,在原算法基础上提出了一种基于节点实时负载的负载均衡改进算法,改进算法的主要思想是引入节点负载指数作为chunk块迁移的一个判断条件。通过搭建测试环境并进行实验,验证了改进的负载均衡算法可以有效地均衡分片中的数据,提高集群的并发读写性能,从而证明了算法的有效性。     

使用文档型数据库MongoDB深度挖掘天气现象数据内在价值

针对天气现象这种非结构化、模式不固定的数据资料,提出了利用文档型数据库系统来存储、查询天气现象数据资料的方案,以期达到深度挖掘利用该资料的目的。本文先分析天气现象数据利用现状、介绍文档型数据库MongoDB的特点,然后通过具体实例来介绍如何存储、检索天气现象数据,并提供了几种数据使用情况的检索方案。     

MongoDB中数据分页优化技术

针对MongoDB在大数据量情况下,内置的skip操作会变的很慢,数据库的分页查询效率成为影响数据库访问性能提高的重要问题。从分析MongoDB内置的skip-limit分页方法的优点和缺点及影响分页查询速度的关键因素入手,提出一种新的where-limit数据分页方法。通过改变查询文档的规则及使用合理的索引来提高分页效率。实验结果证实,优化后的查询方法在实现分页显示的操作中速度有明显的提高。