基于MongoDB的分布式缓存

电力信息化的发展对传统电力信息系统的数据处理、并发请求及响应能力提出诸多挑战.针对电力信息系统数据处理的特点,提出一种基于MongoDB数据库的分布式缓存,并对该分布式缓存的运行机制、服务端架构和客户端功能模块的设计进行了分析与阐述.基于MongoDB的分布式缓存能够有效地降低电力信息系统数据库层的访问负载量,提高系统的整体性能,它采用分布式文件存储缓存数据,支持数据冗余备份和故障恢复功能,具有较高的可靠性和扩展性.基于MongoDB的分布式缓存已成功应用到电力某企业的项目管理系统中.     

MongoDB分布式存储技术在雷达侦察中的应用

传统的数据文件记录方式,维护的数据量有限且容易造成内容描述的缺失,已无法满足雷达侦察装备需求.在此提出了一种基于业界开源的分布式非关系型数据库技术的本地化应用方法,实现快速流水的信号级脉冲数据、突发大流量中频数据、实时的目标辐射源数据、健康管理日志数据等各类数据的数据库管理,提供了实时存储和快速查询统计等功能.试验结果表明,该方法可以有效提升大规模雷达侦察数据的存储、管理和使用效率.     

分布式多空间数据库复杂时态数据提取技术

由于时态数据的处理过程中存在数据片面性的问题,加之其历史复杂性,如果依然采用传统的方法不能对时态数据予以完全描述,而相似性训练算法也无法对动态复杂的时态数据予以准确匹配,导致提取效果不佳,所提取的数据存在误差.由于这种提取方法精确度不高,就需要采用新的方式,分布式多空间数据库复杂时态数据提取技术可以获得良好的效果.健康...     

满足油田自动采集的MongoDB数据库负载均衡算法研究

重点介绍了在油田生产现场对实时数据高效传输的需求下,通过部署MongoDB数据库环境,优化负载均衡算法,有效地解决了生产实时数据库数据资源交互响应不足的问题,实现了一个可以在海量数据情况下,可以高效运行的数据管理技术设施,为油田由数字化向智能化、智慧化转型提供支撑.     

电网图形数据管理MongoDB数据库的应用

国家电网公司正推进资产全寿命周期管理体系建设,电网GIS图形作为电网的信息化表征,为了实现电网异动信息的全过程管理,通过电网图形多时态多级管理机制,同时引入MongoDB非关系型数据库,提升了数据读写效率,最终满足电网各业务部门海量数据信息化应用的性能需求.     

基于MongoDB的气象数据存储检索系统#br#

近年来气象数据呈现多源化和爆炸式增长的态势,传统的关系型数据库已不能满足气象数据发展的需求。结合气象数据的地理空间特点,提出一种基于MongoDB的气象数据存储检索系统。本系统对气象数据建立空间索引,加快了气象数据的查询效率,为精细化、格点化预报提供了有力的支撑。实验结果表明,对于海量的气象数据,MongoDB具有强大的存储和检索能力,各个方面的性能明显优于关系型数据库。     

云计算数据库中集成化数据智能挖掘算法研究

为实现高效、快速、准确的信息挖掘,笔者设计了一种云计算数据库中集成化数据智能挖掘算法,通过研究基于MapReduce的云计算平台集成化数据智能挖掘技术,对yarn云计算的智能挖掘算法架构进行划分,完成对集成化数据的映射归约,利用HDFS编程构建模型。实验结果表明:运用MapReduce的云计算可以更高效、精准地完成集成化数据智能挖掘。     

面向智能交通系统的大数据分布式存储算法

针对智能交通系统中的大数据分布式存储过程中分布均衡度较低、安全性差等问题,提出面向智能交通系统的大数据分布式存储算法.利用云存储架构构建大数据分布式存储模型及三层数据存储层次,通过上层的数据高度访问、中层数据连接以及下层的数据归档,依据设定的已知数据粒度、机率以及弹性,计算数据存储强度以及层次,实现大数据存储.通过超混...     

使用文档型数据库MongoDB深度挖掘天气现象数据内在价值

针对天气现象这种非结构化、模式不固定的数据资料,提出了利用文档型数据库系统来存储、查询天气现象数据资料的方案,以期达到深度挖掘利用该资料的目的。本文先分析天气现象数据利用现状、介绍文档型数据库MongoDB的特点,然后通过具体实例来介绍如何存储、检索天气现象数据,并提供了几种数据使用情况的检索方案。     

基于Spring Boot和MongoDB 的数据持久化框架研究

随着Spring Boot 和MongoDB 技术的进一步完善和发展,采用该解决方案的企业如同雨后春笋般不断涌现。 但是Spring Boot 整合MongoDB 数据库的时候却遇到了一些问题,例如没有完整的数据持久化解决方案。然而回顾传统关系 型数据库却有Hibernate 完成该工作。本文首先介绍了Spring Boot 和MongoDB 的原理及其技术背景,具体地分析了该解决方 案存在的问题。本文的主要工作是设计并实现基于该解决方案JPA 方式的数据持久化框架MDBC。例如MDBC 增加完善了 聚合函数;提供了处理事务和保证数据一致性的工具;提供了容灾备份的工具等等。     

基于全局目录的分布式数据库数据一致性算法

针对分布式数据库中数据的分布性、事务执行的分布性和一些不可预测的软件错误和硬件故障等原因导致的数据不一致性问题,指出解决这些问题尚存在的困难,分析了消息队列法、事务控制法、复制控制法等分布式数据库中维护数据一致性的三种主要方法的缺点。在全局目录和分布式两阶段提交协议的基础上,提出了基于全局目录的分布式数据库数据一致性控制算法。该算法增强了分布式数据库中数据的一致性,节省了网络带宽,也提高了事务处理能力。     

多源异构数据整合在信用系统中的应用研究

随着诚信建设进一步推广,信用系统建设越显重要。从分布异构数据库中提取有用数据以及数据整合,是信用系统的核心技术。文中介绍了分布异构数据库的特征和连接技术,以及数据交换技术。采用了TUXEDO/Q消息传递机制和SAX文档解析标准,使信用数据可靠传输和异构数据库得以无缝连接,实现了分布异构数据源系统的信用数据整合共享。得出了一种基于XML和TUXEDO的异构信用数据有效整合的方法。     

RFID与MongoDB融合的分布式云仓储管理系统

利用非关系型数据库具有数据存储不需要固定表结构、不存在连接操作的特性,建立起来的非关系型分布式云存储数据管理,具有比关系型数据库存储管理更好的性能优势。通过基于MongoDB建立的分布式云存储架构,结合底层的Angular和RFID技术,设计实现一种分布式云存储智能仓储管理系统,以解决现代商品仓储管理存在的数据规模大、异地数据不同步、数据共享度低、管理成本高等问题。针对MongoDB为了加速对查询或修改过的数据访问速度而采取记忆并缓存至本地的策略,以及对某节点数据的高密度访问可能造成数据拥堵的问题,设计了基于数据操作频率统计技术的节点均衡访问算法,并对算法的均衡关系参数进行优化验证。系统包括商品的进出库管理、查询统计等基本功能,可应用于数量、地域不断扩大的分散型仓储智能管理。     

基于智能数据库模式的数据处理

智能化是数据库运行的必然趋势,智能办公过程要充分发挥智能模式的功能作用。本文总结了数据库实际应用功能,分析智能数据库建设的特点,提出数据库智能处理操作的流程方案。     

分布式数据库系统数据复制技术的研究

数据复制是分布式数据库系统中一项非常重要的技术,它提高了分布式数据库的容灾能力,降低了事务的响应时间。该文对数据复制技术进行了详细的研究,并介绍了数据复制在Oracle数据库中的应用。     

一种基于数据热点的MongoDB负载均衡策略

MongoDB作为一种新兴的NoSQL数据库,以其模式自由、文档式存储、故障自动恢复、良好的水平扩展、自动负载均衡等特点深受国内外市场的青睐.MongoDB自带的负载均衡策略能使各个节点数据量达到平衡.但是在实际的生产环境中,节点之间数据访问热度不同也会导致负载失衡,特别是出现节点过热的情况.针对这一问题,引入Markov随机过程,提出一种基于Markov预测模型的负载均衡策略,根据Markov模型的稳态概率向量预测各个分片的负载并进行数据迁移.通过实验,验证了当各个分片间出现节点过热时,所提出的负载均衡策略能够很好地使分片间的负载达到基于访问热点的均衡.