MongoDB在呼叫中心系统中的应用

MongoDB是一个可扩展,高性能,无模式,基于文档存储的非关系型数据管理系统。它的面向文档存储的特点使得MongoDB可以支持松散结构数据的存储;弱一致性特点使得MongoDB可以保证更快速的用户访问速度;高性能特点使得MongoDB可以更好的支持大数据量的处理。呼叫中心的不断发展对数据存储系统提出了新要求:大数据量+松散数据结构+高访问速度,因此引入非关系数据库MongoDB作为呼叫中心部分应用数据的存储系统十分合适。本文首先对MongoDB进行了简要介绍,然后详细展示了MongoDB的实施部署方法,最后给出了MongoDB在呼叫中心系统中应用的一个设计思想。     

多数据库中间件中分布异构数据缓冲区系统的实现*

实现了多数据库中间件中分布异构数据缓冲区,该模型能够实现分布异构数据对象的数据双向同步/异步更新机制;采用的全局数据对象存储模型和缓存管理使数据在缓冲区存储并被用户高效快捷地访问;实现了全局事务管理策略,包括局部代理的设计、全局事务的并发控制、全局事务提交协议等.     

LBA：轻量级区块链架构

针对现有区块链架构在面临垂直结构型的轻量级应用时存在着结构冗余、性能不足的缺点,提出一种轻量级区块链架构(lightweight blockchain architecture,LBA).在数据层,提出按行存储机制提高数据读写效率,并增加基于MongoDB的存储方式,支持海量数据的线下隔离存储.在共识层,设计分层共识机制,将节点按事务粒度划分为决策层和执行层,减少参与共识的节点数量,提升共识效率.在网络层,提出分布式结构化网络模型,提高网络中数据的广播效率.在应用层,设计自定义事务接口,支持不同场景下的区块链系统功能定制,采用自定义的有限状态机取代图灵机,提高智能合约的可控性和降低复杂度.实验仿真结果表明,LBA架构能有效提高区块链系统中的数据存储效率、网络通信和共识效率,适用于区块链的轻量级中小型应用.     

Android数据库SQLite性能优化

SQLite是Android平台的重要数据库引擎,具有零配置、支持事务、移植性好等特点,负责多种格式数据的存储. 随着用户数据规模的扩大与复杂度的增加,对数据库性能提出更高的要求. 数据库性能直接影响应用程序的性能和用户的体验. 本文分析了SQLite事务机制和索引结构,并通过手动添加事务和合理创建B-tree索引,大大缩短了Android SQLite数据库的插入与查询时间,提高了SQLite性能.     

基于相变存储器和闪存的数据库事务恢复模型

随着闪存容量不断增大、价格不断下降,闪存在实际存储系统上得到了越来越广泛的应用.但是,闪存的页级读写、异位更新、有限寿命等阻碍了闪存数据库系统的性能提升,尤其是事务恢复.闪存的异位更新使得影子页技术可以很好地支持闪存数据库事务恢复,同时也给闪存数据库带来新挑战,如事务管理、缓冲区管理.相变存储器凭借其比闪存更高的读写速度、更小的读写粒度、更长的寿命成为了下一代主流存储技术,所以相变存储器可以用于解决在闪存数据库中使用影子页技术所产生的事务管理和缓冲区管理问题.该文基于相变存储器和闪存混合式存储提出一种全新的数据库事务恢复模型——SPFP.该模型充分利用相变存储器的特性完成事务管理.为支持非强制缓冲区管理,基于SPFP提出了一种优化的数据库事务恢复模型——SPFLP,利用相变存储器记录更多事务信息.实验结果表明,相较于全闪存存储的数据库系统,SPFLP大大提高了基于混合存储的数据库事务处理性能.     

新型内存硬件环境中的事务管理系统综述

大数据爆发的时代产生了各种新的业务类型,业务数据驱动着事务管理系统创新性的迭代发展.由于传统持久化介质的制约,传统的事务管理系统无法高效执行事务.并且,解决事务冲突的额外开销仍然会限制事务管理系统的吞吐.新型硬件的商业化应用为事务管理系统注入了更多的可能性,在学术界和工业界均得到了广泛关注.硬件事务内存可以为事务管理系统提供硬件级别的事务冲突检测.而且,相对于固态硬盘,非易失性内存的字节寻址和持久化特性可以显著降低事务延迟并提升事务管理系统的性能.但是,现有的事务管理系统技术无法充分地利用硬件本身带来的性能提升,因此需要重构事务架构来解决这个问题.首先对新型硬件环境下的事务管理系统进行总结分析;之后总结了当前基于新型硬件事务管理系统的技术路线,明确了硬件事务内存和非易失性存储硬件下的事务管理系统的优势和不足;最后指明了新型硬件环境中事务管理系统未来可能的发展方向以及新的挑战.     

面向电子政务的MongoDB与MySQL混合存储策略

针对传统电子政务平台所采用的关系型数据库在存储非结构化数据时的缺陷,利用MongoDB存储海量非结构化数据的优势,提出MongoDB与MySQL混合存储的策略。MongoDB负责存储图片、视频等非结构化数据,MySQL负责存储用户注册信息、工资表等结构化数据。二者协同提供政务数据的云存储服务和查询操作,从而降低MySQL数据库服务器的负载,节约MySQL的存储空间,增强电子政务后台数据库的扩展性。实验结果表明,该混合策略能大大提高电子政务平台的查询效率。     

基于MongoDB的分布式缓存

电力信息化的发展对传统电力信息系统的数据处理、并发请求及响应能力提出诸多挑战.针对电力信息系统数据处理的特点,提出一种基于MongoDB数据库的分布式缓存,并对该分布式缓存的运行机制、服务端架构和客户端功能模块的设计进行了分析与阐述.基于MongoDB的分布式缓存能够有效地降低电力信息系统数据库层的访问负载量,提高系统的整体性能,它采用分布式文件存储缓存数据,支持数据冗余备份和故障恢复功能,具有较高的可靠性和扩展性.基于MongoDB的分布式缓存已成功应用到电力某企业的项目管理系统中.     

服务网格中的事务服务及基于Petri网的正确性分析

面向服务的架构(SOA)推动着网格技术从科学计算走向商业领域,大部分商业应用需要事务的支持．该文提出了服务网格环境下用于事务管理的网格事务服务,它能够动态地发现执行子事务的网格服务;根据事务类型调用原子事务或聚合事务协调算法以保证这些服务在行动上实现期望的一致性．通过Petri网分析技术,将两种协调算法模型化为Petri网并验证了它们的正确性．网格事务服务可以提供较强的事务管理能力并将复杂的处理过程对用户透明,为网格技术的商业化提供了有效的支持．     

基于MongoDB和Spark的计量大数据处理技术方案及应用

在计量机构的信息系统中,需要存储大量证书报告、原始记录,如果直接存放于文件系统中,易出现扩容麻烦、碎片化、利用率低和I/0速度瓶颈等问题。日常使用中,经常查询各种业务数据统计,如果实时运算统计结果,易出现运算时间长的问题。为了解决这些问题,将证书报告、原始记录存入分布式MongoDB数据库,这样可以轻松存储海量数据。定时运行Spark作业,计算并缓存各种统计结果,用户查询时直接从MongoDB返回结果。测试发现:在并发数达到100时,存储速度是334 ms/份;在预先缓存结果后,能在1 s内响应客户请求。因此,基于MongoDB和Spark的大数据技术能满足计量机构的数据存储、运算需求。     

RFID与MongoDB融合的分布式云仓储管理系统

利用非关系型数据库具有数据存储不需要固定表结构、不存在连接操作的特性,建立起来的非关系型分布式云存储数据管理,具有比关系型数据库存储管理更好的性能优势。通过基于MongoDB建立的分布式云存储架构,结合底层的Angular和RFID技术,设计实现一种分布式云存储智能仓储管理系统,以解决现代商品仓储管理存在的数据规模大、异地数据不同步、数据共享度低、管理成本高等问题。针对MongoDB为了加速对查询或修改过的数据访问速度而采取记忆并缓存至本地的策略,以及对某节点数据的高密度访问可能造成数据拥堵的问题,设计了基于数据操作频率统计技术的节点均衡访问算法,并对算法的均衡关系参数进行优化验证。系统包括商品的进出库管理、查询统计等基本功能,可应用于数量、地域不断扩大的分散型仓储智能管理。     

A novel clustered MongoDB-based storage system for unstructured data with high availability

More and more unstructured data are produced and consumed over network. How to maintain these data and improve the availability and scalability of the storage systems has become a considerable challenge. Although some NoSQL systems such as Dynamo, Cassandra, MongoDB have provided different advantages for unstructured data management, no one can provide flexible query functions like MongoDB, meanwhile guarantee the availability and scalability as Cassandra simultaneously. This paper presents a new high available distributed storage system called MyStore based on an optimized clustered MongoDB for unstructured data. Consistent hash is used to distribute data on multiple MongoDB nodes by applying virtual node method. NWR mode is applied to provide automatic backup operation and guarantee data consistency. And a gossip protocol is taken for exchanging information of failures in the system. Moreover, a user-friendly interface module and an efficient cache module are designed for improving the usability of the system. Based on above strategies, the system can realize high availability for unstructured data storage, while providing complex query functions like rational databases. Moreover, it is applied in a multi-discipline virtual experiment platform named VeePalms that has run practically. Experimental evaluation shows that the methodology is powerful enough not only to enhance the data availability, but also to improve the server’s scalability.     

电网图形数据管理MongoDB数据库的应用

国家电网公司正推进资产全寿命周期管理体系建设,电网GIS图形作为电网的信息化表征,为了实现电网异动信息的全过程管理,通过电网图形多时态多级管理机制,同时引入MongoDB非关系型数据库,提升了数据读写效率,最终满足电网各业务部门海量数据信息化应用的性能需求.     

MongoDB数据库在网络行为分析与控制系统中的应用

在网络行为分析与控制系统中,传统的关系数据库在异构数据、海量日志的管理上难以胜任。NoSQL非关系型数据库的出现,对于解决面向文档的超大规模和高并发的问题提供了卓有成效的方案。本文在研究非关系数据库的基础上,着重分析MongoDB的特点和优势,通过性能测试,提出将MongoDB数据库应用于网络行为分析与控制系统,有效提高了大规模日志数据在网络行为分析与控制系统中的存储效率。     

基于Spring Boot和MongoDB 的数据持久化框架研究

随着Spring Boot 和MongoDB 技术的进一步完善和发展,采用该解决方案的企业如同雨后春笋般不断涌现。 但是Spring Boot 整合MongoDB 数据库的时候却遇到了一些问题,例如没有完整的数据持久化解决方案。然而回顾传统关系 型数据库却有Hibernate 完成该工作。本文首先介绍了Spring Boot 和MongoDB 的原理及其技术背景,具体地分析了该解决方 案存在的问题。本文的主要工作是设计并实现基于该解决方案JPA 方式的数据持久化框架MDBC。例如MDBC 增加完善了 聚合函数;提供了处理事务和保证数据一致性的工具;提供了容灾备份的工具等等。     

MongoDB在城市排水中的应用研究

In the construction of urban drainage information platform, the amount of rainfall data and water point data is huge. At the same time, it is necessary to combine multimedia data to monitor the drainage points. Based on this, the author takes advantage of MongoDB and the GridFS multimedia module to propose a solution to the storage and management of large amounts of data and multimedia data generated by drainage facilities.     

体育竞赛实时数据分享系统储存方案设计与优化

在“互联网+”概念的影响下,越来越多的信息技术应用于体育产业。本文通过构建基于MEAN框架的体育竞赛实时数据管理系统,设计了一种结合本地存储与远端云数据库的分布式存储方案,既实现数据的实时分享,又保障数据的可靠性。并通过实验的方式比较了基于HTML5 Local Storage本地存储的两种方法与本地NoSQL数据库的性能差异,从而实现系统存储方案的优化。     

面向管理实体对象的海量工程项目数据模型及实现

针对建立统一数据模型的PIP数据中心的需求,提出一种面向管理实体对象的数据基本模型,把工程项目数据按项目全生命周期过程分解为若干个基于工作流的可管理的实体对象,给出了项目工程数据概念层模型,利用该模型实现项目工程数据的自然表达和记录。进一步,基于文档型数据库MongoDB技术提出工程项目数据的组织方法,并设计了存储服务集群架构方案。实验表明,该存储方案具有高效的数据写入和查询性能,具有服务高可用性和存储能力的可扩展性等特点。