面向电子政务的MongoDB与MySQL混合存储策略

针对传统电子政务平台所采用的关系型数据库在存储非结构化数据时的缺陷,利用MongoDB存储海量非结构化数据的优势,提出MongoDB与MySQL混合存储的策略。MongoDB负责存储图片、视频等非结构化数据,MySQL负责存储用户注册信息、工资表等结构化数据。二者协同提供政务数据的云存储服务和查询操作,从而降低MySQL数据库服务器的负载,节约MySQL的存储空间,增强电子政务后台数据库的扩展性。实验结果表明,该混合策略能大大提高电子政务平台的查询效率。     

基于FODO算法MongoDB自动分片的改进

随着Web2.0技术的高速发展,云计算中的大规模分布式服务和数据存储技术对传统的关系型数据库带来了巨大的挑战.NoSQL数据库打破了关系型数据的束缚,正在成为人们关注的焦点.NoSQL是一种非关系型数据库管理系统,松散的数据存储机制,不支持多表查询,有高效的查询功能.文中首先介绍了MongoDB数据库自动分片的原理和实现机制,然后为了解决在自动分片中数据负载不均衡,提出了基于数据操作频率的改进算法.这个改进的平衡策略可以有效地均衡分片中的数据,提高集群的并发读写性能.     

MongoDB数据库中Sharding技术应用研究

非关系型数据库的出现,对于解决面向文档的超大规模和高并发的问题提供了卓有成效的解决方案。MongoDB为了提高处理大数据量的性能,提供了分片集群的功能,支持自动分片和划分架构,可以利用它构建一个水平扩展的数据库集群系统,将数据库分表存储在各个Sharding节点上。文中在研究MongoDB特性的基础上,着重分析Sharding技术的应用,通过比较普通和分片这两种情况下的性能测试,提出使用MongoDB中的Sharding技术来解决随着数据量增加带来的数据库的读写性能和效率的问题。     

基于FODO算法MongoDB自动分片的改进

随着Web2.0技术的高速发展,云计算中的大规模分布式服务和数据存储技术对传统的关系型数据库带来了巨大的挑战。NoSQL数据库打破了关系型数据的束缚,正在成为人们关注的焦点。NoSQL是一种非关系型数据库管理系统,松散的数据存储机制,不支持多表查询,有高效的查询功能。文中首先介绍了MongoDB数据库自动分片的原理和实现机制,然后为了解决在自动分片中数据负载不均衡,提出了基于数据操作频率的改进算法。这个改进的平衡策略可以有效地均衡分片中的数据,提高集群的并发读写性能。     

基于内容管理的烟草企业信息仓库系统

在企业生产运作过程中会产生结构化数据和非结构化信息,针对非结构化信息的内容管理理论进行讨论,分析烟草企业在内容管理上的需求。根据烟草企业的特征,将信息流程设计为常规信息处理和信息预警流程。讨论系统框架,分为用户端层、中间应用层及数据存储层。对系统实现中采用的关键技术进行介绍。     

一种高效的Flink与MongoDB连接中间件的研究与实现

为了提高大数据处理平台Flink与MongoDB之间的读写速率,提出并实现了一种高效的Flink与MongoDB连接中间件。基于Flink的并行化思想,通过对数据进行逻辑分片,调用Mongo-Java包中的接口实现并行化将数据读取和写入。以不同规模的水文传感器数据集作为实验数据,实验了在Java单线程操作、Hadoop与MongoDB连接器和提出的Flink与MongoDB连接中间件三种连接方式下数据的读写速度。结果表明,Flink并行读写数据效率较于单线程提高了1.5倍,验证了该连接中间件可以有效地提高对海量数据的读写速率。     

基于非关系型数据库的水文大数据存储方法研究

针对现有的技术架构和主流软件工具存储水文大数据存在的问题,分析非关系型数据库存储水文大数据的优势和技术特点,提出非关系型数据库TRIP存储水文大数据的方法。TRIP数据库管理系统部署在PC机上,水文结构化和非结构化数据存储在与PC机数据连接的磁盘存储装置的数据库文件中,根据水文数据的规模,增加磁盘存储装置的数量和容量。研究结果证明,TRIP数据库能够存储多种类型、格式的水文结构化和非结构化数据,可为水文行业存储水文大数据提供新的技术途径。     

基于MongoDB的轨迹大数据时空索引构建方法

近年来,随着计算机技术与无线传感器网络的发展,轨迹大数据越来越得到人们的关注.针对海量轨迹数据在存储与查询中出现的效率问题,文章基于文档型非关系型数据库MongoDB提出了一套基于四叉树的道路网时空索引,实现海量轨迹数据的高效查询.通过对太原市1915辆出租车的50万条轨迹数据进行时空查询,在不同数据量与不同并发数下测试道路网时空索引与MongoDB复合时空索引的效率表现.实验结果显示道路网时空索引在数据量大于10万时有较好表现,并能够适应不同并发数下的时空查询,验证了道路网时空索引构建方法的可行性和高效性.     

一种基于MongoDB的大数据管理架构

随着计算技术和互联网技术的不断发展,大数据处理技术也逐渐兴起,传统的关系数据库已经不能满足大数据管理的需求。结合增长速度越来越快的遥感影像数据,对"NoSQL数据库"进行了介绍,对大数据的概念和特点进行深入分析,提出了通过MongoDB数据库实现对海量遥感影像数据进行管理的存储模型。     

DocuMan企业级数据采集＆内容管理系统

信息,即企业的非结构化数据或数字内容．作为一个企业和机构历经时日积累的知识和智慧资本．是时间和金钱上的一种巨大投资．确保了企业和机构的顺畅运转,是企业和机构不可或缺的重要组成部分。企业对信息的反应速度、管理方式．影响着企业的工作效率,也决定了企业的竞争力。     

一种基于数据热点的MongoDB负载均衡策略

MongoDB作为一种新兴的NoSQL数据库,以其模式自由、文档式存储、故障自动恢复、良好的水平扩展、自动负载均衡等特点深受国内外市场的青睐.MongoDB自带的负载均衡策略能使各个节点数据量达到平衡.但是在实际的生产环境中,节点之间数据访问热度不同也会导致负载失衡,特别是出现节点过热的情况.针对这一问题,引入Markov随机过程,提出一种基于Markov预测模型的负载均衡策略,根据Markov模型的稳态概率向量预测各个分片的负载并进行数据迁移.通过实验,验证了当各个分片间出现节点过热时,所提出的负载均衡策略能够很好地使分片间的负载达到基于访问热点的均衡.     

一种基于XML的数据转换方法的设计与实现

交互式电子技术手册是综合保障领域的一次技术革命,在分析非结构化数据和结构化数据分类的基础上,采取非结构化数据-XML-结构化数据的转换方式,将非结构化技术资料的元数据信息转换为可存储在公共源数据库(CSDB)中的结构化数据,为IETM数据录入问题提供解决方法。     

浅谈企业数据管理的需求及建议

本文讲述了企业数据管理包含的内容,浅析企业数据管理的四方面需求,提出企业数据管理存在的问题及改进建议。     

异质数据库间数据转换和共享的一种实现

异数据库间的数据共享问题一直是管理信息系统的建设与发展中的一个关键问题，而数据转换是数据共享的前提和基础。本文提出了ＳＱＬ数据库与微机关系数据间数据转换的设计方案，解决了两种数据库管理系统在数据类型，存储结构和管理方法上的不同所造成的困难，实现了异种数据库之间的数据自动转换，包括数据提取、数据组织、数据传输、自动建库、自动插入等功能，为异种机系统的数据共享提供了一种切实可行的设计方案，该方案克服了     

基于混合型数据库的档案管理系统的设计与实现

对于越来越多的档案数据,包括档案目录、全文、扫描件、照片、电子文件等结构化数据和非机构化数据,如何统一、完整、有效地管理这些数据是新一代档案管理系统开发要解决的问题.从设计和实现的角度介绍了基于混合型数据库的档案管理系统的开发思路.该流程利用混合型数据库的特性有效地管理档案数据,实现了档案的全文检索和利用,提高了档案的利用率,提升了档案的利用价值.     

分布式数据库课程知识体系扩展探索（英文）

分布式数据库是软件工程专业研究生课程中的重要组成部分。本课程现有的部分教学内容及教学模式因与工业界发展速度不匹配,存在部分知识陈旧、教学模式落后等一系列问题。文章在总结已有讲授方式与数据库领域发展趋势的基础之上,选择以Mongo DB为案例,向学生补充非关系型数据库的相关知识。通过课堂匿名调查显示,课上所补充的知识激发了众多学生的学习兴趣并受到了认可。     

RFID与MongoDB融合的分布式云仓储管理系统

利用非关系型数据库具有数据存储不需要固定表结构、不存在连接操作的特性,建立起来的非关系型分布式云存储数据管理,具有比关系型数据库存储管理更好的性能优势。通过基于MongoDB建立的分布式云存储架构,结合底层的Angular和RFID技术,设计实现一种分布式云存储智能仓储管理系统,以解决现代商品仓储管理存在的数据规模大、异地数据不同步、数据共享度低、管理成本高等问题。针对MongoDB为了加速对查询或修改过的数据访问速度而采取记忆并缓存至本地的策略,以及对某节点数据的高密度访问可能造成数据拥堵的问题,设计了基于数据操作频率统计技术的节点均衡访问算法,并对算法的均衡关系参数进行优化验证。系统包括商品的进出库管理、查询统计等基本功能,可应用于数量、地域不断扩大的分散型仓储智能管理。     

基于MongoDB数据库的智能医疗分布式数据提取算法

智能医疗分布式数据提取受到数据节点数目的 影响,为了提高智能医疗分布式数据提取算法的性能,提出了基于MongoDB数据库的智能医疗分布式数据提取算法.在引入MongoDB数据库集群结构的基础上,构建了分布式数据的自定义词库,同时提取出分布式数据的标本名,完成了智能医疗分布式数据的预处理;利用建立分布式数据动态簇的步骤,...     

一种基于关系型数据库的工作流管理系统

本文提出了一种基于关系型数据库的工作流管理系统。该方案将业务分为基础业务与拓展业务,然后通过一个简单的工作流模型表示基础业务逻辑,并使用关系型数据库处理拓展业务。此外,该方案将业务逻辑与业务的设计相结合,形成了一个通过配置即可开发信息管理系统的平台。该系统的实际应用表明该方案实现简单,能够处理大部分其他工作流模型无法表示的工作流模式,并且该系统易于业务人员操作,能够达到快速开发的目的。