MongoDB数据库中Sharding技术应用研究

非关系型数据库的出现,对于解决面向文档的超大规模和高并发的问题提供了卓有成效的解决方案。MongoDB为了提高处理大数据量的性能,提供了分片集群的功能,支持自动分片和划分架构,可以利用它构建一个水平扩展的数据库集群系统,将数据库分表存储在各个Sharding节点上。文中在研究MongoDB特性的基础上,着重分析Sharding技术的应用,通过比较普通和分片这两种情况下的性能测试,提出使用MongoDB中的Sharding技术来解决随着数据量增加带来的数据库的读写性能和效率的问题。     

支持MongoDB的事务管理方案研究

MongoDB作为一个基于分布式文件存储的数据库,强大的单表查询语言,以及可扩展的高性能数据存储受很用户喜爱,但其没有对事务的完全支持,使得用户对MongoDB的使用处于被动状态.为改善MongoDB对事务管理方面的兼容性,提出一种支持MongoDB事务管理,完善MongoDB功能的方案.利用MQ与守护进程间的消息通信,使守护进程对事务提交或者回滚后的脏数据进行清理,保证了MongoDB在事务管理方面的可用性与安全性.     

具有事务能力的文件存储技术

文件系统的存储效率较高,访问接口简单,因此很多应用系统的非结构化数据存储直接建立在文件系统上.随着应用系统管理的数据量不断增大和对数据操作的复杂化,文件系统提供的数据存储功能已经不能满足当前不断增长的存储需求.提出了一种将非结构化数据集中存储,同时支持事务的存储方案,并依据此方案实现了一个高效、易用的数据存储系统GSL.GSL的数据存储接口与文件系统的接口风格一致,并支持事务处理.将GSL与文件系统以及Oracle数据库的BLOB存储效率进行了测试和比较,结果表明,GSL的存储效率与文件系统的存储效率相当,优于BLOB.     

卫星数据的分布式存储系统设计与验证

随着遥感技术的不断发展,各种高分卫星的成功发射,卫星数据量呈爆发式增长,对业界普遍采用的存储系统提出了极大的挑战。针对存储系统需要支持大容量、高并发读写性能、高可扩展性以及应用和用户权限的多样性的问题,文章做了卫星数据处理中的访问模式和具体需求设计,并验证了一个分布式存储系统。该系统的数据节点和元数据节点采用集群方式,使用N+M纠删码、小文件聚合、大数据块存储、客户端缓存和预取,支持块、文件和对象等多种接口,实现了千亿级文件的超大容量、超高并发读写性能和系统的线性扩展,提供了对不同应用和用户权限的支持。     

开放式存储在电信IT系统中的应用

传统机械磁盘组成的FC-SAN存储在高并发、高吞吐量、大数据量系统中面临巨大挑战,利用flash闪存高性能特性,搭建基于SRP协议的、infiniband高速网络互连的开放式存储系统,在电信IT数据库系统中实践使用,可以实现存储横向扩展、数据冗余保护、链路可靠特性,提升数据库性能。     

MongoDB负载均衡算法优化研究

随着Web2.0网络应用的兴起和大数据技术的发展,传统的关系型数据库(ORDBMS)已经难以满足海量数据的存储需求。非关系型数据库(NoSQL)因其高扩展性、高伸缩性、高可用性和容错性等特点,得到了越来越多的应用。作为一种新兴的NoSQL数据库,MongoDB数据库因具有模式自由、易于扩展、故障自动恢复、支持自动分片等特点,被广泛应用于大数据处理与分析中。文中首先介绍了MongoDB自动分片架构原理和实现机制,然后分析了MongoDB自带的负载均衡算法,其虽能使各个节点数据量达到平衡,但没有考虑各个节点的负载均衡。为了解决节点的负载平均问题,在原算法基础上提出了一种基于节点实时负载的负载均衡改进算法,改进算法的主要思想是引入节点负载指数作为chunk块迁移的一个判断条件。通过搭建测试环境并进行实验,验证了改进的负载均衡算法可以有效地均衡分片中的数据,提高集群的并发读写性能,从而证明了算法的有效性。     

一种基于MongoDB的企业内容管理系统实现

随着IT技术在企业实际业务中扮演着越来越重要的角色,企业的IT系统中所产生的数据量也越来越大,其中非结构化的数据又占有相当大的比例,传统的利用关系型数据库对非结构化数据的管理在面对海量数据时面临着性能不足的瓶颈.基于此,提出了使用非关系型数据库MongoDB作为后端数据库的内容管理解决方案,利用MongoDB的文档数据库且易于横向扩展的特性来解决基于关系型数据库的内容管理系统的性能瓶颈.     

基于MongoDB的轨迹大数据时空索引构建方法

近年来,随着计算机技术与无线传感器网络的发展,轨迹大数据越来越得到人们的关注.针对海量轨迹数据在存储与查询中出现的效率问题,文章基于文档型非关系型数据库MongoDB提出了一套基于四叉树的道路网时空索引,实现海量轨迹数据的高效查询.通过对太原市1915辆出租车的50万条轨迹数据进行时空查询,在不同数据量与不同并发数下测试道路网时空索引与MongoDB复合时空索引的效率表现.实验结果显示道路网时空索引在数据量大于10万时有较好表现,并能够适应不同并发数下的时空查询,验证了道路网时空索引构建方法的可行性和高效性.     

基于水车模型的时序大数据快速存储

近年来，随着物联网的高速发展，传感器部署的规模日益壮大。大规模的传感器每秒都会产生大量数据流，并且数据的价值会随着时间的流逝逐渐降低。因此，存储系统不仅需要能承受高速到达的数据流带来的写入压力，还需要以最快的速度将数据持久化，以供后续的查询和分析。这对存储系统的写入性能提出了更高的要求。基于水车模型的快速存储系统可以满足大数据应用场景下的高速时序数据流快速存储需求。该系统部署在高速时序数据流和底层存储节点之间，利用多个数据桶构建一个逻辑上轮转的存储模型(类似于中国古代的水车),并且通过控制每个数据桶的状态来协调数据的写入和落盘。水车模型将数据桶分配给不同的底层存储节点，从而将瞬时写入压力均摊到多个底层存储节点上，并借助多节点的并行写入提高写吞吐。水车模型被部署在单机版MongoDB上，并和分布式MongoDB进行了实验对比。实验结果表明，水车模型可以有效提升系统的写吞吐，降低写入延迟，并且具有良好的横向可扩展性。     

浅析GIS大数据

随着地理信息数据的迅速增加,GIS数据呈现出数据量大、数据种类多和数据结构复杂的特点。该文从大数据的角度对GIS数据呈现的三个特征进行了具体的分析,并在此基础上提出GIS大数据存储和处理的新的要求。最后介绍了MongoDB这一NoSQL数据库的特性,简要分析了利用MongoDB数据库的特性来解决GIS大数据问题的方法,并简单地借助于python语言用mongoDB对ESRI Shapefiles进行了存储。