NoSQL数据库系统

大数据的出现与不断发展促进了NoSQL数据库技术的发展及其产品应用,为大数据的存储、传输与处理创造了生态环境。文章介绍NoSQL数据库的产生过程、特点与潜力、存储方式与分类以及目前常用的NoSQL数据库系统。     

基于分布式NoSQL数据库的档案大数据存储与检索方案研究

随着数字档案资源体系建设的不断加快,档案数据的种类日趋丰富,数量迅猛增长,呈现出大数据的特征。传统关系型数据库与集中式存储在档案大数据处理方面存在着适应性、可靠性和扩展性不足的问题。针对当前遇到的问题,通过分析传统档案数据存储模式的局限性,将分布式NoSQL数据库、分布式文件系统、分布式搜索引擎应用于档案大数据的管理。设计一套基于分布式NoSQL数据库的档案大数据存储与检索方案,并开发原型系统进行验证。     

一切为了分布式——2009年Web后端技术回顾

NoSQL运动与分布式技术发展 NoSQL是指用非关系数据库的方式来存储数据,通常也指用key value方式存储。在2008年的时候,key value还是一个新鲜事物,当时比较早的key value存储产品之一Memcachedb发布时,JavaEye的Robin提到“第一眼看到Memcachedb,我就知道她是我寻觅良久的梦中情人”。     

基于云平台NoSQL的海量天文图像存储研究

云计算所提出的全新计算和存储思想,对海量数据的存储解决方案以及快速访问有效数据资源提供了参考。以云存储平台NoSQL数据库为背景,研究海量天文数据的存储和访问技术。首先构建了基于MongoDB平台的天文图像FITS文件存储原型,在此基础上设计并分析存储实验。实验结果表明,数据分片存储以及选择最佳的分片大小能有效提高天文数据的存储和访问效率。     

面向工业4.0的多表架构与NoSQL大数据集成的数据存储策略研究

工业4.0环境下,生产现场的监测数据除了需要实时显示与分析外,还需要作为历史记录进行保存。面对海量的生产数据,现有的数据库技术已经很难满足该要求。提出了一种基于传统数据库多表架构与NoSQL大数据库相结合的新型数据存储方案。该方案基于传统数据库的多表架构实现实时数据的分布式存储,同时将历史数据迁移至NoSQL大数据库,解决了工业4.0下的海量数据存储问题。最后给出了某企业基于SQLServer和MongoDB的实际应用,验证了本文方法的正确性和有效性。     

NoSQL数据管理技术

社交网络和微博等新型应用对数据管理技术提出了新的挑战,如海量数据高效存储、高并发访问、高可扩展性和高可用性等。而传统的关系数据库技术无法满足这些新型应用的需求,因此,NoSQL数据管理技术的研究、开发和应用越来越受到重视。本文从NoSQL数据模型、数据存储、查询处理以及SQL与NoSQL混合数据库解决方案等方面,综述了NoSQL数据管理技术发展现状和趋势,并介绍了几种典型的NoSQL产品。     

基于NoSQL的FITS文件头元数据存储和查询研究

随着大型天文望远镜的投入使用,观测台站正面临PB量级的海量数据存储、快速检索难题;同时由于在数据检索中起着关键作用的FITS文件头的可变性,导致难以使用传统的关系型数据库来建立可适应这种变化需求的非结构化数据模型。针对这个难题,提出了使用NoSQL对天文上广泛使用的FITS文件头中所包含的可变元数据信息进行存储和查询;讨论了关系型数据模型存储可变FITS文件头的不足;分析了NoSQL存储可变FITS头元数据信息的可行性;使用形式化的关系型代数对这种存储查询方式进行了一般化的讨论。通过具体查询实例验证了该方案在存储天文可变FITS文件头的有效性和可行性。     

NoSQL在构建业务信令监测系统中的应用

国内电信运营商当前大多数的信令监测系统都是采用SQL数据库作为存储解决方案,但日志产生的速度往往超出存储的处理速度。在这种情况下,提出使用NoSQL数据库作为另一种存储的解决方案,探讨其在监测系统中的应用。通过比较Oracle和MongoDB的读写性能表现从而分析NoSQL用于处理海量数据的适用性和有效性。以实际使用效果为案例,说明该方案的成效,为众多类似业务的开发提供一种新的技术路线。     

大数据环境下NoSQL数据库技术

大数据环境下,NoSQL数据库技术是传统关系数据库技术的补充,是目前IT行业的热门话题,其发展非常迅速,潜力巨大,悄然改变了整个行业的面貌。随着Web 2.0技术的发展,微博、社交网络、电子商务应用功能不断壮大,数据信息呈现爆炸式增长。传统关系型数据库技术在扩展性方面存在瓶颈。NoSQL数据库技术摒弃了传统关系型数据库ACID的特性,采用分布式多节点的方式,提出新的解决方案,更加适合大数据存储和管理。     

一种分布式大数据管理系统的设计与实现

随着云计算、物联网、移动互联网等技术的飞速发展,海量数据在这些崭新的领域迅猛地生长着,大数据作为一项颠覆性技术,为处理海量数据提供了无限可能。而传统的关系型数据库的不再适用,导致了分布式数据库NoSQL的应运而生。针对大数据领域面临的种种现实难题,设计并实现了一种基于Hadoop和NoSQL的新型分布式大数据管理系统(DBDMS),其提供大数据的实时采集、检索以及永久存储的功能。实验表明,DBDMS可以显著提高大数据处理能力,适用于海量日志备份和检索、海量网络报文抓取和分析等领域。     

跨学科异构数据存储方法研究

随着生态学研究尺度的不断扩大,现有的数据采集管理系统已不能满足生态系统观测数据的跨学科、大规模等转变。我们针对现代生态学研究的要求,设计了一种通用的跨学科观测数据模型,采用 NoSQL 的技术方案构建了支持分布式大规模存储的数据库,并设计实现了通用的生态观测数据管理平台。解决了跨学科异构数据的融合存储、数据模型的高度可扩展等科学问题。     

船舶信息系统的数据分发与存储设计

随着船舶各个分系统之间数据交互要求日益增加、历史数据爆炸性增加,实现数据高效的分发以及海量数据存储日益重要。在分析数据分发服务DDS(Data Distribution Service)规范的基础上,搭建船舶信息数据分发系统,同时提出基于RDB和NoSQL(Not Only SQL)的联合存储方案。实现船舶信息系统的数据高效、实时发布,以及海量历史数据的有效存储、高效查询。通过搭建船舶仿真系统测试船舶信息系统的数据分发系统及其存储方案,实验结果表明将DDS技术和数据联合存储方案应用于船舶信息系统是可行的。     

基于NoSQL系统的组合索引技术研究

分布式NoSQL系统旨在提供大规模数据的高可用性,但缺乏内在的支持复杂查询的应用程序。传统的基于单一词汇倒排表的解决方案未达到良好的效果。因此,文中就文档型数据库在处理动态文档集时不支持多键作为主索引的缺点展开研究,提出了一种改进的组合索引方法。通过存储组合条件的倒列表,查询驱动机制可以从最近的查询记录中自适应地存储比较受欢迎的条件组合。该方法可以降低整体的带宽消耗,只需占用较少的存储资源等额外开销,明显改善了NoSQL系统的容量和响应时间。     

NoSQL的分布式存储与扩展解决方法

传统的关系型数据库已无法满足海量数据的存储与访问需求。针对该问题,提出一种非关系型数据库(NoSQL)的分布式存储与扩展解决方法。分析并改进NoSQL,讨论基于一致性哈希算法键值对的分布式存储,以及基于双hash环的数据库服务器节点的扩展方法,提出将NoSQL作为镜像引入数据库架构系统。实际应用结果表明,该方法可以避免资源浪费及服务器过载。     

浅析GIS大数据

随着地理信息数据的迅速增加,GIS数据呈现出数据量大、数据种类多和数据结构复杂的特点。该文从大数据的角度对GIS数据呈现的三个特征进行了具体的分析,并在此基础上提出GIS大数据存储和处理的新的要求。最后介绍了MongoDB这一NoSQL数据库的特性,简要分析了利用MongoDB数据库的特性来解决GIS大数据问题的方法,并简单地借助于python语言用mongoDB对ESRI Shapefiles进行了存储。     

一种优化的Key-Value型NoSQL系统

Key-Value(KV)是NoSQL系统中使用较为广泛的一种存储模型。针对当前主流NoSQL系统存在检索功能有限、内存容量小和宕机等问题,提出一种KV型NoSQL系统设计方法。使用可持久化的混合主索引结构解决范围查询和快速重启,采用数据分布算法和内外存混合存储技术,通过数据在内存和固态硬盘之间的智能调度,实现了大规模数据的高效存取和低成本存储。实验结果表明,与Redis相比,对于典型大小Value,该系统在单节点读写性能上提升约8倍,配置成本降低约3/4,在海量数据的低成本高效存储上有明显优势。     

一种基于NoSQL数据库的医疗监护大数据存储设计

移动医疗、家庭远程监护等患者健康管理模式的兴起,产生了海量的医疗监护数据,在对患者的海量健康数据处理时存在性能瓶颈问题。文章首先介绍了医疗实时监护大数据的特征和应用模型,分析了当前关系数据库存储海量医疗监护数据存在的问题,比较了多种NoSQL数据库的特性,提出了使用HBase分布式非关系数据库进行医疗监护大数据存储的方案,并给出了主要表结构设计,最后对HBase数据库的部署、表数据访问进行说明。     

一种基于MongoDB的大数据管理架构

随着计算技术和互联网技术的不断发展,大数据处理技术也逐渐兴起,传统的关系数据库已经不能满足大数据管理的需求。结合增长速度越来越快的遥感影像数据,对"NoSQL数据库"进行了介绍,对大数据的概念和特点进行深入分析,提出了通过MongoDB数据库实现对海量遥感影像数据进行管理的存储模型。     

NoSQL数据库间数据交换代价研究

随着互联网时代的到来,IT行业迅猛发展,NoSQL数据库以其在大数据环境下出色的业务处理处理能力,在IT行业内得到越来越广泛的应用。而各NoSQL数据库由于自身数据模型的不同,在数据组织方式上彼此存在差异。NoSQL数据库间进行数据交换时,数据模型的不同会导致数据库间数据传输的阻抗,以源数据库数据模型封装的业务数据可能无法直接被目标数据库解析,需进行额外的模型适配操作,参照目标数据库数据模型组织业务数据以供筛选存储。为此,拟定义一种数据描述模型,对NoSQL数据库数据模型特征建模,描述NoSQL数据库的数据组织方式,并定义NoSQL数据库数据模型间距离评估算法。根据数据描述模型与距离评估算法可设计实现一种通用数据模型,其在数据交换过程中可与相关NoSQL数据库进行数据模型上的转换,系统相关业务代码只需参照该数据模型设计,而独立于数据交换过程中NoSQL数据库具体的数据模型。