NoSQL数据库系统

大数据的出现与不断发展促进了NoSQL数据库技术的发展及其产品应用,为大数据的存储、传输与处理创造了生态环境。文章介绍NoSQL数据库的产生过程、特点与潜力、存储方式与分类以及目前常用的NoSQL数据库系统。     

面向工业4.0的多表架构与NoSQL大数据集成的数据存储策略研究

工业4.0环境下,生产现场的监测数据除了需要实时显示与分析外,还需要作为历史记录进行保存。面对海量的生产数据,现有的数据库技术已经很难满足该要求。提出了一种基于传统数据库多表架构与NoSQL大数据库相结合的新型数据存储方案。该方案基于传统数据库的多表架构实现实时数据的分布式存储,同时将历史数据迁移至NoSQL大数据库,解决了工业4.0下的海量数据存储问题。最后给出了某企业基于SQLServer和MongoDB的实际应用,验证了本文方法的正确性和有效性。     

NoSQL数据库间数据交换代价研究

随着互联网时代的到来,IT行业迅猛发展,NoSQL数据库以其在大数据环境下出色的业务处理处理能力,在IT行业内得到越来越广泛的应用。而各NoSQL数据库由于自身数据模型的不同,在数据组织方式上彼此存在差异。NoSQL数据库间进行数据交换时,数据模型的不同会导致数据库间数据传输的阻抗,以源数据库数据模型封装的业务数据可能无法直接被目标数据库解析,需进行额外的模型适配操作,参照目标数据库数据模型组织业务数据以供筛选存储。为此,拟定义一种数据描述模型,对NoSQL数据库数据模型特征建模,描述NoSQL数据库的数据组织方式,并定义NoSQL数据库数据模型间距离评估算法。根据数据描述模型与距离评估算法可设计实现一种通用数据模型,其在数据交换过程中可与相关NoSQL数据库进行数据模型上的转换,系统相关业务代码只需参照该数据模型设计,而独立于数据交换过程中NoSQL数据库具体的数据模型。     

基于分布式NoSQL数据库的档案大数据存储与检索方案研究

随着数字档案资源体系建设的不断加快,档案数据的种类日趋丰富,数量迅猛增长,呈现出大数据的特征。传统关系型数据库与集中式存储在档案大数据处理方面存在着适应性、可靠性和扩展性不足的问题。针对当前遇到的问题,通过分析传统档案数据存储模式的局限性,将分布式NoSQL数据库、分布式文件系统、分布式搜索引擎应用于档案大数据的管理。设计一套基于分布式NoSQL数据库的档案大数据存储与检索方案,并开发原型系统进行验证。     

NoSQL的分布式存储与扩展解决方法

传统的关系型数据库已无法满足海量数据的存储与访问需求。针对该问题,提出一种非关系型数据库(NoSQL)的分布式存储与扩展解决方法。分析并改进NoSQL,讨论基于一致性哈希算法键值对的分布式存储,以及基于双hash环的数据库服务器节点的扩展方法,提出将NoSQL作为镜像引入数据库架构系统。实际应用结果表明,该方法可以避免资源浪费及服务器过载。     

浅析GIS大数据

随着地理信息数据的迅速增加,GIS数据呈现出数据量大、数据种类多和数据结构复杂的特点。该文从大数据的角度对GIS数据呈现的三个特征进行了具体的分析,并在此基础上提出GIS大数据存储和处理的新的要求。最后介绍了MongoDB这一NoSQL数据库的特性,简要分析了利用MongoDB数据库的特性来解决GIS大数据问题的方法,并简单地借助于python语言用mongoDB对ESRI Shapefiles进行了存储。     

浅谈NoSQL

NoSQL非关系型数据库已成为目前学术界和产业界研究的热点问题,它可解决传统关系型数据库不能解决的高并发读写、高可扩展性和高可用性问题。本文简单介绍了NoSQL的技术、基本数据类型以及与关系型数据库的比较。     

面向NoSQL数据库的JSON文档异常检测与语义消歧模型

随着信息化技术的发展,面对材料等相关领域数据的多源异构、扩展性强、爆炸增长等特点,传统关系数据库无法对数据进行存储,因此可利用NoSQL的无模式存储、高扩展性等特性来解决这一难题。作为NoSQL数据库常用的数据存储格式,JSON因简单性和灵活性备受欢迎。然而,NoSQL数据库缺乏模式信息,在JSON文档存入数据库之前,需要对其进行数据验证与分析。目前,大多数方法是基于JSON schema对JSON文档格式的规范性进行校验,无法有效解决JSON文档的异常检测以及语义歧义问题。为此,文中提出了面向NoSQL数据库的JSON文档异常检测与语义消歧模型doctorJSON。该模型基于JSON schema对存入的JSON文档分别设计了异常检测算法deoutJSON和语义消歧算法disemaJSON,以检测JSON文档存在的异常和歧义。在真实数据集与合成数据集上的实验验证了所提模型的有效性和执行效率。     

大数据环境下NoSQL数据库技术

大数据环境下,NoSQL数据库技术是传统关系数据库技术的补充,是目前IT行业的热门话题,其发展非常迅速,潜力巨大,悄然改变了整个行业的面貌。随着Web 2.0技术的发展,微博、社交网络、电子商务应用功能不断壮大,数据信息呈现爆炸式增长。传统关系型数据库技术在扩展性方面存在瓶颈。NoSQL数据库技术摒弃了传统关系型数据库ACID的特性,采用分布式多节点的方式,提出新的解决方案,更加适合大数据存储和管理。     

支持大数据管理的NoSQL系统研究综述

针对大数据管理的新需求,呈现出了许多面向特定应用的NoSQL数据库系统。针对基于key-value数据模型的 NoSQL 数据库的相关研究进行综述。首先,介绍了大数据的特点以及支持大数据管理系统面临的关键技术问题;然后,介绍了相关前沿研究和研究挑战,其中典型的包括系统体系结构、数据模型、访问方式、索引技术、事务特性、系统弹性、动态负载均衡、副本策略、数据一致性策略、基于flash的多级缓存机制、基于MapReduce的数据处理策略和新一代数据管理系统等;最后给出了研究展望。     

基于向量时钟模型的NoSQL最终一致性的研究

最终一致性作为衡量NoSQL数据库性能的重要指标,对NoSQL的应用与发展起着重要作用。针对最终一致性解决方案存在的问题,提出基于向量时钟的最终一致性模型。模型为数据加入了版本的概念,通过版本向量和时间戳的引入,为数据标识了版本信息,同时给出了冲突检测和处理方案。对比分析表明,方案很好地解决了问题,提高了最终一致性的性能,在NOSQL数据库的设计过程中具有较好的应用价值。     

浅析NoSQL技术与数据库教学的关系

关系数据库在数据库领域长期占有主导地位,一直是高等院校数据库课程的主要内容.而随着Web2.0的兴起,在海量数据的环境下,NoSQL(非关系型的数据库)技术得到了广泛的应用,它对数据库技术的发展产生了强烈的影响,同时也对当前数据库课程教学产生了深远的影响.探讨了NoSQL技术及其主要特点,分析了NoSQL技术对数据库教学的挑战,将关系数据库和NoSQL进行对比,指明了使用NoSQL的原因,并提出有关NoSQL的启发式教学方法.     

NoSQL非关系型数据库的发展和应用研究

随着web2.0技术的兴起,NoSQL数据库得到了广泛的发展和应用。本文从初学者的角度出发,针对传统数据库的瓶颈,从读写速度、扩展性、运营成本、数据容量等方面对NoSQL数据库进行了分析,并对常见的几种NoSQL数据库进行了研究。     

基于大数据的实验室信息分享系统设计

基于传统方式设计的实验室信息分享系统不能满足海量实验数据分享的需求,面临用户数受限、存放数据受限等诸多扩展性问题,因此采用大数据技术、开源NoSQL数据库HBase存放用户信息以解决用户数量受限的问题。同时,采用开源MinIO进行数据的分布式存放,解决用户数据空间难以扩容的问题。在3台通用服务器上部署该系统,结果表明在10万级用户量下,能轻松支持5000名用户同时在线分享信息。     

一种基于中间件的异构数据库融合访问方法及系统

在大数据时代,信息化数据呈爆炸式增长,传统关系型数据库和新兴的NoSQL数据库都难以全面且高效地面对这些挑战。因此,提出一种基于中间件的异构数据库访问方法(MingleDB),以结合NoSQL和传统关系型数据库的优点。MingleDB透明融合了NoSQL数据库和传统数据库的主要运行逻辑,同时又能够根据当前用户请求的读写特征,自动选取合适的处理路径以避免二者的不足;它还支持轻量级的事务处理框架,该框架按需实施以保证异构数据库数据的最终一致性和完整性。将MingleDB分别与MongoDB,MySQL数据库进行读写性能对比,实验证明了MingleDB方法的正确性和合理性。同时将MingleDB部署在实际的社交网络系统中进行实际验证,结果亦证明了其实用性和可移植性。     

基于NoSQL数据库的大数据存储技术的研究与应用

实际工程中采集和处理的数据量特别大,这对传统数据库技术提出巨大挑战。针对传统关系型数据库存储速度慢、对硬件要求高的缺点,提出一种以NoSQL数据库为基础的大数据处理方法,打破了传统数据库的关系模型,数据以一种自由的方式存储,而不依赖固定的表结构。该方法主要是将经验模态分解并与NoSQL数据库技术相结合,应用于大型结构件的变形监测中,构建出一个基于NoSQL数据库系统的大型结构件变形监测系统。仿真结果表明,该方法可以实现大型结构件变形监测数据的实时处理,在计算收敛性、算法稳定性和处理速度上都优于传统数据库技术。     

基于FODO算法MongoDB自动分片的改进

随着Web2.0技术的高速发展,云计算中的大规模分布式服务和数据存储技术对传统的关系型数据库带来了巨大的挑战。NoSQL数据库打破了关系型数据的束缚,正在成为人们关注的焦点。NoSQL是一种非关系型数据库管理系统,松散的数据存储机制,不支持多表查询,有高效的查询功能。文中首先介绍了MongoDB数据库自动分片的原理和实现机制,然后为了解决在自动分片中数据负载不均衡,提出了基于数据操作频率的改进算法。这个改进的平衡策略可以有效地均衡分片中的数据,提高集群的并发读写性能。     

关系型数据库与NoSQL数据库

通过对传统关系型数据库以及他目前存在的问题的说明,进而引出了NoSQL数据库,并指出NoSQL数据库的特点以及目前应用状况,最后总结出传统关系型数据库和NoSQL数据库在某种场景下结合使用,并给出具体实例加以说明。     

NoSQL分布式大数据存储技术与应用探究

在如今信息化高速发展的时代,实际工程中数据的产生量也越来越大,传统的数据库已经不能再适应信息的发展,新的数据库技术就应用而生.相比于传统数据库存储效率低、对硬件要求高的弊端,新的数据库技术便避免了这一弊端,提出以NoSQL数据库为基础进行大数据处理,将传统的数据库关系模型进行转型,数据的存储不再依赖于固定的表结构,而是自由存储,这一方法的主要目标就是构建出一个建立在NoSQL基础上的数据监测系统.研究表明,这一方法可以对大数据进行实时处理,在一些数据计算方法和速度上都比传统的数据库技术有明显的优势.     

基于FODO算法MongoDB自动分片的改进

随着Web2.0技术的高速发展,云计算中的大规模分布式服务和数据存储技术对传统的关系型数据库带来了巨大的挑战.NoSQL数据库打破了关系型数据的束缚,正在成为人们关注的焦点.NoSQL是一种非关系型数据库管理系统,松散的数据存储机制,不支持多表查询,有高效的查询功能.文中首先介绍了MongoDB数据库自动分片的原理和实现机制,然后为了解决在自动分片中数据负载不均衡,提出了基于数据操作频率的改进算法.这个改进的平衡策略可以有效地均衡分片中的数据,提高集群的并发读写性能.