基于非关系型数据库的水文大数据存储方法研究

针对现有的技术架构和主流软件工具存储水文大数据存在的问题,分析非关系型数据库存储水文大数据的优势和技术特点,提出非关系型数据库TRIP存储水文大数据的方法。TRIP数据库管理系统部署在PC机上,水文结构化和非结构化数据存储在与PC机数据连接的磁盘存储装置的数据库文件中,根据水文数据的规模,增加磁盘存储装置的数量和容量。研究结果证明,TRIP数据库能够存储多种类型、格式的水文结构化和非结构化数据,可为水文行业存储水文大数据提供新的技术途径。     

一种基于MongoDB的企业内容管理系统实现

随着IT技术在企业实际业务中扮演着越来越重要的角色,企业的IT系统中所产生的数据量也越来越大,其中非结构化的数据又占有相当大的比例,传统的利用关系型数据库对非结构化数据的管理在面对海量数据时面临着性能不足的瓶颈.基于此,提出了使用非关系型数据库MongoDB作为后端数据库的内容管理解决方案,利用MongoDB的文档数据库且易于横向扩展的特性来解决基于关系型数据库的内容管理系统的性能瓶颈.     

基于TYKY cNosql云数据库的医疗卫生信息存储架构研究

随着互联网Web 2.0技术的发展和医疗卫生信息数据的急剧增加,传统关系型数据库针对医疗海量大数据已出现存储效率低、高并发读写性能差、弹性存储扩展和数据管理困难等问题。研究采用非关系型数据库技术作为传统关系型数据库的补充,以模式自由的方式,设计具有海量大数据高效存储、高并发读写、易扩展、低成本等特点的医疗卫生信息存储架构,并阐述TYKY cNosql云数据库的关键技术和应用效果。     

Notes数据库与关系型数据库之间的整合在办公自动化系统中的应用

本文在基于LotusDomino／Notes平台开发的办公自动化系统基础之上,介绍了非结构化数据的特点及非结构化数据库在办公自动化系统中的作用,对非结构化数据库与传统关系型数据库的存储机制和访问机制进行了详细的分析探讨,提出了Notes数据库与关系型数据库整合的技术方式,其目．的是实现企业信息系统中Notes数据库与关系型数据库信息交互。以利用Notes平台提供的良好性能共享信息数据。     

基于Hadoop平台的数据迁移方法研究实现

随着计算机科学的发展和大数据时代的到来,应用系统已经出现了数据海量化、用户访问高量化的局面,使得企业应用系统的原有关系型数据库(RDBMS)面临承担更大负荷的压力,系统的高性能要求得不到有效满足,对于关系型数据库所面临的问题,Hadoop平台中的HBase数据库可有效解决。以关系型数据库中MySQL数据库及Hadoop平台中分布式数据库HBase数据库为研究基础,应对企业应用数据海量化增长,提出从关系型数据库(MySQL数据库)向分布式数据库(HBase数据库)进行数据迁移的方法,并通过研究HBase数据库存储原理提出从MySQL到HBase的表模式转换原则实现高效数据查询性能的数据迁移方法。最后,将该方法与同类数据迁移工具Sqoop进行比较,证明该方法进行数据迁移的便捷性和在迁移后数据库中进行连接查询的高效性。     

PostgreSQL与MongoDB处理非结构化数据性能比较

互联网技术的发展产生的海量非结构化数据在传统关系型数据库中难以被高速有效地进行存储和处理,各类NoSQL数据库可以有效存储处理非结构化数据,但是对关系运算功能的弱化难以满足应用场景的需求。具备非结构化数据处理能力的新型关系型数据库提供了适用多种应用场景的高效存储方式。为了能够定量地比较关系型数据库和面向文档的NoSQL数据库的数据存储与处理能力,比较了PostgreSQL的hstore数据类型和MongoDB的内嵌文档对非结构化数据的储存方式,并通过非结构化数据的批量加载、磁盘占用、主键查询、非主键查询、地理空间坐标查询等方面的对比来以分析性能特征与适用场景。     

面向金融行业的大数据迁移的研究与实现

现有的金融行业的数据管理模式主要依赖于传统关系型数据库,然而传统架构受到拓展能力和存储性能的限制,难以满足大数据时代快速增长的海量数据量处理的需要。针对金融数据规模大、跨地域、跨系统存储、数据多样化等特点,提出了HiETL大数据迁移管理平台,实现了异构关系型数据库业务系统向Hadoop大数据平台的统一迁移,以及海量数据的集中整合、拓展存储、高效分析查询等一站式管理平台,在保证迁移准确的情况下,其速度可达到3?MB/s。     

一种MySQL到HBase的迁移策略的研究与实现

随着Web2.0的到来,互联网数据快速增长。大规模数据的采集和处理及应用直接影响着用户体验,决定着企业的发展。比较传统关系型数据库和分布式非关系型数据库两者处理大数据的性能,将本地数据迁移到分布式数据库势在必行。文章分析了现有迁移工具的利弊,基于HBase数据库提出了一种有效的数据迁移策略,并依据提出的策略实现了一种半自动化迁移工具。以美国城市和方言系统CityDetail数据库数据为例,阐述了该迁移工具的工作原理并对迁移后的数据进行多次查询比较,证明了使用该工具进行数据迁移的高效性。     

基于非关系型数据库的水文数据分析方法研究

针对水文结构化和非结构化数据中的文字信息分析,以及从分析结果直接调取原始数据进行溯源以验证数据的真实性,提出基于非关系型数据库的水文数据分析方法。将海量水文数据存储在 TRIP 非关系型数据库,搜索引擎集成在数据库,利用索引、中文自动分词、检索和统计分析功能,对水文数据中的数值、日期、 时间、文字内容进行分析。对水文观测项目文字内容的分析,获得水文测站的水文观测项目分布;对长序列、 全时段分钟降水数据的分析,获得降水变化特征;对单站单日降水量的分析,获得单站单日降水量的分布,读取数据库中降水自记纸图像文件并进行溯源。研究结果表明：在非关系型数据库存储海量水文结构化和非结构化数据的基础上,能够对海量水文数据进行分析和数据溯源,具有现实的应用价值。     

基于FODO算法MongoDB自动分片的改进

随着Web2.0技术的高速发展,云计算中的大规模分布式服务和数据存储技术对传统的关系型数据库带来了巨大的挑战。NoSQL数据库打破了关系型数据的束缚,正在成为人们关注的焦点。NoSQL是一种非关系型数据库管理系统,松散的数据存储机制,不支持多表查询,有高效的查询功能。文中首先介绍了MongoDB数据库自动分片的原理和实现机制,然后为了解决在自动分片中数据负载不均衡,提出了基于数据操作频率的改进算法。这个改进的平衡策略可以有效地均衡分片中的数据,提高集群的并发读写性能。     

面向隐私保护的异构数据库集成中间件系统

信息化时代,数据增长迅速,形式多样,数据的存储安全和高效处理问题备受关注,传统的关系数据库因其单表架构和行存储特点读写速度慢、扩展性较差,难以适应大数据的存储。关系与非关系数据库的融合技术应运而生。文中提出一种面向隐私保护的异构数据库集成中间件系统,虚拟化集成关系与非关系数据库。该中间件系统通过明密文数据库的整体映射,实现对隐私数据的保护,且其加解密过程对上层应用透明;通过提供通用的基于标准的体系结构,实现允许用户以SQL语句统一操作密文数据库和非关系数据库。仿真结果表明,该中间件系统中密文数据库保证了数据的安全性,关系与非关系数据库的融合可以存储和处理海量数据,SQL统一操作的标准化框架提高了系统的扩展性和应用范围。     

MongoDB数据库在网络行为分析与控制系统中的应用

在网络行为分析与控制系统中,传统的关系数据库在异构数据、海量日志的管理上难以胜任。NoSQL非关系型数据库的出现,对于解决面向文档的超大规模和高并发的问题提供了卓有成效的方案。本文在研究非关系数据库的基础上,着重分析MongoDB的特点和优势,通过性能测试,提出将MongoDB数据库应用于网络行为分析与控制系统,有效提高了大规模日志数据在网络行为分析与控制系统中的存储效率。     

OA系统与档案管理系统数据交换的研究与实现

Lotus Domino是当今办公自动化系统的主流开发平台之一,苏州大学的OA系统正是基于这个平台开发的。Domino自带一个非关系型数据库——文档型数据库,而苏州大学的档案管理系统的数据存储在SQL Server——关系型数据库中。因此要实现OA系统与档案管理系统的数据交换,必须要解决Domino和关系数据库的数据交换问题。本文利用ODBC实现Domino和关系数据库的互操作。     

基于Activiti+MongoDB的后勤自由流程信息系统

较大型单位的后勤保障时刻离不开流程管理信息系统,传统方法采用固定流程图和固定表单的方式,无法适应新形势下后勤灵活自主管理的要求.同时,传统信息系统采用的关系型数据库方式在适应当前后勤保障大数据时也捉襟见肘.本文设计并实现了使用Activiti和MongoDB的后勤自由流程信息系统,以自由灵活流程管理为目标,以关系型数据库辅助非关系型数据库为设计理念,给出了自由流程框架、关键接口和重要代码逻辑,以及两类数据库协同的设计方法.实现的系统有效地解决了上述问题,较大地减少了开发人员的工作量,为当前大型企业或单位后勤保障流程管理信息化提供了一个较高效的系统设计参考.     

ADO+ASP数据访问技术在电厂物流管理系统中的应用

本文分析了电厂物流管理系统的结构和设计原则，提出了以COM技术三层结构为基础，采用ADO ASP数据访问技术作用在服务器端，通过OLE DB提供者存取、操作各种关系型及非关系型数据库，通过执行SQL命令，让用户使用Web浏览器画面对现场物料进行实时管理的方法。     

面向海量非结构化数据的非关系型存储管理机制

针对传统的关系数据存储系统性能不足、容错性差,无法适应海量非结构化数据管理的问题,提出一种高性能、高可用非关系型存储管理机制。首先,设计了良好的用户访问服务接口,通过高效的一致性哈希算法支持数据分发到多个存储节点;其次,采用可配置的数据副本机制改善存储系统的可用性;最后,提出查询故障处理机制,用以提升存储系统的容错性,避免节点失效导致服务中断问题。实验结果表明,在不同规模用户负载下,新的存储系统的并发访问请求能力和传统的文件系统、关系数据库相比,分别提升了30%和50%;同时,在合理响应时间内,故障状态下的存储系统的可用性损失小于14%。因此,该机制适用于海量非结构化数据的高效存储管理。     

大数据分析——RDBMS 与MapReduce 的竞争与共生

在科学研究、计算机仿真、互联网应用、电子商务等诸多应用领域,数据量正在以极快的速度增长,为了分析和利用这些庞大的数据资源,必须依赖有效的数据分析技术.传统的关系数据管理技术(并行数据库)经过了将近40年的发展,在扩展性方面遇到了巨大的障碍,无法胜任大数据分析的任务;而以MapReduce为代表的非关系数据管理和分析技术异军突起,以其良好的扩展性、容错性和大规模并行处理的优势,从互联网信息搜索领域开始,进而在数据分析的诸多领域和关系数据管理技术展开了竞争.关系数据管理技术阵营在丧失搜索这个阵地之后,开始考虑自身的局限性,不断借鉴MapReduce的优秀思想改造自身,而以MapReduce为代表的非关系数据管理技术阵营,从关系数据管理技术所积累的宝贵财富中挖掘可以借鉴的技术和方法,不断解决其性能问题.面向大数据的深度分析需求,新的架构模式正在涌现.关系数据管理技术和非关系数据管理技术在不断的竞争中互相取长补短,在新的大数据分析生态系统内找到自己的位置.