基于非关系型数据库的水文数据分析方法研究

针对水文结构化和非结构化数据中的文字信息分析,以及从分析结果直接调取原始数据进行溯源以验证数据的真实性,提出基于非关系型数据库的水文数据分析方法。将海量水文数据存储在 TRIP 非关系型数据库,搜索引擎集成在数据库,利用索引、中文自动分词、检索和统计分析功能,对水文数据中的数值、日期、 时间、文字内容进行分析。对水文观测项目文字内容的分析,获得水文测站的水文观测项目分布;对长序列、 全时段分钟降水数据的分析,获得降水变化特征;对单站单日降水量的分析,获得单站单日降水量的分布,读取数据库中降水自记纸图像文件并进行溯源。研究结果表明：在非关系型数据库存储海量水文结构化和非结构化数据的基础上,能够对海量水文数据进行分析和数据溯源,具有现实的应用价值。     

Notes数据库与关系型数据库之间的整合在办公自动化系统中的应用

本文在基于LotusDomino／Notes平台开发的办公自动化系统基础之上,介绍了非结构化数据的特点及非结构化数据库在办公自动化系统中的作用,对非结构化数据库与传统关系型数据库的存储机制和访问机制进行了详细的分析探讨,提出了Notes数据库与关系型数据库整合的技术方式,其目．的是实现企业信息系统中Notes数据库与关系型数据库信息交互。以利用Notes平台提供的良好性能共享信息数据。     

一种基于MongoDB的企业内容管理系统实现

随着IT技术在企业实际业务中扮演着越来越重要的角色,企业的IT系统中所产生的数据量也越来越大,其中非结构化的数据又占有相当大的比例,传统的利用关系型数据库对非结构化数据的管理在面对海量数据时面临着性能不足的瓶颈.基于此,提出了使用非关系型数据库MongoDB作为后端数据库的内容管理解决方案,利用MongoDB的文档数据库且易于横向扩展的特性来解决基于关系型数据库的内容管理系统的性能瓶颈.     

面向电子政务的MongoDB与MySQL混合存储策略

针对传统电子政务平台所采用的关系型数据库在存储非结构化数据时的缺陷,利用MongoDB存储海量非结构化数据的优势,提出MongoDB与MySQL混合存储的策略。MongoDB负责存储图片、视频等非结构化数据,MySQL负责存储用户注册信息、工资表等结构化数据。二者协同提供政务数据的云存储服务和查询操作,从而降低MySQL数据库服务器的负载,节约MySQL的存储空间,增强电子政务后台数据库的扩展性。实验结果表明,该混合策略能大大提高电子政务平台的查询效率。     

PostgreSQL与MongoDB处理非结构化数据性能比较

互联网技术的发展产生的海量非结构化数据在传统关系型数据库中难以被高速有效地进行存储和处理,各类NoSQL数据库可以有效存储处理非结构化数据,但是对关系运算功能的弱化难以满足应用场景的需求。具备非结构化数据处理能力的新型关系型数据库提供了适用多种应用场景的高效存储方式。为了能够定量地比较关系型数据库和面向文档的NoSQL数据库的数据存储与处理能力,比较了PostgreSQL的hstore数据类型和MongoDB的内嵌文档对非结构化数据的储存方式,并通过非结构化数据的批量加载、磁盘占用、主键查询、非主键查询、地理空间坐标查询等方面的对比来以分析性能特征与适用场景。     

Lotus notes与关系型数据库的连接

由于notes在事务处理以及关系型数据库在非结构化数据的存储上的不足,因此本文提出要将NOTES与关系型数据库相连接,并详细介绍了两者连接的各种方法。     

基于NoSQL的FITS文件头元数据存储和查询研究

随着大型天文望远镜的投入使用,观测台站正面临PB量级的海量数据存储、快速检索难题;同时由于在数据检索中起着关键作用的FITS文件头的可变性,导致难以使用传统的关系型数据库来建立可适应这种变化需求的非结构化数据模型。针对这个难题,提出了使用NoSQL对天文上广泛使用的FITS文件头中所包含的可变元数据信息进行存储和查询;讨论了关系型数据模型存储可变FITS文件头的不足;分析了NoSQL存储可变FITS头元数据信息的可行性;使用形式化的关系型代数对这种存储查询方式进行了一般化的讨论。通过具体查询实例验证了该方案在存储天文可变FITS文件头的有效性和可行性。     

Lotus notes在关系型数据库的连接

由于ｎｏｔｅｓ在事务处理以及关系型数据库在非结构化数据的存储上的不足,因此本文提出要将ＮＯＴＥＳ与关系型数据库相连接,并详细介绍了两者连接的各种方法。     

面向云存储的非结构化数据存储研究

云存储是网格、并行和分布式计算等众多技术发展和延伸,云存储实现了存储的完全虚拟化,提供更强大的存储及共享功能[1].非机构化数据包括文本、图像、音频、视频、PDF、电子表格等.非结构化数据的存储通常有两种方式,一种是使用文件系统以文件的方式存储,将文件的路径或者链接存储在关系型数据库表中;另一种是将这些数据存储在传统的数据库表的大对象字段中.文章主要研究非结构化数据的存储方式,结合非结构化数据的特点,云存储的优势以及MongoDB的数据存储特性,提出非结构化数据云存储的必要性.     

关系型数据库内存化存储模型研究

大数据环境下,磁盘数据库存在高并发I/O瓶颈,磁盘数据内存化是解决传统关系型磁盘数据库I/O瓶颈的有效方案。已有的内存化技术存在数据丢失、配置复杂等问题。基于内存数据库Redis,以典型开源关系型数据库MySQL为例,提出一种解决关系型数据库磁盘I/O瓶颈的轻量级内存化解决方案,实现MySQL的内存化存储。同时构建行式键值（RB-KVM）和分段列式键值交叉（PCB-KVCM）存储转换模型,实现异构数据库存储模型的转换和自动化数据迁移。通过分析对比,RB-KVM数据存取效率更高,而PCB-KVCM具有更高的内存利用率且在时间开销上优于RB-KVM。通过实际运行分析,该技术不仅提高了数据库在高并发场景下的吞吐能力,实现了海量热点数据的高效存取,在实际应用中也更加快捷,实施成本更低。     

数据库与MapReduce融合的大数据管理技术探索

大数据管理是随着时代和技术发展而提出和演化的命题。随着大数据从传统的结构化数据向无结构化数据的转移,Key/value存储、NoSQL、MapReduce等技术成为数据库技术之外大数据管理的多样化手段。MapReduce以其开放性成为当前大数据的代表技术,在大数据应用中,如何让MapReduce与数据库高效协同,发挥各自的技术优势和平台优势,提供高性能、高可扩展性、高可用性的大数据服务平台成为重要的研究课题。本文讨论在大数据存储、管理与服务主题上的观点和技术路线,探索将MapReduce作为数据库新的应用与开发平台的可行性。     

水文预报业务非结构化数据库选型探索

如何更加高效地存储和处理海量非结构化数据,已成为水利行业信息化建设亟待解决的难题,水文预报业务作为水利行业的核心业务,选择合适的数据库是首要任务。对目前国产主流数据库进行梳理,将非结构化数据库分为数据库结合NAS、数据库大字段、多模数据库3种类型,针对每种类型,分析原理、特点、数据处理时效性、支持的数据量、数据查询效率等多个方面,对部分类型进行压力测试,获取量化性能指标,使选型者可以结合自身应用场景进行比较分析选择合适类型,并基于水文预报业务数据库选型经验,提出水利非结构化数据库选型建议。通过分析认为不同的业务需求适合不同的数据库类型,对于水文预报业务这类海量非结构化数据存储管理、且数据处理能力要求高的场景建议选用数据库大字段或多模数据库。     

面向隐私保护的异构数据库集成中间件系统

信息化时代,数据增长迅速,形式多样,数据的存储安全和高效处理问题备受关注,传统的关系数据库因其单表架构和行存储特点读写速度慢、扩展性较差,难以适应大数据的存储。关系与非关系数据库的融合技术应运而生。文中提出一种面向隐私保护的异构数据库集成中间件系统,虚拟化集成关系与非关系数据库。该中间件系统通过明密文数据库的整体映射,实现对隐私数据的保护,且其加解密过程对上层应用透明;通过提供通用的基于标准的体系结构,实现允许用户以SQL语句统一操作密文数据库和非关系数据库。仿真结果表明,该中间件系统中密文数据库保证了数据的安全性,关系与非关系数据库的融合可以存储和处理海量数据,SQL统一操作的标准化框架提高了系统的扩展性和应用范围。     

基于大数据应用的地质灾害数据存储策略

针对人工智能算法和大数据技术在地质灾害监测和预警上的应用需求,基于分布式文件系统(HDFS)和列式存储非关系型数据库(HBase)提出了地质灾害相关数据的存储策略;分析了地质灾害监控系统、地质灾害预测预报系统所需使用数据的数据种类、数据格式、数据容量、数据频率及数据增长速度等信息;从数据粒度大小的角度来对数据进行分类和组织,对不同粒度的数据设计了不同的存储模式,以实现高效的存取效率;根据数据的应用特性对数据进行类别划分,为不同类型的数据提供不同的存储结构和访问接口,以获得最优的数据访问性能。     

面向混合数据源的企业数据库私有云设计

针对混合数据源的采集、集成和应用问题,提出一种面向混合数据源的数据库私有云设计,针对混合数据源的不同结构化程度,将数据源分成结构化、半结构化和非结构化;针对混合数据源不同的不同时序特点,数据库私有云设计定时采集和实时采集两种采集方式;为了提高混合数据源的存取效率,数据库私有云将非结构化和半结构化数据存储在分布式文件系统...     

基于分布式文件电力异构数据存储综述

随着国网公司信息化建设的不断推进,在整个电网的运检和管理的过程中都会产生海量的数据,这些数据中包含各场景产生的视频、图片、传感器数据和一些企业档案信息等非结构（异构）化数据.在面对如此大规模非结构化的数据存储要求时,传统关系型数据库已经表现的力不从心了.如何对此类数据进行高效地、廉价地和安全可靠地存储,并且可以快速检索与分析,是当下研究的重要热点课题之一.本文首先分析了电网大数据的产生及特征,然后综述了工业界大数据分布式文件存储技术,最后分析适合国网非结构化数据的分布式文件存储策略.     

面向大数据的北京水务数据融合技术研究

为解决北京水务数据资源面临多源异构数据难以分析及数据集成困难等难题,在分析北京水务数据资源的基础上,采用大数据和云计算等相关技术进行北京水务数据资源的有效融合。针对北京水务的结构化及非结构化数据,研究相应的数据抽取、转换及存储的技术,提出基于水务数据资源融合的技术架构,其中结构化数据抽取使用D2RQ工具,非结构化数据的抽取使用jieba分词工具及tf-idf权重算法,并进行实验验证,证明该套技术方案的可行性与可信度,在数据存储模块采用基于云计算的分布式数据存储技术,用于存储融合后的海量数据。研究的数据资源融合技术方案能够帮助提高北京水务数据资源的融合效率与应用能力。     

大数据环境下的电力客户服务数据分析系统

作为电网企业对外服务窗口,电网客户服务中心需要整合企业内部各种异构数据资源、存贮和分析海量的客户服务语音信息和 WEB 服务信息。如何对电网企业各类数据进行高效、可靠、低廉地存储,并快速访问和分析,是当前重要的研究课题。首先分析了大数据的特征和大数据的关键技术,其后,设计了大数据时代下的电力客户服务数据分析系统,提出了系统的数据体系架构,设计了系统功能,总结了系统的关键技术和算法,该系统利用大数据技术和数据仓库技术集中存储、管理和应用电网数据,通过元数据管理实现统一的数据服务平台,使用Hadoop数据库作为非结构数据的存贮平台和数据分析与挖掘的支撑平台,基于CDC数据仓库ETL模型设计数据仓库 ETL 构件,在数据展示层使用多维数据分析技术。最后,综述了系统应用案例,实践表明,系统具有成本低、扩展性较好、可靠性高、并行分析等特点,可以大大提高电网企业的客户服务水平。     

基于可伸缩◢l◣-多样性的大数据发布隐私保护

针对非结构化大数据发布中的隐私保护问题,提出了一种基于改进的可伸缩l-多样性(improved scalable l-diversity,Im SLD)大数据发布隐私保护方法。该算法采用基于两阶段条件随机场的命名实体识别(named entity recognition,NER)方法将非结构化数据表示为结构化形式,设计一种改进的可伸缩l-多样性算法来对表现良好的非结构化数据进行匿名化,实现保护非结构化大数据发布的隐私,通过Apache Pig实现Im SLD算法来使其具有可伸缩性。实验表明与MRA和SKA算法相比,改进的Im SLD算法在不同数据集上提供相同级别的隐私时信息损失均优于对比的另外两种算法。