时序数据库在风电监控系统中的应用

分析了风电监控系统对海量数据的存储和访问需求,提出了引入时序数据库技术来解决传统数据库在处理海量数据时碰到的存储容量和访问效率方面的问题.所采用的时序数据库和关系数据库相结合的解决方案,在满足海量数据存储和访问需求的同时,很好地解决了数据模型的描述和存储问题.介绍了基于时序数据库开发的一些风电高级应用.     

基于要素扩展管理的海量地质空间数据存储模型的设计与实现

随着地质空间数据量呈几何级速度增长,三维地质信息系统深入应用和地学数据可视化对海量地质空间数据的高效存储需求更加迫切。分析地质数据特征,其多类型、多尺度以及空间分布特征是设计地质空间数据库结构的决定性因素。基于此提出顾及地质实体多类型多尺度特征的一体化对象-关系型数据库存储模型。模型采用分层、分区、分类的管理策略和要素扩展管理技术实现海量地质空间数据的一体化存储。中国地质大学的QuantyView三维地学软件平台已经基于该存储模型实现了海量空间数据的存储、调度和可视化,证明了该模型对于海量空间数据存储具有实际应用的有效性。     

一种基于NoSQL数据库的医疗监护大数据存储设计

移动医疗、家庭远程监护等患者健康管理模式的兴起,产生了海量的医疗监护数据,在对患者的海量健康数据处理时存在性能瓶颈问题。文章首先介绍了医疗实时监护大数据的特征和应用模型,分析了当前关系数据库存储海量医疗监护数据存在的问题,比较了多种NoSQL数据库的特性,提出了使用HBase分布式非关系数据库进行医疗监护大数据存储的方案,并给出了主要表结构设计,最后对HBase数据库的部署、表数据访问进行说明。     

基于三维地球的多源空间科学数据可视化管理系统的设计与实现

如何高效地组织和管理日益增长的多源海量空间科学数据、提高数据的可用性和易用性,是空间科学目前需要重点解决的技术问题。在充分分析现有空间科学数据管理技术和数据特点的基础上,提出了一种有效的系统架构,研究并利用空间关系数据库及分布式数据库技术,实现了海量异构数据的高效存储、检索与定位;研究基于三维数字地球的多层次细节展示方法、三维数据剪裁、多线程并行加载等关键技术,提高了空间科学数据的集成可视化显示与应用效率。最后设计并集成了多源空间科学数据可视化组织与管理系统,在实际工程应用中验证了设计的合理性与有效性。     

基于代理的并行空间查询语言

目前针对并行空间数据处理的研究主要集中在空间数据划分及其在其基础上的并行空间算法,对空间并行数据库平台本身的可用性,如应用程序的开发模式、高并发请求支持等研究较少。为此,对开源并行关系数据库查询语言进行空间查询扩展,提出一种基于代理的并行空间查询语言,并实现相应的并行数据库平台原型。基于该平台开发标准的网络地图绘图服务,在高并发环境下使用该服务对海量矢量数据进行实时渲染。实验结果表明,该平台具有与传统关系数据库一致的开发应用模式,可提供无缝的衔接方式,在海量数据高并发的情况下具有较高的可用性及查询性能。     

基于架构的关系数据库与云端数据库比较分析

针对关系数据库在处理海量的视频、音频、图像及复杂数据类型时所暴露的缺陷,该文对基于架构的关系数据库和以Bigtable为代表的云端数据库进行比较分析,表明了云端数据库在处理海量数据及复杂数据时要比关系数据库更占优势。随着云端数据库技术的发展,云端数据库将会取代关系数据库成为数据库的主流。     

基于架构的关系数据库与云端数据库比较分析

针对关系数据库在处理海量的视频、音频、图像及复杂数据类型时所暴露的缺陷,该文对基于架构的关系数据库和以Bigtable为代表的云端数据库进行比较分析,表明了云端数据库在处理海量数据及复杂数据时要比关系数据库更占优势。随着云端数据库技术的发展,云端数据库将会取代关系数据库成为数据库的主流。     

异构数据库系统数据转换方法设计与实现

针对传统关系数据库处理海量数据效率低下的问题,提出了一种基于键值数据库Level DB与传统关系数据库My SQL协同存储管理海量数据的方案,以及两种数据库之间数据转换方法。首先对两种数据库特点进行了分析,提出了一种异构数据库系统存储策略,并在此基础上介绍了Level DB到My SQL的数据转移流程以及基于实用性的异构数据转换方法,最后给出了数据转换应用示例展示,结果表明,该方法具备良好的可行性和实用价值。     

基于ElasticSearch的海量遥感数据检索技术研究

随着我国对地观测技术的发展,卫星遥感数据越来越多,传统空间关系数据库在时间范围、空间范围的快速查询及可扩展方面存在一定瓶颈.通过分析ElasticSearch搜索引擎框架,提出了一种基于改良GeoHash编码的时空索引方法,设计并实现了基于ElasticSearch的海量遥感数据检索技术,可以精确高效建立一维行键索引筛选遥感数据,提高查询处理效率.实验结果表明,该技术适合于组织管理与查询海量的遥感数据,查询性能优于传统关系数据库.     

Hadoop对关系数据库的访问

Hadoop的分布式文件系统存储的是非结构化数据,可用来存储海量数据,适合海量数据集的应用程序,但有应用系统的关系数据库中存有大量的结构化数据,为了把现有关系数据库中的结化数据转存到Hadoop中,在Hadoop进行分布式计算处理并把分析结果存回到关系数据库中,Hadoop提供了两个访问关系数据的简单接口DBIn-putFormat和DBOutputFormat.通过具体实例介绍Hadoop与现有关系数据库结合,在Hadoop应用程序中访问关系数据.     

基于时空分区聚簇的海量时空数据性能优化方法研究

时空一体化的海量数据管理及相应的时序分析能力是新一代GIS软件体系的重要研究目标之一。当前，基于无缝海量大表的空间及时态空间数据的存取效率亟待提高。为了对海量时空数据进行有效管理和提高时空检索效率，以扩充关系型时空模型为基础，对大型对象一关系型数据库平台所提供的数据分区与聚簇方法进行了时空维的扩展，提出了基于时空分区聚簇（spatio-temporal partition clustering，STPC）的海量时空数据性能优化方法。基于2GB～60GB的单表所进行的检索效率对比测试结果表明，STPC机制较普通的数据组织方式时空检索效率平均提高了10．1％。     

基于Hadoop平台的数据迁移方法研究实现

随着计算机科学的发展和大数据时代的到来,应用系统已经出现了数据海量化、用户访问高量化的局面,使得企业应用系统的原有关系型数据库(RDBMS)面临承担更大负荷的压力,系统的高性能要求得不到有效满足,对于关系型数据库所面临的问题,Hadoop平台中的HBase数据库可有效解决。以关系型数据库中MySQL数据库及Hadoop平台中分布式数据库HBase数据库为研究基础,应对企业应用数据海量化增长,提出从关系型数据库(MySQL数据库)向分布式数据库(HBase数据库)进行数据迁移的方法,并通过研究HBase数据库存储原理提出从MySQL到HBase的表模式转换原则实现高效数据查询性能的数据迁移方法。最后,将该方法与同类数据迁移工具Sqoop进行比较,证明该方法进行数据迁移的便捷性和在迁移后数据库中进行连接查询的高效性。     

基于分布式计算框架的风暴三维追踪方法

气象数据的增长规模已达到每小时TB级,这使得传统基于关系型数据库和文件存储系统在海量数据存储与管理方面捉襟见肘,进而使得基于大规模异构气象数据的应用无法规模化,同时,也无法满足科研人员对海量气象数据高效探索的需要。为解决这一系列问题,研究者分别基于MapReduce、HBase等分布式框架下的分布式计算和存储技术,尝试为海量气象数据的探索提供有效技术手段,然而,综合性的研究据了解还未开展。因此,利用近年来积累的海量多普勒天气雷达数据,开展了基于MapReduce和HBase相结合的风暴三维追踪方法的研究,并基于传统Rest标准化接口实现了雷达资料的点、线、面、体的多种分布式服务接口,与传统的Rest标准化单机数据存储和访问接口的性能相比,所实现方法在性能方面有100%的效率提升。最后,以2007年至2009年珠江三角洲地区三年雷达数据的风暴追踪回算为例,进一步验证了所提方法在计算和存储管理方面的性能优势。     

A conceptual schema-based temporal meta database schemas generation technique for 3D objects

In this paper, a temporal meta database for three-dimensional (3D) objects whose properties and relationships are supported by valid time is introduced. Based on our proposed temporal object-oriented conceptual schema model, a conceptual schema of the temporal meta database can be generated from a 3D graphical data source and other particular application requirements. Based on our proposed temporal object relational data model with attribute timestamping, logical schemas of the temporal meta database can be systematically and automatically generated from the conceptual schema. From the temporal meta database, non-temporal/temporal metadata about temporal 3D objects are available for temporal information system users. Convenient access using database languages such as SQL can be performed. Queries over 3D objects using a temporal object relational SQL are demonstrated.     

关系型数据库内存化存储模型研究

大数据环境下,磁盘数据库存在高并发I/O瓶颈,磁盘数据内存化是解决传统关系型磁盘数据库I/O瓶颈的有效方案。已有的内存化技术存在数据丢失、配置复杂等问题。基于内存数据库Redis,以典型开源关系型数据库MySQL为例,提出一种解决关系型数据库磁盘I/O瓶颈的轻量级内存化解决方案,实现MySQL的内存化存储。同时构建行式键值（RB-KVM）和分段列式键值交叉（PCB-KVCM）存储转换模型,实现异构数据库存储模型的转换和自动化数据迁移。通过分析对比,RB-KVM数据存取效率更高,而PCB-KVCM具有更高的内存利用率且在时间开销上优于RB-KVM。通过实际运行分析,该技术不仅提高了数据库在高并发场景下的吞吐能力,实现了海量热点数据的高效存取,在实际应用中也更加快捷,实施成本更低。     

空间数据库研究

文章在研究现有空间数据库的基础上,采用空间数据和属性数据集成化存储的关系数据库模型,给出基于此模型的空间数据库的数据模型逻辑组织、库结构组织、存储组织以及实现的体系结构,提出了基于普通图层、拓扑线图层、拓扑面图层、拓扑体图层、2D栅格图层和3D栅格图层的空间数据库解决方案。     

基于实时同步的分页缓存及分区存贮的海量数据查询优化研究

随着海量数据的集中出现,对数据中心的海量数据的组织、查询和存取日益成为影响其性能的关键因素。传统的数据库优化技术只能实现降低查询处理时间或减少存储以及维护开销中的某一个或者某几个,无法达到同时优化的效果。提出一种基于实时同步的分页缓存及分区存贮（DBMS-Cache-DCS）的海量数据查询优化方法,实验结果表明,通过该方法可以同时降低访问处理时间。     

基于TYKY cNosql云数据库的医疗卫生信息存储架构研究

随着互联网Web 2.0技术的发展和医疗卫生信息数据的急剧增加,传统关系型数据库针对医疗海量大数据已出现存储效率低、高并发读写性能差、弹性存储扩展和数据管理困难等问题。研究采用非关系型数据库技术作为传统关系型数据库的补充,以模式自由的方式,设计具有海量大数据高效存储、高并发读写、易扩展、低成本等特点的医疗卫生信息存储架构,并阐述TYKY cNosql云数据库的关键技术和应用效果。