基于HBase的气象地面分钟数据分布式存储系统

针对气象地面分钟数据要素多样、信息量大、产生频次高等特点,传统的关系型数据库系统在存储和管理数据上出现负载饱满、读写性能不理想等问题。结合对分布式数据库HBase的存储模型的研究,行主键(row key)采用时间加站号的方式设计了气象分钟数据存储结构模型,实现对海量气象数据的分布式存储和元信息管理。对HBase的唯一索引在面对气象业务的复杂查询用例时响应时间过长的问题,使用搜索引擎solr提供的API接口并参考气象业务中的查询用例对相关字段建立辅助索引,来满足业务检索时效。实验结果表明,该系统具有很好的存储能力和检索效率,入库效率最高可达每秒34000条,并且在常规查询用例的结果返回时效达到毫秒级,能够满足大规模气象数据在业务应用中对存储和查询时效的性能要求。     

面向管理实体对象的海量工程项目数据模型及实现

针对建立统一数据模型的PIP数据中心的需求,提出一种面向管理实体对象的数据基本模型,把工程项目数据按项目全生命周期过程分解为若干个基于工作流的可管理的实体对象,给出了项目工程数据概念层模型,利用该模型实现项目工程数据的自然表达和记录。进一步,基于文档型数据库MongoDB技术提出工程项目数据的组织方法,并设计了存储服务集群架构方案。实验表明,该存储方案具有高效的数据写入和查询性能,具有服务高可用性和存储能力的可扩展性等特点。     

气象数据存贮管理系统

为解决当前北京市气象局历史气象数据庞大,存储结构欠合理,存储格式不统一,数据管理不明晰,以及科研人员、气象预报人员获取历史气象数据难两大突出问题,提出了气象数据存贮策略,并以B/S结构框架,开发了气象数据存贮管理系统。该系统为业务和科研人员在数据获取上提供了一个便捷通道,同时,又将数据统一、有序管理起来,实现了气象数据的存储、管理、以及服务的整合和一体化。本系统的实现将为气象数据存贮管理提供了一个很好地样例。     

基于Hadoop的气象信息数据仓库建立与测试

气象相关的数据随着气象事业现代化水平的不断提高而与日俱增,使得气象部门对于气象数据存储、管理和读取的要求越来越高;通过分析开源云平台Hadoop的分布式文件系统HDFS、数据仓库工具Hive等架构,研究了Hadoop气象云平台的构建过程,最终实现了气象信息数据仓库的建立与测试;该气象信息数据仓库实现了海量气象数据文件的分布式存储、元数据管理以及气象数据的查询;应用表明,使用气象数据仓库进行大型气象数据文件存储和操作时,可以大大提升数据吞吐率和数据读写操作效率。     

基于电网分布式存储构建业务分析模型的探索和研究

由于电网大数据分散存储在不同的独立存储服务中,难以保证文档检索全面性和准确性,影响查询业务质量。为此,构建基于电网分布式存储的业务分析模型。切分待存储文件,组成文件碎片,分布存储到不同的存储节点中,构建电网分布式存储模型。针对该模型,扩展查询业务关键词,增大查询范围。基于查询业务扩展结果,构建业务探索分析模型,从分布式数据库中检索相关文档。实验结果表明：所构建模型的各类电网大数据检索F1值接近1,提高了电网分布式存储文档检索的全面性和准确性。     

Share Nothing分布式气象数据存储处理系统的设计与实现

随着气象观测、预报和服务业务的快速发展，气象资料的种类和数据量日益增多，数据写入频率越来越高，对气象数据存储处理系统提出极大挑战，进一步提升CIMISS数据管理和服务能力的需求变得日益迫切。为解决存储处理系统动态扩展能力不足、吞吐与并行计算效率低下的问题，采用一系列Share Nothing分布式集群设计，包括Share Nothing分布式架构、分布式数据库、NAS存储技术等搭建可动态扩展的Share Nothing分布式气象数据存储处理系统。实践证明，该方案设计能够满足当今气象结构化数据和非结构化数据对存储能力、并发响应能力的需求，通过动态扩展可便捷适应未来气象业务发展对数据存储和应用等服务能力不断增加的需求，具备气象现代发展进程中气象数据存储处理系统高吞吐量、可动态横向扩展、高稳定性、高可靠性的特性。     

Redis缓存技术在自动气象站资料调用中的优化应用

为了提高气象自动站资料的检索查询效率,采用基于内存Key-Value结构的Redis数据库技术,通过搭建Redis数据库集群,把数据缓存在内存中并实现主从复制,提出一种适合气象自动站数据特性的数据存储结构模型,使得高频次访问的气象自动站数据能够直接从内存中读取,有效地减少数据查询响应的时间.本文分析了逐小时自动气象站观测资料的调用情况和到报时间特性,并基于Redis分别从业务库、索引库和时间库对逐小时自动站资料进行存储设计和具体实现,最后通过实验比对,得出采用Redis缓存逐小时自动气象站观测资料的检索效率比直接访问CIMISS检索效率高,该方法也可以应用到其它资料的检索调用业务场景中,具有较好的推广应用价值.     

存储容量可扩展区块链系统的高效查询模型

区块链技术是目前计算机领域的研究热点,其实现了去中心化,并且能够安全地存储数字信息,有效降低现实经济的信任成本.提出一种区块链存储容量可扩展模型的高效查询方法——ElasticQM.此查询模型由用户层、查询层、存储层和数据层这4个模块组成.在用户层,模型将查询结果缓存,加快再次查询相同数据时的查询速度;在查询层,模型采用容量可扩展区块链模型的全局查询优化算法,增加了查询超级节点、查询验证节点和查询叶子节点这3种节点角色,提高了查询效率;在存储层,模型改进了区块链的容量可扩展模型ElasticChain的数据存储过程,实现了存储的可扩展性,并减少了占用的存储空间;在数据层,提出一种基于B-M树的区块链存储结构,并给出了B-M树的建立算法和基于B-M树的查找算法,基于B-M树的存储结构,区块链会在进行块内局部查找时提高区块链的查询速度.最后,通过在多节点不同数据量的区块链中查询的实验结果表明,ElasticQM查询方法具有高效的查询效率.     

分布式气象大数据快显技术的设计与实现

随着气象数据不断迈向海量的大数据范畴，原有省级CIMISS已不能满足实际需求。为了解决系统实时查询性能低下、动态扩展能力不足等问题，基于GBase、MySQL、MongoDB、HBase等不同的数据库，针对不同的气象数据特征进行分库存储，构建大数据分布式存储数据中心，并利用并行计算技术针对数据服务显示功能进行增速。实践证明，该方案不但能与CIMISS无缝衔接，而且还极大提升数据的查询显示速度，且并发响应能力强，时间跨度越大查询优势则越明显。与CIMISS相比，整体系统查询速度平均提升了860%,能够有效地满足气象业务和科研的服务需求。     

智能超市中在线与离线RFID数据仓库技术研究

本文通过分析超市环境RFID数据管理的特点,提出了在线数据处理与离线数据存储相结合的数据仓库模型,实现智能超市中的RFID数据管理。使用内存数据库管理物品的最新信息,使频繁的状态更新在内存中完成,提高了实时查询的速度。利用磁盘数据库的大容量存储历史数据,支持对离线数据的查询。     

基于管理类专业数据库实验课程现状与改进

该文管理类专业数据库课程现状进行讨论,分析了管理类专业数据库课程现状和存在的问题,从更新实验教学观念——让学生更了解数据库、改进实验教学方法——让学生有更高层次地领悟数据库原理、数据库设计、数据库应用。     

一个主动实时数据库管理系统的体系结构与执行模型

本文首先探讨了实时 DB、主动 DB的基本概念 ,然后提出了实时 DB和主动DB的结合机制 ,最后介绍了我们自行研制的一个主动实时 DBMS原型系统 ARTS- 1的体系结构与执行模型。     

SQL Server数据库分类及迁移的方法

在实践中常常会遇到这样的情况:SQL Server数据库运行一段时间后,可能由于存放SQL Server数据库的硬盘空间不足或性能、质量不佳,使数据库运行效率大大下降,甚至不能正常工作。对此,最好的解决办法莫过于给数据库找个更加宽敞、安全的新硬盘空间。本文就是争对SQL Server中不同类型数据库的迁移方法进行深入探讨,使大家能更方便、高效使用SQL Server数据库。     

A performance evaluation of distributed database architectures

The globally integrated contemporary business environment has prompted new challenges to database architectures in order to enable organizations to improve database applications performance, scalability, reliability and data privacy in adapting to the evolving nature of business. Although a number of distributed database architectures are available for choice, there is a lack of an in‐depth understanding of the performance characteristics of these database architectures in a comparison way. In this paper, we report a performance study of three typical (centralized, partitioned and replicated) database architectures. We used the TPC‐C as the evaluation benchmark to simulate a contemporary business environment, and a commercially available database management system that supports the three architectures. We compared the performance of the partitioned and replicated architectures against the centralized database, which results in some interesting observations and practical experience. The findings and the practice presented in this paper provide useful information and experience for the enterprise architects and database administrators in determining the appropriate database architecture in moving from centralized to distributed environments. Copyright © 2012 John Wiley & Sons, Ltd.     

SQL Server数据库分类及迁移的方法

在实践中常常会遇到这样的情况：SQL Server数据库运行一段时间后，可能由于存放SQL Server数据库的硬盘空间不足或性能、质量不佳，使数据库运行效率大大下降，甚至不能正常工作。对此，最好的解决办法莫过于给数据库找个更加宽敞、安全的新硬盘空间。本文就是争对SQL Server中不同类型数据库的迁移方法进行深入探讨，使大家能更方便、高效使用SQL Server数据库。     

不同字符集数据库间的访问与移植研究

主要讨论了不同字符集在同类数据库间的访问与移植问题中的重要性,并以Oracle数据库为例,给出了几种不同方式的解决方案。     

支持密文索引的数据库透明加密方法

随着数据库的应用日益广泛,如何保护隐私数据和防止敏感数据泄露成为当前面临的重大挑战。数据库加密被证明是保护数据安全的有效手段,但是对数据库进行加密之后,数据之间原有的偏序关系将会丧失,无法通过原来的索引机制来加快对密文数据的条件查询。本文提出一种对数据库中的字段进行透明加密并实现高效条件查询的方法,并报告了基于该方法开发的数据库加密系统的测试数据。     

关于数据库安全管理问题的研究

数据库技术是应用最广泛的一门计算机技术,其安全性越来越重要。本文主要从数据库的特征出发,分析了当前数据库系统面临的安全问题,最后给出了解决此类问题的具体措施,并指明了数据安全未来研究的方向。     

Managing the development of database systems

The technical problems of database systems, if not solved, are at least now understood, whereas the problems of implementation, evaluation and operation of these systems are less well appreciated even though they are being experienced by many organizations. A survey of some 200 organizations in the UK who are (or claim to be) database users highlights some of these problems and paves the way to more successful implementation strategies. The project and some of its findings are presented here.     

演绎的面向对象数据库

本文回顾了演绎数据库（ＤｅＤＢ）和面向对象数据库（ＯＯＤＢ）的发展历史，综述了已取得的主要成果，讨论了研究的主要特征、存在的问题以及未来的发展方向。在此基础上，本文着重论述了演绎的面向对象数据库（ＤＯＯＤ）作为集成ＤｅＤＢ和ＯＯＤＢ理论和技术的新领域所涉及到的值得进一步的问题、目前采用的方法和取得的成果。此外，本文还讨论了ＤＯＯＤ系统开发的技术可能性，分析了实现ＤＯＯＤ系统的各种途径的可行性和技术关键。