分布式气象大数据快显技术的设计与实现

随着气象数据不断迈向海量的大数据范畴,原有省级CIMISS已不能满足实际需求。为了解决系统实时查询性能低下、动态扩展能力不足等问题,基于GBase、MySQL、MongoDB、HBase等不同的数据库,针对不同的气象数据特征进行分库存储,构建大数据分布式存储数据中心,并利用并行计算技术针对数据服务显示功能进行增速。实践证明,该方案不但能与CIMISS无缝衔接,而且还极大提升数据的查询显示速度,且并发响应能力强,时间跨度越大查询优势则越明显。与CIMISS相比,整体系统查询速度平均提升了860%,能够有效地满足气象业务和科研的服务需求。     

基于分布式技术的气象系统数据服务平台构建

现有气象系统建设和设计缺乏统一规划,导致各系统林立,数据管理散、乱、差,整体安全防护能力较弱,集约化差。本文利用分布式技术,构建基于“分布式关系型数据库+事务性数据库+列式数据库+表格系统+分布式文件系统”的混合型模式大数据服务中心,进行数据的存储、管理和服务,并通过MUSIC接口与省级CIMISS系统无缝衔接在一起,有效实现了数据的共享、流程的高度集约,并极大提升了数据的影响能力。相同条件下,10年自动站数据查询的性能提升了22倍多,而随着时间维度的增加,这种提升的优势会更大。     

基于CIMISS的海南气象信息服务网设计与实现

随着海南省气象业务的快速发展和社会公众对气象预报、预警服务的日益关注,建设海南气象信息服务网,形成海南气象系统内部统一的省级气象信息服务平台,是海南省气象现代化建设的重要任务之一;基于全国综合气象信息共享平台（CIMISS,china integrated meteorological information service system）的基础气象数据,整合相关业务单位的数据资源,利用统一的数据收集、处理及存储方式,采用Model+View+Controller (MVC)开发模式,使用J2EE应用架构Struts+Spring+Hibernate (SSH)研发一个集预报预警、气象监测和决策服务等功能于一体的信息服务平台,实现省级气象观测数据和预报产品的集约共享服务;目前,平台已投入业务试运行,运行稳定,具有高可用性和高可靠性,为社会公众提供及时、有效的基础气象数据服务产品。     

基于CIMISS的省级气象业务系统的应用设计

全国综合气象信息共享平台(CIMISS)为全国气象部门提供了统一的数据环境。讨论了基于CIMISS数据环境建立的省级气象业务系统应用设计方案,在不改变省级现有气象业务系统业务流程和系统架构的基础上对系统进行改造,实现本地化系统与CIMISS系统的无缝对接。设计方案中,利用数据接口获取气象数据,并根据数据结构的不同分别讨论了离散数据、网格化数据、栅格数据的解析方式,最后实现气象数据的高效快速可视化。结果显示,建立的CIMISS在省级气象业务系统中的应用流程和方案是有效和可行的,为气象业务系统接入CIMISS数据环境提供一定的借鉴和参考。     

基于分组的分布式数据库信息共享机制研究

主要介绍了中理工大学数据库多媒体技术研究所研制的DM3服务器的分组机制。其主要思想是将服务器站特点分组,组内站点组成紧密耦合的分布式数据库,而组间信息共享通过组间协调器实现。这样既能较好地满足企业的需要,也能在保证效率的前提下,提高数据的可获性。     

基于元数据的环境数据服务总线

环境监测、收费、统计等方面存在大量信息孤岛,导致数据不一致及共享困难。立足于共享环境数据,将共享数据抽取到数据中心,利用元数据实现目录化管理,并设计相应粒度Web服务,在企业服务总线(Enterprise Service Bus,ESB)上实现数据共享。     

基于JDBC的异构分布式数据库访问

实现异构分布式数据库共享所要解决的主要问题是数据库转换和数据库的透明访问，目前流行的实现异构数据库互产访问的两种方式是采用公共程序编程接口和专业数据库网关产品，基于JDBC的异构分布式数据库访问方法是以程序编程接口为思想的实现方案，该文详细讨论了JDBC的工作原理和基于JDBC的异构分布式数据库访问的实现方法。     

基于Web服务的气象数据服务

Web服务是一种可以在Internet上描述、发布、查找和进行通信的自包含、自描述、松散耦合的软组件系统。基于全国气象宽带通信网络,设计并开发一套基于Web服务的气象数据服务系统,对系统的背景和相关技术进行介绍,给出气象数据服务的设计和服务的具体实现以及部分测试数据和结论。     

大数据时代数据管理方式的研究

各种各样网络的兴起和发展,半结构化及非结构化数据成几何倍数增长,数据规模和数据种类正以前所未有的速度增长,大数据时代已经来临。如何更好地管理和利用大数据已经成为普遍关注的话题。简要分析了数据库技术的发展历程,阐述了大数据时代数据管理方式,并对大数据时代数据管理方式作出了展望。     

基于大数据集群架构的数据管理系统设计

由于传统存储设备容量、传输带宽有限,而且设备节点扩展难、使用难、数据管理难,不足以应付不断增长的用户及数据存储要求。针对这种情况,通过对现有大数据底层支撑技术的梳理,搭建了一种基于大数据集群架构的数据管理系统,该系统为满足支持不同地域海量数据服务的需求,考虑了高性能、易用性、易扩展和可靠性等方面的因素,解决了在用户激增的情况下,较容易的通过增加硬件就完成系统的扩容,并具备异地就近服务、异地互备的能力。     

数据管理技术的新格局

数据获取技术的革命性进步、存储器价格的显著下降以及人们希望从数据中获得知识的客观需要等,催生了大数据.数据管理技术迎来了大数据时代.关系数据库技术经历了20世纪70年代以来40年的发展,目前遇到了系统扩展性不足、支持数据类型单一等困难.近年来,noSQL技术异军突起,对多种类型的数据进行有效的管理、处理和分析;通过并行处理技术获得良好的系统性能;并以其高度的扩展性,满足不断增长的数据量的处理要求.试图沿着数据库技术进步的历史脉络,从应用维度(操作型与分析型应用)入手,为读者展开当今数据管理技术的新格局,讨论具有挑战性的重要问题,并介绍作者自己的研究工作.     

面向动态模糊数据的关系数据库系统的研究

为使关系数据库系统具备处理动态模糊数据的能力,将动态模糊理论和关系数据库理论相结合,通过分析面向动态模糊数据的关系数据库系统的功能,构造了该数据库的系统结构,探讨了实现该数据库的方法,对面向动态模糊数据的关系数据库系统做了初步的研究。     

一种地市级气象数据共享系统的设计与实现

气象数据共享是气象预报预警、公共气象服务的基础。针对地市级气象数据存储分散、共享水平低、无标准等问题,从气象应用需求和数据共享角度,首先设计标准化数据获取客户端,以灵活配置的形式完成多种气象资料的解析。通过气象资料的逻辑划分,实现物理上集中存储,逻辑上相对独立的方式进行数据存储和管理。同时,系统以多种方式进行数据共享服务和安全访问控制。在标准化气象数据获取、一体化气象数据存储与管理,数据共享服务等方面,构建了灵活、高效的气象数据流程,设计和实现了一种面向地市级的实时气象数据共享系统。在整个数据流程中,均考虑每个环节的监控,为集中运维提供可靠的数据参考。目前,该系统已经投入业务使用,为市县两级气象应用的数据调取和公共气象服务提供稳定、高效的实时数据共享服务,取得了较好的应用效果。     

基于大数据的智慧林业系统设计

With the development of 5G, big data, cloud computing, IOT, mobile Internet and other information technologies of new generation, the design of forestry information system establishes a new mode of forestry development integrating three-dimensional perception, collaborative management and internal and external services by means of perception, IOT and intelligence. Intelligent forestry system is a comprehensive information management system integrating forest management, intelligent forestry business management, green maintenance management and emergency command and dispatching management. Based on the specific project practice, this paper puts forward the overall framework design scheme and management platform design scheme of intelligent forest- ry.     

基于Varitas的分布式数据库备份系统设计

数据库安全备份系统是大型分布式数据库可靠、稳定运行的重要保障,针对大型综合海洋环境分布式数据库对数据安全备份的需求,利用Varitas软件系统提供的存储备份功能,设计了具有双机容错、异地容灾、盘阵备份以及系统级快速恢复的数据库备份系统,系统应用实验表明了该设计的可行性和有效性。