天津气象信息综合管理共享系统建设与应用

随着天津省级气象数据的急剧增加,CIMISS对其存储和管理能力不足、查询规模较大的历史数据时效较低的问题日益突出.针对上述问题,基于分布式存储技术和WebGIS技术构建了天津气象信息综合管理共享系统,实现了天津特色观测数据、预报产品、智能预报、行业共享数据的集约管理、综合展示和统一服务,提升了天津气象大数据访问性能.文中详细阐述了系统的设计思路、数据流程、关键技术、主要功能及应用情况.     

基于HBase的气象地面分钟数据分布式存储系统

针对气象地面分钟数据要素多样、信息量大、产生频次高等特点,传统的关系型数据库系统在存储和管理数据上出现负载饱满、读写性能不理想等问题。结合对分布式数据库HBase的存储模型的研究,行主键(row key)采用时间加站号的方式设计了气象分钟数据存储结构模型,实现对海量气象数据的分布式存储和元信息管理。对HBase的唯一索引在面对气象业务的复杂查询用例时响应时间过长的问题,使用搜索引擎solr提供的API接口并参考气象业务中的查询用例对相关字段建立辅助索引,来满足业务检索时效。实验结果表明,该系统具有很好的存储能力和检索效率,入库效率最高可达每秒34000条,并且在常规查询用例的结果返回时效达到毫秒级,能够满足大规模气象数据在业务应用中对存储和查询时效的性能要求。     

中尺度加密站气象资料数据库的设计与应用

该文主要运用Delphi技术和SQL Server 2005数据库,对全省上千个自动气象站和中尺度加密站的气象资料进行运算和处理,建立实时气象资料数据库,并在此基础上进行统计,充分利用计算机的自动及快捷查询功能,为气象业务和服务提供先进、及时的气象数据.     

RabbitMQ在气象通信系统中的应用研究

随着现代气象自动观测技术的迅速发展,气象资料的数量及类型都大大增加。重要的气象观测资料产生的频次已经提升到了分钟级,传输的时效也要求提高到秒级。目前的气象通信系统1.0版本是基于传统的TCP/IP协议的FTP文件传输方式,已无法满足大数量、高频次、多种类的观测数据高时效传输。为满足现有业务的需求,设计了基于RabbitMQ消息通信传输模式的气象通信系统2.0版。着重研究RabbitMQ消息队列技术在气象通信系统中的应用,包含消息中间件技术、消息传输架构设计、观测数据消息封装、高时效高可靠设计、交换控制策略设计等。应用结果表明,基于RabbitMQ技术开发的气象通信系统运行稳定,96%的气象观测数据能够在2秒内完成从台站到国家级的传输,并且在10秒内完成全部数据的传输,通过交换控制策略将数据及时转发给业务单位使用,大幅提升了气象数据的传输时效性和服务能力。     

基于大数据技术的气象业务监视数据采集处理

气象数据生产过程中秒级数据流量达到6万次/秒,为了对海量气象数据进行实时监控,快速定位数据观测、传输、处理、服务全流程中各环节故障,研发了对监视数据的采集和处理框架.基于REST接口和Flume框架实时采集原始监视信息,采用Kafka实现监视数据流的缓冲和持久化存储,在Spark Streaming流式计算平台上实现对监视数据的预处理、指标计算,并对告警事件进行归并、压缩等处理,最终生成面向运维人员的告警.同时、上述系统采用故障仿真压测技术,对系统可能出现的故障进行了模拟压力测试.实验结果表明,上述框架能有效地解决海量监视数据的高效采集和处理,能够实时捕捉故障并进行有效分析与排除,其处理时效和准确性满足气象综合业务实时监控的需求.     

基于B/S架构的雾霾专题数据可视化服务系统设计与实现

国家气象信息中心承担着全国雾霾相关观测数据的收集与分发。传统数据服务以文字介绍和数据下载为主,统计结果通常滞后1个月,无论从展现方式以及服务时效都不能满足用户需求,为适应新的数据服务的需求,采用可视化的数据展现方式,在国家级气象业务系统中构建基于B/S结构的雾霾专题数据服务系统,实现雾霾相关观测数据的实时更新、实时统计、实时显示以及实时下载的功能。通过服务系统的应用,将统计产品的更新时效从月更新提高为日更新,有效提高了雾霾观测数据的服务时效以及可用性。     

海量气象数据实时解析与存储系统的设计与实现

气象数据是一种典型的非结构化数据,在实际应用中其日增量达数十TB,基于关系数据库和传统文件系统的解析、存储与访问模式已成为制约天气预报系统信息化发展的瓶颈之一。为满足全国天气预报平台MICAPS用户对实时数据的及时、快速查询,介绍了能够7*24小时稳定工作、支撑数十TB/天的数据实时解析系统。根据气象数据的多维模型和用户行为,采用非关系型分布式Key-Value数据库,设计实现了高性能海量数据存储系统。实践证明,数据实时解析系统和基于分布式非关系型KeyValue数据库的存储系统能有效满足海量实时气象数据存储、查询和应用需求。该系统已成为中国天气预报业务流程中的核心系统,体现了优异的功能和性能。     

面向实时应用的时态数据库系统体系结构 *

提出了面向实时应用的时态数据库系统 Agilor-TDB,详细介绍了系统的体系结构。针对实时应用 ,实现了实时任务调度。在数据存储方面介绍了基于时间区间的多级文件索引结构和高效的内存数据管理机制 ;在数据查询方面提出了高速查询缓存优化策略。此外 ,用 PN模型对系统并发控制进行了详细描述。     

云计算数据库在海量用电信息采集系统的应用研究

本文主要探讨如何将云计算技术应用在海量用电信息采集系统中,从而解决海量用电信息数据实时并发采集入库的速率问题、历史大数据的秒级查询和计算问题,提高了系统数据的实时性和可用性,满足了用电信息采集系统自治区级集中模式下的各盟市、县级操作人员对实时采集数据的查询、统计和分析工作,提高了工作效率。     

基于Hadoop技术的气象数据实时传输监控系统设计

气象数据在传输过程中,可能会出现数据丢失、重复、错误等问题,为准确分析气象问题表现情况,实现对气象问题的实时监控,设计了基于Hadoop技术的气象数据实时传输监控系统。联合JTAG调试电路与数据采集器,调节风速风向、雨雪、雷电、温湿度四个基础监控模块,完成气象数据实时传输监控系统的硬件设计。根据Hadoop架构体系连接形式,搭建Hadoop架构体系,预处理气象数据。在此基础上,匹配数据库机制与业务信息表单,实现应用系统的实时传输监控功能,再联合相关系统硬件,完成基于Hadoop技术的气象数据实时传输监控系统的设计。实验结果表明,在本文设计系统作用下,能够有效实现对风、雨、雪、雷四种气象问题的实时监测,可以准确分析气象问题表现情况。     

自动站数据的WebGIS信息发布及关键算法实现

为了更好地实现气象科学数据共享,给出自动气象站采集气象要素的WebGIS信息发布系统的功能实现和展示。系统完成了自动站观测数据的实时查询显示及数据事件机制,实现自动站周边下垫面空间查询分析,并结合WebService完成自动站观测要素值空间插值算法等关键功能接口。总之,WebGIS确实是实现气象数据共享的较佳实现方案,而在WebGIS系统的基础上使用和建立WebService服务,实现空间插值及分析等一系列过程复杂、计算量较大的功能性Web接口,可提升共享数据的加工质量和服务标准。     

基于北斗的气象自动观测系统数据编码设计

针对气象自动观测网数据传输需要,提出了基于北斗卫星导航系统的气象自动观测数据编码设计方案。该方案采用北斗短报文通信功能传输帧数据,从而实现自动观测数据的传输。采用该方案使得指挥终端能实时接收自动站发送的观测数据。采用北斗卫星导航系统能实现观测站点的快速部署和观测数据的高效获取。     

基于HBase的气象结构化数据查询优化

海量气象观、探测数据是提高公共气象服务精细化、精准化和个性化水平的关键。日增TB级的海量气象数据在存储、检索、传输、共享方面的时效性要求对构建在传统的IOE技术架构上气象数据管理系统提出了严峻挑战。在HBase基础上,提出了一个基于索引的气象结构化数据查询优化架构HBase4M（HBase for Meteorology）。首先,根据HBase存储特性设计表结构;然后,利用协处理器建立和维护辅助索引,将字段查询转化为对索引表的行键查询,使得HBase4M在具备HBase可扩展性、低延迟的特性上可以支持结构化气象数据的灵活查询。实验结果表明,HBase4M的性能可以基本满足气象服务的业务需要。     

利用DDE实现实时生产数据的存储和通用查询

DDE是Windows应用程序间数据通讯的一种方式。本文讨论了利用PowerBuilder的DDE功能设计基于数据库的实时监控系统的实现思路,以及实时数据被存储到SQL Server中用户前端分析、查询界面的设计方法。文中主要讨论了实时数据存储时,防止数据冲突及SQL Server中用户通用查询的解决方法。     

基于气象应用的私有云存储方案

为解决气象观察数据的频繁写入和大数据存储的问题,设计私有云存储模型。该模型分为用户访问接口层、元数据存储层、实体数据存储层和关系数据库4层结构。采用HDFS集群分布式文件系统,实现气象大数据的存储和高效查询与搜索业务;使用关系数据库系统,实现数据采集端频繁数据写入的业务。实验结果表明,该平台实现了海量气象数据存储、查询统计和属性管理,克服了云存储单条插入效率低的缺点,较好满足了气象部门大数据存储和管理的需求。     

工业实时数据库过程数据存储的研究与应用

过程数据是一种丰富的信息资源,过程数据存储的主要目的是为了满足某些应用软件（如趋势图软件）对实时数据的需求以及用户对历史数据的查询。在福大自动化公司开发的实时数据库软件基础上,主要介绍以内存数据库和磁盘历史数据库来存储实时历史数据,重点研究过程数据的存储设计和存储结构。最后,由工程实例给出了存储系统的功能应用。     

Spark Streaming框架下的气象自动站数据实时处理系统

针对现有气象自动站业务平台面临处理数据不及时、交互式响应慢、统计时效差等问题,提出了使用Spark Streaming技术和HBase解决该问题的方法,将实时计算框架和分布式数据库系统结合起来实现大规模流式数据处理。使用Flume收集自动站数据,Spark Streaming对数据进行流式处理并存储到HBase数据库中,并设计Spark框架下的自动站数据流式入库处理算法和要素极值的实时统计算法,在Cloudera平台下实现了一个高速可靠的实时采集、处理、统计的应用系统。通过对比分析和性能监测,验证了该系统具有低延迟和高吞吐量的优势,运行状况良好,负载均衡。实验结果表明,Spark Streaming用于气象自动站的实时业务处理,数据并行写入HBase、基于HBase的查询和各类要素统计均能达到毫秒级响应,完全能满足自动站数据的应用需求,有效地支撑天气预报业务。     

基于CART的焦化生产实时数据库设计

研究钢铁企业焦化生产实时数据采集系统,针对过程控制系统中的海量数据,设计基于CART数据库平台的焦化生产实时数据库系统,并给出具体实现方法。系统利用数据接口程序采集过程控制中的实时数据,通过办公局域网实现数据的传输与多用户共享,利用CART数据库平台实现生产实时数据的访问及管理应用。在实现过程中采用DDE、OPC、多线程、Windows服务等多种技术,保证了软件的实时性。     

多格式气象报文数据实时解析研究与应用

气象实时数据不仅是气象短时预报的基础,也是对气象灾害进行有效监控、预报、预警、评估的主要数据.气象报文种类多且报文格式各不相同,气象报文数据解析、清理及筛选非常复杂且灵活性差,实时查询非常慢.为此研究报文统一解析技术和数据流处理技术设计,并实现一个实际中安全的、可行的、快速的、灵活的气象实时数据采集系统.     

MongoDB分布式存储技术在雷达侦察中的应用

传统的数据文件记录方式,维护的数据量有限且容易造成内容描述的缺失,已无法满足雷达侦察装备需求.在此提出了一种基于业界开源的分布式非关系型数据库技术的本地化应用方法,实现快速流水的信号级脉冲数据、突发大流量中频数据、实时的目标辐射源数据、健康管理日志数据等各类数据的数据库管理,提供了实时存储和快速查询统计等功能.试验结果表明,该方法可以有效提升大规模雷达侦察数据的存储、管理和使用效率.