海南省气象业务内网设计与实现

随着海南省气象业务的快速发展,建设海南气象业务内网,形成海南气象系统内部统一的省级气象服务平台,是海南省气象现代化建设的重要任务之一。基于现有已建、在建的业务系统,结合全国综合气象信息共享平台CIMISS(China Integrated Meteorological Information Service System)的基础气象数据,整合相关业务单位的数据资源,建立业务集约化环境,分析海南省气象数据及业务产品的数据特性,设计统一的数据收集、处理及存储方式,采用MVC(Model+View+Controller)开发模式,使用J2EE应用架构SSH(Struts+Spring+Hibernate)研发一个集观测数据实时监测、预报预警信息综合显示和历史数据检索等功能于一体的共享平台,实现省级气象数据和业务产品的集约共享服务。目前,平台已投入业务试运行,运行稳定,能够对海南省气象监测、预报和预警等业务起到一定支撑作用。     

基于CIMISS的海南气象信息服务网设计与实现

随着海南省气象业务的快速发展和社会公众对气象预报、预警服务的日益关注,建设海南气象信息服务网,形成海南气象系统内部统一的省级气象信息服务平台,是海南省气象现代化建设的重要任务之一;基于全国综合气象信息共享平台（CIMISS,china integrated meteorological information service system）的基础气象数据,整合相关业务单位的数据资源,利用统一的数据收集、处理及存储方式,采用Model+View+Controller (MVC)开发模式,使用J2EE应用架构Struts+Spring+Hibernate (SSH)研发一个集预报预警、气象监测和决策服务等功能于一体的信息服务平台,实现省级气象观测数据和预报产品的集约共享服务;目前,平台已投入业务试运行,运行稳定,具有高可用性和高可靠性,为社会公众提供及时、有效的基础气象数据服务产品。     

天津气象信息综合管理共享系统建设与应用

随着天津省级气象数据的急剧增加,CIMISS对其存储和管理能力不足、查询规模较大的历史数据时效较低的问题日益突出.针对上述问题,基于分布式存储技术和WebGIS技术构建了天津气象信息综合管理共享系统,实现了天津特色观测数据、预报产品、智能预报、行业共享数据的集约管理、综合展示和统一服务,提升了天津气象大数据访问性能.文中详细阐述了系统的设计思路、数据流程、关键技术、主要功能及应用情况.     

Share Nothing分布式气象数据存储处理系统的设计与实现

随着气象观测、预报和服务业务的快速发展，气象资料的种类和数据量日益增多，数据写入频率越来越高，对气象数据存储处理系统提出极大挑战，进一步提升CIMISS数据管理和服务能力的需求变得日益迫切。为解决存储处理系统动态扩展能力不足、吞吐与并行计算效率低下的问题，采用一系列Share Nothing分布式集群设计，包括Share Nothing分布式架构、分布式数据库、NAS存储技术等搭建可动态扩展的Share Nothing分布式气象数据存储处理系统。实践证明，该方案设计能够满足当今气象结构化数据和非结构化数据对存储能力、并发响应能力的需求，通过动态扩展可便捷适应未来气象业务发展对数据存储和应用等服务能力不断增加的需求，具备气象现代发展进程中气象数据存储处理系统高吞吐量、可动态横向扩展、高稳定性、高可靠性的特性。     

省级以下现代天气业务集约化发展研究

在梳理中国气象局现代气象业务发展,特别是现代天气业务发展思路和成效的基础上,结合公共气象服务面临的新形势和新需求,分析了省级以下现代天气业务集约化发展面临的新问题,提出了优化省市县三级的重点业务分工、改进预报预警技术和业务流程、完善相关业务标准、创新基层一体化业务服务方式、进而推进核心气象业务集约化发展的建议,包括：①实施“预报核心上移、服务重心下沉”战略,逐步建立适应气象服务体制改革要求的业务布局。强化省级大数据（基础数据、预报服务产品库和综合一体化平台等）环境部署、精准化天气预报技术路线及流程的革新、灾害性天气预警技术把关等业务核心地位,强化市级短期精细化要素预报订正和气象服务社会化的组织与协调,强化县级基层气象防灾减灾的社会化组织和协调、灾害性天气及气象灾害风险预警职能。②创新基层海量数值天气预报（NWP）产品集成应用方式,关注气象要素格点、情景预报技术发展,探索综合业务平台升级以及预报产品无缝隙、网格化、精细化制作技术。③进一步理清灾害性天气预报预警业务的上下级分工,创新管理模式,完善集约化业务平台和流程,整合专业化的信息发布平台和流程。④完善产品格式、标准和方法,推进业务质量检验评估体系建设。⑤强化多方式业务培训,提升业务科技创新能力,推进县级监测、预报和服务业务的一体化,全面提升县级精细化预报、灾害性天气及气象灾害预警服务能力。     

气象大数据跨平台分析与应用技术研究

为了更好处理和应用诸如气象数值预报产品等非结构化的气象大数据,基于NetCDF技术实现了全序列气象数值预报产品原始格式解码、数据的格式转换以及生成符合各类数值预报产品特征的NetCDF格式的存储库,并将转换和重新组织的数值预报产品数据实时存储到相应的NetCDF库文件中;基于NCL（The NCAR Command Language）编程语言读取NetCDF库文件中的数据生成精度高、内容展现丰富的数值预报图形产品,并提供给业务用使用,业务运行结果表明大数据处理技术的引入对气象大数据在业务中的应用具有一定的促进作用。     

安徽气象为农服务大数据平台设计与应用

从安徽省气象为农信息服务的个性化、精准化、智能化需求出发,采用Hadoop架构、自然语言处理、相关度分析、大数据可视化等大数据和人工智能相关技术,研发安徽省气象为农服务大数据平台。汇集安徽省多部门涉农数据资源,通过建立用户行为画像、网络服务热点的预测,开展精准化的服务产品相关性推荐服务,并跟踪评估信息服务产品的网络传播服务效果,指导后续关键农时农事建议和决策服务产品的研发与制作,同时建立气象为农服务大数据展示系统,探索实现气象为农信息服务从“人找信息”到“信息找人”的转变。该平台已在安徽气象为农业务服务中应用,提升了服务能力,具有较好的行业知名度和社会影响力。     

基于MongoDB的气象数据存储检索系统#br#

近年来气象数据呈现多源化和爆炸式增长的态势,传统的关系型数据库已不能满足气象数据发展的需求。结合气象数据的地理空间特点,提出一种基于MongoDB的气象数据存储检索系统。本系统对气象数据建立空间索引,加快了气象数据的查询效率,为精细化、格点化预报提供了有力的支撑。实验结果表明,对于海量的气象数据,MongoDB具有强大的存储和检索能力,各个方面的性能明显优于关系型数据库。     

气象数据中台设计与应用研究

文章分析了气象大数据建设过程中的经验和问题,借鉴阿里巴巴的“中台”理念,设计了一种气象数据中台架构。通过数据模型化和服务组件化,形成重庆气象高效敏捷的数据服务能力,帮助用户快速“找到”数据、“应用”数据、“用好”数据。相对传统的数据平台,可提高数据服务的开发效率、降低应用建设的复杂度、提升业务功能的复用能力,对更好地支撑重庆气象业务技术体系具有重要意义。     

气象格点数据在线可视化平台的设计与开发

气象格点数据是气象数值预报、数据融合、再分析等产品的主流格式,而该类数据的处理及可视化工具使用中存在专业性强、运行环境配置繁琐等问题,导致该类数据通常仅在气象行业内部使用,应用范围受到极大的限制,已不能满足科研、商业以及社会用户对气象格点数据使用需求。针对以上问题,该平台采用B/S、Node.js开发框架、集成WebGIS、D3.js等技术,实现了免安装、在线数据交互、融合可视化展示等功能。除了传统色斑图,还叠加了动态流场,实现了气象格点数据的综合动态展示。文中利用T639数值预报数据对该平台进行了检验,结果表明该系统能够准确客观地展示数据信息,同时其动态风场展示功能更有利于用户理解和应用数据。该平台的开发提升了气象格点数据的展示能力和效率,为格点数据的空间区域及多要素等关联可视化分析,提供了实用、便捷、有效的工具;同时结构化的开发,可为数值预报、再分析等系统的可视化集成提供开放的对接渠道。     

湖北水利数据资源整合共享实践及关键技术研究

通过水利对象模型和兼顾现有行业内外数据标准,编制覆盖湖北省水利业务和事物全要素、全过程的信息资源规划。针对现有的数据和业务需求,对主体数据库设计、异构数据源数据整合、空间数据可视化表达、数据快速检索和发现、水利大数据分析与应用等关键技术进行研究与实践,将异构数据进行逻辑与物理集中,形成主体数据库,搭建行业内与水利部,长江水利委员会,省、市、县各级水行政主管部门,行业外(国土、气象等)信息资源交换与共享的平台。湖北水利数据资源整合与共享建设项目的实施,可为湖北省水利业务应用和水行政管理提供信息服务及技术支撑,为水利大数据的应用提供数据基础及应用依据。     

安徽省气象信息共享平台

针对省、市、县三级气象部门对气象信息共享服务的需求,开发建立了安徽省气象信息共享平台．该平台实现了对全省气象信息的有效管理,能够提供气象信息的高效定位、快速检索、多样展示以及数据下载服务等功能．平台采用后台管理方式,大大增加了系统的灵活性和可扩展性．该平台的业务应用,将弥补安徽省气象部门缺少统一的气象信息共享平台的不足,大大提高安徽省的气象信息共享水平,为全省气象业务提供信息支撑．     

气象服务产品集约大数据平台的WEB开发研究

为解决地面气象资料服务以线下纸质申请为主的问题,规范数据服务用语以及气象服务产品集中统一存储问题,本文在坚持系统集约化原则、规范统一气象服务资料用语和解决气象数据服务的基础上,提供规范化的历史气象数据服务清单,同时将现有地面气象数据服务产品集约于大数据平台,以实现在线服务清单查询的WEB展示.     

海量气象数据实时解析与存储系统的设计与实现

气象数据是一种典型的非结构化数据,在实际应用中其日增量达数十TB,基于关系数据库和传统文件系统的解析、存储与访问模式已成为制约天气预报系统信息化发展的瓶颈之一。为满足全国天气预报平台MICAPS用户对实时数据的及时、快速查询,介绍了能够7*24小时稳定工作、支撑数十TB/天的数据实时解析系统。根据气象数据的多维模型和用户行为,采用非关系型分布式Key-Value数据库,设计实现了高性能海量数据存储系统。实践证明,数据实时解析系统和基于分布式非关系型KeyValue数据库的存储系统能有效满足海量实时气象数据存储、查询和应用需求。该系统已成为中国天气预报业务流程中的核心系统,体现了优异的功能和性能。     

基于Java的主城区防汛排涝技术支持系统设计与实现

根据城市主城区防汛排涝气象服务的需求,利用气象自动站数据、雷达产品数据和预报数据,基于Java开发主城区防汛排涝技术支持系统,在系统中使用GIS的方式在主城区地图上实时显示自动站雨量数据、雷达产品等,为城市主城区放心排涝工作提供技术支撑,提供了当前本单位实现产品的设计思路及部分产品。     

公共元数据配置管理平台设计

随着互联网快速发展,各平台利用元数据来组织和管理平台数据资源,平台内平台具有封闭性使得元数据资源分散、反复存储,增大元数据共享难度,降低元数据利用率。为解决这一问题,提出公共元数据配置管理平台,将公共元数据统一配置管理,利用Web Service技术提供配置与共享元数据服务,采用Redis内存数据库提高数据共享效率。目前,已在气象大数据平台中运用了基于气象公共元数据的配置管理平台,其不仅提高了平台公共元数据的利用率、节约存储,也提高了服务的响应速度。同时,将配置管理平台的主要功能抽象,使平台设计可适用于其他类似的基于元数据的数据共享平台。     

气象数据完整性评估及可视化应用

省级气象数据存储环境虽然有效解决数据标准存储、共享服务的难点问题,但是存在数据完整性不足、可用性不高等影响数据质量的问题,造成气象行业用户的数据服务应用效果较差。针对数据质量中数据完整性这一评估指标,采用宁夏气象综合数据库作为研究数据集,结合数据完整性精确评估方法和大数据可视化技术对评估结果进行仿真,并在宁夏综合气象数据库管理系统中进行应用,为后续完善省级气象数据环境建设提供借鉴。     

气象格点资料的准无损压缩方法

格点数据是气象资料存储交换的重要形式,资料量的爆炸性增长给数据的存储、传输带来了巨大压力。采用离散余弦变换(Discrete cosine transform,DCT)构造了气象格点资料的准无损压缩方案,对位势高度、经向风、纬向风及温度4个要素,分别按照3种精度对压缩效果进行了对比,并对该方案在要素场的直接分析和作为初始场进行模式积分两类应用进行了误差分析。结果表明,该方案可以大幅度提高气象格点数据的压缩效率,由此带来的压缩损失非常小,无论是用于数据的直接分析、诊断计算还是模式积分,其误差是可以接受的。该方案能提高气象海量数据的存储和传输效率,为提供快速气象数据响应和预报服务打下基础。     

一体化数据访问服务关键技术

为解决气象行业对多源异构海量数据的有效管理和向业务系统高时效供给数据问题,分析气象行业大数据特征和业务科研中对数据的使用场景与需求,提出一体化数据访问服务方法.利用多态数据存储管理与分布式服务架构对数据进行标准化处理和分级管理,形成地球多圈层全序列数据仓库;在此基础上设计一体化服务模型,利用服务总线集成了数据、算法、可视化服务、性能监视和服务管理关键技术,实现气象数据的有效治理和标准化服务.平台的业务使用效果表明了一体化数据访问服务在解决气象数据治理和高效供给方面的有效性.     

一种地市级气象数据共享系统的设计与实现

气象数据共享是气象预报预警、公共气象服务的基础。针对地市级气象数据存储分散、共享水平低、无标准等问题,从气象应用需求和数据共享角度,首先设计标准化数据获取客户端,以灵活配置的形式完成多种气象资料的解析。通过气象资料的逻辑划分,实现物理上集中存储,逻辑上相对独立的方式进行数据存储和管理。同时,系统以多种方式进行数据共享服务和安全访问控制。在标准化气象数据获取、一体化气象数据存储与管理,数据共享服务等方面,构建了灵活、高效的气象数据流程,设计和实现了一种面向地市级的实时气象数据共享系统。在整个数据流程中,均考虑每个环节的监控,为集中运维提供可靠的数据参考。目前,该系统已经投入业务使用,为市县两级气象应用的数据调取和公共气象服务提供稳定、高效的实时数据共享服务,取得了较好的应用效果。