基于气象大数据云平台的海南气象数据共享平台设计与实现

为打破“数据孤岛”，推动气象数据跨部门融合使用，充分发挥气象数据科学价值，针对海南省气象部门与外部门数据共享方式杂乱、共享水平低、管理滞后等问题，依托专线网络，从气象数据需求类型、数据格式出发，设计了一套气象数据跨部门的分发处理流程。在气象大数据云平台数据环境的基础上，整合各类数据资源，基于B/S架构、SSH框架，采用分布式存储技术、数据缓存技术，建立了跨部门跨行业的气象数据共享平台。目前，该平台已经投入业务使用, 为海南省气象数据跨部门跨行业使用提供稳定、高效的实时数据共享服务，取得了较好的应用效果。     

一种面向分布式数据库的多并发OLAP型查询性能预测方法

数据库查询性能预测即预测查询的执行延迟时间。数据库查询延迟预测技术能够用于查询调度和查询进度显示等。当前的查询性能预测技术都具有一定的局限性,不能准确预测分布式数据库中多并发查询导致CPU、I/O资源争用情形下的查询延迟。针对这一问题,该论文提出了一种在分布式数据库中预测并发OLAP型查询延迟的技术,该技术通过建立查询干扰度和查询敏感度模型来衡量资源（I/O,网络）竞争的激烈程度,并据此来预测不同执行环境下的查询性能。TPC-DS的实验结果表明,分析型查询预测的误差率在25%以下,说明该技术能够较准确地预测查询执行时间。     

基于大数据平台的海南省突发事件预警信息发布系统设计

建设突发事件预警信息发布系统是防范灾害风险的重要手段。根据海南省突发事件预警信息的特点及预警信息数据特征,开展系统需求分析,提出突发事件预警信息发布系统体系结构,采用数据挖掘、数据仿真等大数据技术辅助应急决策,分析发展态势,并制定应急预案,对预警效果进行评估,动态调整应急策略。系统总体架构分为业务应用、平台服务、数据支撑、基础设施等四个层级,并设计了一个大数据预警信息发布模型。系统功能框架分为实时采集、预警信息发布与预警信息发布渠道三个子系统,对原有系统和新系统的预警信息采集、数据处理和发布性能进行对比测试,基于大数据平台的海南省突发事件预警信息发布系统响应能力提高1.8至2.5倍。     

基于决策树挖掘算法的气象大数据云平台设计

大数据、云计算技术的迅猛发展为挖掘气象数据丰富的科研和经济价值提供了技术支撑,促进了Hadoop及其包含的文件存储系统(HDFS,Hadoop Distributed File System)和分布式计算模型在气象数据处理领域广泛应用。由于气象数据具有大数据的4V特征,还需要引入新的数据处理算法来提高气象数据处理效率。通过对决策树算法原理的研究,基于Hadoop云平台,创建随机森林模型,为数据挖掘算法在云平台上的应用提供一种新的可能性。基于决策树(CART,Classification And Regression Trees)挖掘算法的气象大数据云平台设计,采用Hadoop系统架构和MapReduce工作流程,对气象大数据云平台采用集群部署。平台总体架构分为基础设施层、数据管理与处理层、应用层,减少了决策树建立的时间,实现了气象数据高效加工和挖掘分析等平台功能。