Vb+批处理实现福建省海洋环境预报电视节目自动化

《福建省海洋环境预报》节目是一档日播类公益性环境预报节目,以向公众提供科学的海洋预报数据,并进行海洋环境预报为目的.每天的电视节目制作中都需要处理大量的数据.通过海洋预报节目数据自动化处理系统能完成原始海洋数据到电视画面语言的自动转化,使海洋环境预报节目在保证数据准确性的同时,方便快捷的提取数据.既提高了节目制作效率,又节约了节目制作时间.     

超大规模分布式虚拟现实综合集成支撑平台

正本系统密切结合国家重大工程应用中的迫切需要,主要集中在当前虚拟现实系统中的TB级甚至PB级海量场景数据的快速处理、存储与发布、GB级复杂场景实时交互绘制以及高并发协同交互分析等技术难点进行深入研究,研制了一个超大规模分布式虚拟现实综合集成支撑平台,可以应用于大规模联合作战模拟演练、复杂产品设计与仿真计算、海量多维海洋信息可视化分析、以及城市规划和数字博物馆等多个行业领域,可以克服当前我军数十万个武器     

大规模数值模拟数据的多分辨组织

大规模数值模拟数据对可视化分析提出了挑战,本文研究如何将大规模数据组织成多分辨的形式以提高大规模数据可视化的交互性能。鉴于大规模数值模拟剖分的数据块粒度与可视化分析优化的I/O粒度不匹配,本文提出了I/O优化的多分辨数据组织算法,并实现了多层存储与多级存储两种存储方案。使用实际的大规模数据进行了测试并取得了很好的效果。     

基于GIS的海洋灾害预报预警系统应用研究

针对目前宁波市海洋灾害实时数据存储分散独立、预报不够精细化且不能有效结合 GIS 可视化分析等问题,提出并实现海洋灾害预报预警系统应用建设。以宁波市沿海区域为例,结合历年影响宁波市较大的多场台风,通过分析海浪、风暴潮等海洋灾害特点,对海洋灾害各类实时数据进行数据预处理、融合、清洗等,并整合为统一的、标准的海洋灾害实时数据库。利用智能网格预报和 ADCIRC 技术方法分别对海浪和风暴潮进行预报,并基于GIS 动态可视化海洋灾害预报预警演变历程,实现海洋灾害的监测、预报、预警、预演等功能,为海洋灾害防御决策提供直观场景和技术支撑,进而提升沿海区域海洋灾害治理和防御能力。     

基于Hadoop的河北行业气象服务大数据云平台设计与应用

随着大数据产业的蓬勃发展和全社会对气象服务需求的日益增长,气象大数据与各行各业数据平台的融合应用越来越广泛。而传统气象数据的存储和运算方式,难以同时高效支撑多个行业、高时空分辨率的气象数据生产和传输要求。因此该方案基于Hadoop技术建设河北省行业气象服务大数据平台,通过分布式存储、分布式计算,快速接收原始气象数据、通过插值等方法对气象数据进行时空降尺度、通过行业专项预报指标和模型快速计算相关气象服务产品,最终生成支撑能源电力、交通运输等多领域气象监测预报服务产品,得到了很好的应用。为河北省构建气象大数据产业发展生态环境、提升气象信息产业化发展以及保障地方经济社会发展提供了有力支撑。     

基于Python的海洋气象数据可视化技术研究

针对现有可视化方法在展示海洋气象数据时,存在可视化覆盖范围小、可视化数据量少的问题,文章提出基于Python的海洋气象数据可视化技术研究。对来自不同数据源、不同类型、不同格式的多源异构海洋气象数据,采用清洗、格式转换等方式实现同一化处理;绘制海洋气象数据体,并对其进行三维立体分割;利用Python技术,实现非结构化数据与结构化数据的可视化展现。实验结果表明,所提可视化方法可以实现对更大范围、更多数量的海洋气象数据的展示,具备更加理想的可视化效果。     

面向沉浸式流场可视化的多视图数据管理方法

由于沉浸式环境下的三维交互方式对二维界面操作不够友好,使得依赖于二维列表界面的流场数据管理任务变得复杂且低效。为了实现沉浸式虚拟环境下对流场数据高效的组织和管理,增强用户对流场空间信息的理解,提出一种基于多视图结合交互的沉浸式流场可视化数据块管理方法。该方法构建了一个三维小视图用于提供场景概览,并通过“主视图交互+小视图辅助“”小视图交互+主视图反馈”等多种多视图组合交互方式完成对多块流场数据的管理交互操作。最后构建了一个基于手势的沉浸式流场可视化系统,定义多项交互任务,从学习时长、完成时间和用户反馈几个方面对比了多视图方法和传统交互方法差异。实验结果表明,相比于传统交互方法,多视图方法可以显著提高数据管理任务的效率。     

基于知识图谱的海洋数值预报数据推荐算法

为解决海洋数值预报研究人员面对复杂多样的研究任务时难以及时准确地从种类繁多的海洋数值预报数据中找到所需数据的问题，提出基于知识图谱的海洋数值预报数据推荐算法。利用海洋数值预报文献提取研究任务及海洋数值预报数据构建知识图谱，基于知识图谱计算海洋数值预报数据实体之间的相似度，同时融合在研究人员用户行为下海洋数值预报数据的相似度，进行排序选取相似度较高的海洋数值预报数据进行推荐。实验结果表明，推荐精确率及召回率分别为67.14%、62.49%。     

Navi：基于自然语言交互的数据分析系统

随着大数据时代的到来，数据分析的作用日益显著，它能够从海量数据中发现有价值的信息，从而更有效地指导用户决策。然而，数据分析流程中存在三大挑战：分析流程高耦合、交互接口种类多和探索分析高耗时。为应对上述挑战，本文提出了基于自然语言交互的数据分析系统Navi，该系统采用模块化的设计原则，抽象出主流数据分析流程的三个核心功能模块：数据查询、可视化生成和可视化探索模块，从而降低系统设计的耦合度。同时，Navi以自然语言作为统一的交互接口，并通过一个任务调度器，实现了各功能模块的有效协同。此外，为了解决可视化探索中搜索空间指数级和用户意图不明确的问题，本文提出了一种基于蒙特卡洛树搜索的可视化自动探索方法，并设计了基于可视化领域知识的剪枝算法和复合奖励函数，提高了搜索效率和结果质量。最后，本文通过量化实验和用户实验验证了Navi的有效性。     

多源异构电网运行时标量测数据接入方案设计

海量准实时数据服务平台是电网运行时标量测数据集中存储的场所;为了满足电网调度自动化、计量自动化等电网运行数据的接入需求,提出一种多源异构电网运行时标量测数据接入方案;该方案综合采用关系数据库和实时数据库存储数据,结合实时数据库存储数据的测点特性定义了电网时标量测数据存储命名规范,通过配置服务实现数据接入任务的启停控制和运行状态监控,使用接入调度器调度接入插件执行接入任务并引入主备冗余技术保证调度器的高可用;方案引入组件化程序设计思想,通过可插拔、易扩展的插件设计满足多源异构数据的接入需求;方案在南方电网公司海量准实时数据服务平台建设项目中得到实际应用,很好地满足了南方电网运行时标量测数据的接入需求。     

ARGO海洋卫星观测数据处理方法及应用

ARGO海洋观测数据一直受到国内外海洋界的高度重视，但处理软件严重缺乏，为了能对这些数据进行有效管理和应用，在分析了覆盖全球的海洋卫星实时观测和现场测量ARGO的数据格式、记录方法及浮标工作方式，以及对ARGO数据特征，空间三维、时空变化等特性进行讨论的基础上，提出了一个实用的基于大型网络数据库Oracle的ARGO数据优化存储模型，并着重论述了海量ARGO数据的高效存储访问、多源多维时空数据处理；同时利用当前GIS和遥感领域的前沿技术，采用全组件式模块化方式，开发出了我国自主版权的面向海洋决策管理应用的ARGO数据处理系统——ARGOGIS系统，并在有关部门得到了初步应用。     

面向海洋的多模态智能计算：挑战、进展和展望

海洋是高质量发展的要地,海洋科学大数据的发展为认知和经略海洋带来机遇的同时也引入了新的挑战。海洋科学大数据具有超多模态的显著特征,目前尚未形成面向海洋领域特色的多模态智能计算理论体系和技术框架。因此,本文首次从多模态数据技术的视角,系统性介绍面向海洋现象/过程的智能感知、认知和预知的交叉研究进展。首先,通过梳理海洋科学大数据全生命周期的阶段演进过程,明确海洋多模态智能计算的研究对象、科学问题和典型应用场景。其次,在海洋多模态大数据内容分析、推理预测和高性能计算3个典型应用场景中展开现有工作的系统性梳理和介绍。最后,针对海洋数据分布和计算模式的差异性,提出海洋多模态大数据表征建模、跨模态关联、推理预测以及高性能计算4个关键科学问题中的挑战,并提出未来展望。     

基于模糊预测的数据复制优化模型的研究

云数据处理系统中广泛采用了多数据副本复制技术,以防止数据丢失,如果数据复制的份数或位置不当,就会引起数据的可用性小于用户期望的数据可用性或存储空间的浪费（如复制份数过多）。针对该问题,经研究提出了一种基于模糊预测的数据复制优化模型,该模型由模糊预测模块和复制优化模块组成。模糊预测模块以节点信息（CPU信息、节点带宽信息、内存信息和硬盘信息）作为输入,预测出节点的可用性;复制优化模块把节点的可用性和用户期望的数据可用性作为输入,计算出在满足用户期望情况下数据复制的份数和位置。提出的复制优化模型能根据云数据存储系统中数据节点可用性实现动态的优化数据复制,能获得较高的存储性价比。模拟实验中基于模糊预测的数据复制优化模型策略需要的存储空间分别是Hadoop策略的42．62％,42．84％,但文件的平均可用性可达到88．69％,90．54％,表明提出的基于模糊预测的复制模型实现了在节省存储空间的同时保证了文件可用性。     

基于域对象的海战场信息数据集成与应用

本文以提高海战场空间信息管理与应用的性能为目标,针对多源异构数据的一体化存储和应用机制进行了研究,提出了基于域对象的一体化数据模型和针对作战样式的映射式信息简化模型,并结合海战场环境信息保障系统的数据流程进行了应用探讨,实验证明了该思路的有效性和可行性。     

面向水库型小流域的多源水利三维建模方法研究

针对大型河道三维可视化建模中采用激光雷达、声呐等传感器获取水下地形建模方式操作复杂且成本较高的缺陷,在利用基础测绘成果构建实景地形模型的基础上,采用多源三维模型融合方法对月塘水库小流域进行实景建模。首先采用倾斜摄影三维建模技术对重点水利工程进行实景建模,并利用专业建模软件对重要控制单元进行构件级建模;然后利用已有河道断面数据结合河流面状矢量数据,实现流域内胥浦河河道实景三维建模;最后通过人机交互方式对多源实景模型进行微调与相互印证,实现月塘水库小流域多源三维模型精准融合构建。研究成果可为河道型水库的预报调度与洪水风险分析提供可视化模型基础与决策支撑。     

数据流上的预测聚集查询处理算法

实时数据流未来趋势的预测具有重要的实际应用意义.例如,在环境监测传感器网络中,通过对感知数据流进行预测聚集查询,观察者可以预测网络覆盖的区域在未来一段时间内的平均温度和湿度,以确定是否会发生异常事件.目前的研究工作多数集中在数据流上当前数据的查询,数据流上预测查询的研究工作还很少.采用多元线性回归方法,给出了数据流上的聚集值预测模型,提出了一种数据流预测聚集查询处理方法.当预测失败的次数大于预先给定的阈值时,给出了一种预测模型自动调整策略,以降低预测误差.还提出了滑动窗口的更新周期、数据流的流速对预测精度影响的数学模型.理论分析与实验结果表明,提出的预测聚集查询处理算法具有较高的性能,并且能够返回满足用户精度要求的预测查询结果.在实验中,采用TPC-H国际标准测试数据和TAO(tropical atmosphere ocean)测量的海洋表面空气温度数据来构造数据流.     

高速公路气象数据融合滤波与短时雨雾预测

高速公路路域内雨雾气象数据呈现多源、异构特性,对其进行短时精准预测存在很大难度;针对该问题,在利用联合概率法求得数据之间联合概率的基础上构建异构数据融合模型,并将该融合模型与卡尔曼滤波方法相结合,建立面向多源异构气象数据的协同融合滤波模型;在此基础上,利用贝叶斯最大熵方法,结合雨雾经验理论、融合滤波后的数据以及原始雨雾数据,实现了对高速公路目标路段雨雾天气的短时精准预测;实验结果表明,该方法能够为用户提供精准、稳定的高速公路短时雨雾气象预测结果,对减少交通事故,合理进行交通管制具有重要意义。     

海洋环境信息数据格式分析研究

海洋环境信息是海洋科学研究与信息交流的重要基础,其数据格式的标准化不仅影响数据的交互性,也是影响海洋环境信息共享的关键所在。目前,国内外海洋环境信息数据格式多种多样、没有统一的标准,阻碍了海洋环境信息的共享与交流。本文首先提出了国际上经常使用的五种数据格式,具体分析了每种数据格式的结构和特点,并对五种数据格式进行了综合的比较分析,在此基础上,提出一种海洋环境信息的标准数据格式,从而统一了数据格式的理解和定义,为海洋信息的存储提供了统一的标准,提高了海洋环境信息的共享和交互性。     

一种分布式数字海洋云系统研究

海洋数据分布区域广泛且数据量庞大,现有数字海洋系统相对独立,海洋数据信息共享度低,制约了大规模海洋数据的高性能计算。为"数字海洋"系统提供有力的数据支持和计算服务。本文提出一种基于云的分布式数字海洋系统,把不同的海洋数据通过高速网络连接起来建立一个存储云,使用一个专用的网络服务协议,用于高性能广域网络连接的计算机集群所进行的大型分布式数据集的高性能计算。实验结果表明,与现有基于Hadoop分布式数字海洋系统相比,该系统的性能有显著提高、数据高度共享。     

The State of the Art in Visual Analysis Approaches for Ocean and Atmospheric Datasets

The analysis of ocean and atmospheric datasets offers a unique set of challenges to scientists working in different application areas. These challenges include dealing with extremely large volumes of multidimensional data, supporting interactive visual analysis, ensembles exploration and visualization, exploring model sensitivities to inputs, mesoscale ocean features analysis, predictive analytics, heterogeneity and complexity of observational data, representing uncertainty, and many more. Researchers across disciplines collaborate to address such challenges, which led to significant research and development advances in ocean and atmospheric sciences, and also in several relevant areas such as visualization and visual analytics, big data analytics, machine learning and statistics. In this report, we perform an extensive survey of research advances in the visual analysis of ocean and atmospheric datasets. First, we survey the task requirements by conducting interviews with researchers, domain experts, and end users working with these datasets on a spectrum of analytics problems in the domain of ocean and atmospheric sciences. We then discuss existing models and frameworks related to data analysis, sense‐making, and knowledge discovery for visual analytics applications. We categorize the techniques, systems, and tools presented in the literature based on the taxonomies of task requirements, interaction methods, visualization techniques, machine learning and statistical methods, evaluation methods, data types, data dimensions and size, spatial scale and application areas. We then evaluate the task requirements identified based on our interviews with domain experts in the context of categorized research based on our taxonomies, and existing models and frameworks of visual analytics to determine the extent to which they fulfill these task requirements, and identify the gaps in current research. In the last part of this report, we summarize the trends, challenges, and opportunities for future research in this area. (see http://www.acm.org/about/class/class/2012 )