重庆气象大数据平台设计

气象大数据平台建设是气象信息化和气象现代化的重要内容之一.为了提高气象预报预测的准确率,使数据存储管理和服务实现集约高效和数据共享,重庆市气象局结合气象数据的特点和业务特性,从顶层设计入手,设计出合理、高效的气象大数据平台,实现气象大数据行业内部与外部的融合与共享;同时对省级气象大数据平台的建设应用具有示范、服务、探索...     

基于气象大数据云平台的海南气象数据共享平台设计与实现

为打破“数据孤岛”，推动气象数据跨部门融合使用，充分发挥气象数据科学价值，针对海南省气象部门与外部门数据共享方式杂乱、共享水平低、管理滞后等问题，依托专线网络，从气象数据需求类型、数据格式出发，设计了一套气象数据跨部门的分发处理流程。在气象大数据云平台数据环境的基础上，整合各类数据资源，基于B/S架构、SSH框架，采用分布式存储技术、数据缓存技术，建立了跨部门跨行业的气象数据共享平台。目前，该平台已经投入业务使用, 为海南省气象数据跨部门跨行业使用提供稳定、高效的实时数据共享服务，取得了较好的应用效果。     

基于决策树挖掘算法的气象大数据云平台设计

大数据、云计算技术的迅猛发展为挖掘气象数据丰富的科研和经济价值提供了技术支撑,促进了Hadoop及其包含的文件存储系统(HDFS,Hadoop Distributed File System)和分布式计算模型在气象数据处理领域广泛应用。由于气象数据具有大数据的4V特征,还需要引入新的数据处理算法来提高气象数据处理效率。通过对决策树算法原理的研究,基于Hadoop云平台,创建随机森林模型,为数据挖掘算法在云平台上的应用提供一种新的可能性。基于决策树(CART,Classification And Regression Trees)挖掘算法的气象大数据云平台设计,采用Hadoop系统架构和MapReduce工作流程,对气象大数据云平台采用集群部署。平台总体架构分为基础设施层、数据管理与处理层、应用层,减少了决策树建立的时间,实现了气象数据高效加工和挖掘分析等平台功能。     

气象服务产品集约大数据平台的WEB开发研究

为解决地面气象资料服务以线下纸质申请为主的问题,规范数据服务用语以及气象服务产品集中统一存储问题,本文在坚持系统集约化原则、规范统一气象服务资料用语和解决气象数据服务的基础上,提供规范化的历史气象数据服务清单,同时将现有地面气象数据服务产品集约于大数据平台,以实现在线服务清单查询的WEB展示.     

基于气象大数据计算与资源共享教学平台设计

气象大数据具有4V“种类多”(variety)特性,即海量的数据规模(volume)、快速的数据流转和动态的数据体系(velocity)、多样的数据类型(variety)和巨大的数据价值(value)。在气象模式教学过程中,气象模式配置复杂,其需要的气象基础数据具有体量大的特点。针对传统气象模式教学过程复杂,气象模式配置过程繁琐,气象基础数据集需要重复下载的问题,提出气象大数据数字资源平台的建设问题。气象基础数据集与气象模式相结合,对气象基础数据集进行布局,使系统具有比较高的利用率。针对多数据中心,多个气象模式可运行,多个学生对气象基础数据共享的情况,提出一种基于Apriori的挖掘算法来分析数据集与气象模式的直接关系,并完成气象大数据数字资源系统设计,既为学生、教师提供方便的操作,又能提高系统性能。气象大数据数字资源平台不但提供气象计算,也提供各种气象基础数据集的共享访问,简化了气象模式教学过程。     

基于Hadoop的河北行业气象服务大数据云平台设计与应用

随着大数据产业的蓬勃发展和全社会对气象服务需求的日益增长,气象大数据与各行各业数据平台的融合应用越来越广泛。而传统气象数据的存储和运算方式,难以同时高效支撑多个行业、高时空分辨率的气象数据生产和传输要求。因此该方案基于Hadoop技术建设河北省行业气象服务大数据平台,通过分布式存储、分布式计算,快速接收原始气象数据、通过插值等方法对气象数据进行时空降尺度、通过行业专项预报指标和模型快速计算相关气象服务产品,最终生成支撑能源电力、交通运输等多领域气象监测预报服务产品,得到了很好的应用。为河北省构建气象大数据产业发展生态环境、提升气象信息产业化发展以及保障地方经济社会发展提供了有力支撑。     

基于大数据的电力环保数据平台建设

电力生产对生态环境的污染愈发严峻,若无法从根本上解决此问题,既可能限制电力行业的整体发展趋势,还可能对生态环境造成巨大破坏,增加环保工作的开展难度。为了解决电力生产的污染问题,应以大数据技术为基础,建设环保数据平台,基于此,本文先阐明基于大数据电力环保数据平台的建设意义,再提出环保数据平台建设中的相关要点,最后指明环保数据平台在检测电力故障、优化电力物耗等方面的具体应用。     

大数据平台建设探讨

按照统一采集、统一管理、统一交换、共建共享、急用为先的原则,建立数据采集机制实现各业务系统数据的统一存储,建成大数据库,基于该大数据库,构建分析模型,开发面向各业务的分析系统和综合分析系统,为业务部门的应用提供数据支持。     

基于工业互联网背景的大数据平台建设研究

随着信息技术和工业技术的迅猛发展,新型工业化道路应运而生,而工业大数据的平台建设对加快新型工业化道路具有十分重要的意义,本文通过对工业和互联网大数据进行对比分析,结合工业互联网与大数据的特点,阐述了二者之间的内在联系。基于此,提出了工业大数据平台架构以及相关的数据分级处理流程,最后指出了工业大数据平台的应用,包括资产管理、数据管理、数据分析和安全服务,为工业企业提供了平台支持和数据服务。     

基于Android系统的大数据推送平台研究

移动互联网与社交网络的兴起将大数据带入新的征程,在大数据时代,移动互联网用户如何及时有效地获取信息也成为一个问题。针对大数据对移动互联网用户的影响,提出一种基于Android系统的消息推送平台,推送平台通过建立数据与用户之间的连接,将经过分析后的优质数据及时的传递给用户,分析推送平台的实现原理,并对其应用场景进行简单的分析。     

基于大数据的发电量预测分析数据平台建设

现有电力企业发电指标统计渠道较分散,发售配电各个环节产生的数据种类繁杂且体量较大,因此针对电力数据质量差、已挖掘价值低的问题,本文采用大数据预测神经网络和数据平台可视化展示的方法,以某发电企业为研究对象,构建了发电量预测的模型及以此为核心的数据平台。发电量预测的应用服务支持PC和APP端,涵盖了某电力企业所有控股电厂及新能源项目,以滚动预测的模式迭代优化算法模型,提高发电量预测精度,有利于安排生产、燃料采购、物资计划,进一步做好污染物排放预测和管控。平台重点实现了数据多维管理和用户界面的可视化展示。数据层面,从源头做好数据采集清洗和数据库实时数据交互;用户层面,更直观形象展示大数据预测从获取数据、数据分析及预处理、数据训练到预测的四个阶段。     

基于大数据的数据分析平台构建研究

大数据中隐含了许多有价值的信息,能够辅助人们做出科学决策,但是大数据很难被充分利用起来,其根本原因在于数据量巨大.为此,为提高大数据利用率,构建一个基于大数据的数据分析平台.该平台首先利用多功能采集卡将采集的数据集中到一起,并转存到中心处理器当中,在中心处理器中根据数据类型和数据挖掘目的选择合适的大数据挖掘技术,进行大...     

气象大数据分布式存储设计与实现

随着气象数据种类、数量日益繁多,范围尺度越来越大,在海量气象数据场景下,无论传统数据库还是文件系统技术的查询和存储方式都不能很好地满足气象数据的高性能查询要求.基于大数据技术,以关系型数据存储、分布式NoSQL数据库存储、网格存储系统和分布式NAS存储相结合的混合云存储架构为基础,搭建了统一数据集、处理和服务的省局气象...     

大数据在气象服务中的研究与应用

"大数据"是继物联网、云计算之后信息技术产业又一次重要的技术变革,随着大数据时代的来临,各行各业的信息化都发生了深层次的变革,气象领域也不例外。本文阐述了大数据发展的背景、基本内涵和关键技术等,并结合气象数据的特点,分析了大数据在气象领域上的应用。     

基于大数据和云计算平台应用研究

大数据和云计算是现代计算机中主要数据应用,大数据能够实现数据资源的智能存储,而云计算能够实现网络数据的综合计算.本文对大数据和云计算平台应用的研究,主要基于大数据和云计算的基本理论,对其实际程序应用实际进行探究.     

基于云计算架构的水文大数据云平台建设策略

在当今的大数据时代中,水文工作也实现了信息化的发展.为有效提升水文工作的信息化效果,本文特对以云计算框架为基础的水文大数据云平台建设进行分析.希望通过本次的分析,可以对水文大数据储存、处理、管理与应用等工作的信息化提供相应参考.     

基于递归随机搜索算法的Hadoop平台大数据软件系统研究

随着互联网时代的到来,互联网数据的产生和收集数量呈爆炸式发展。使用金融机构大数据抓取软件系统处理和存储相关数据成为许多商业机构和研究机构的常态化选择,金融机构大数据抓取软件系统可以简化使用者对于信息传输和信息计算的具体操作,便于提高使用者的使用效率和准确率。本文研究的金融机构大数据抓取软件系统通过Python和Java语言完成,主要包括:金融机构大数据抓取软件系统分析模块、金融机构大数据抓取软件系统优化模块、金融机构大数据抓取软件系统预测模块。在研究的过程当中本文采用了递归随机搜索算法、Java图形界面、Hadoop平台进行设计研究。经过测试,在选用服务器为Intel Atom D510时,金融机构大数据抓取软件系统优化模块在Hadoop集群上开展优化,系统任务执行时间变短,比原来的数据时间缩短了5%以上,优化有效。     

浅谈大数据时代背景下的气象信息化

近年来,为了满足国家以及大众对气象的需求,对气象技术的要求也越来越高.同时,随着大数据时代的来临,对国内的气象服务行业也带来了积极的影响,很多技术都在行业中得到了普遍的应用.文中以国内的气象行业作为研究对象,分析大数据对整个行业的发展、技术等方面的影响,并以此为基础提出一些建议,希望可以推进整个行业的发展,提升服务水平...     

基于大数据云平台的智慧城市建设

大数据云平台的迅猛发展是该百年未来生活方式以及生产技术的根本条件,也是影响城市、企业决策的根本原因。随着中国的迅猛崛起,大数据云平台和城市管理二者的结合产物也随之出现,智慧城市的建立能够帮助越来越多的市民参与城市的管理,还能够从根本上提高城市管理的效率以及质量。