基于Hadoop的河北行业气象服务大数据云平台设计与应用

随着大数据产业的蓬勃发展和全社会对气象服务需求的日益增长,气象大数据与各行各业数据平台的融合应用越来越广泛。而传统气象数据的存储和运算方式,难以同时高效支撑多个行业、高时空分辨率的气象数据生产和传输要求。因此该方案基于Hadoop技术建设河北省行业气象服务大数据平台,通过分布式存储、分布式计算,快速接收原始气象数据、通过插值等方法对气象数据进行时空降尺度、通过行业专项预报指标和模型快速计算相关气象服务产品,最终生成支撑能源电力、交通运输等多领域气象监测预报服务产品,得到了很好的应用。为河北省构建气象大数据产业发展生态环境、提升气象信息产业化发展以及保障地方经济社会发展提供了有力支撑。     

基于决策树挖掘算法的气象大数据云平台设计

大数据、云计算技术的迅猛发展为挖掘气象数据丰富的科研和经济价值提供了技术支撑,促进了Hadoop及其包含的文件存储系统(HDFS,Hadoop Distributed File System)和分布式计算模型在气象数据处理领域广泛应用。由于气象数据具有大数据的4V特征,还需要引入新的数据处理算法来提高气象数据处理效率。通过对决策树算法原理的研究,基于Hadoop云平台,创建随机森林模型,为数据挖掘算法在云平台上的应用提供一种新的可能性。基于决策树(CART,Classification And Regression Trees)挖掘算法的气象大数据云平台设计,采用Hadoop系统架构和MapReduce工作流程,对气象大数据云平台采用集群部署。平台总体架构分为基础设施层、数据管理与处理层、应用层,减少了决策树建立的时间,实现了气象数据高效加工和挖掘分析等平台功能。     

大数据研究

大数据是继云计算、物联网之后IT产业又一次颠覆性的技术革命。大数据挖掘和应用可创造出超万亿美元的价值,将是未来IT领域最大的市场机遇之一。大数据利用对数据处理的实时性、有效性提出了更高要求,需要根据大数据特点对传统的常规数据处理技术进行技术变革,形成适用于大数据收集、存储、管理、处理、分析、共享和可视化的技术。文中介绍了大数据的概念及其关键技术,描述了大数据带来的机遇和挑战,概述了美国政府的"大数据研究和发展倡议"。     

气象教育培训数据平台的设计

某学院各个系统之间相互独立,数据接口、数据标准各不相同.在此基础上,以大数据为中心,以应用为导向,设计构建融合创新、开放共享的气象教育培训综合数据共享平台,推进资源整合、教育服务业务高效协同,构建"云+端"气象培训业务组织架构,统筹集约,进一步提升气象培训事业高质量发展的效益和水平.     

基于气象大数据计算与资源共享教学平台设计

气象大数据具有4V“种类多”(variety)特性,即海量的数据规模(volume)、快速的数据流转和动态的数据体系(velocity)、多样的数据类型(variety)和巨大的数据价值(value)。在气象模式教学过程中,气象模式配置复杂,其需要的气象基础数据具有体量大的特点。针对传统气象模式教学过程复杂,气象模式配置过程繁琐,气象基础数据集需要重复下载的问题,提出气象大数据数字资源平台的建设问题。气象基础数据集与气象模式相结合,对气象基础数据集进行布局,使系统具有比较高的利用率。针对多数据中心,多个气象模式可运行,多个学生对气象基础数据共享的情况,提出一种基于Apriori的挖掘算法来分析数据集与气象模式的直接关系,并完成气象大数据数字资源系统设计,既为学生、教师提供方便的操作,又能提高系统性能。气象大数据数字资源平台不但提供气象计算,也提供各种气象基础数据集的共享访问,简化了气象模式教学过程。     

教育大数据的核心技术应用现状与发展趋势

目前,利用云计算、物联网等大数据技术加快教育行业和领域的研究,必须依托于大数据的核心技术。教育大数据的发展符合我国现代化发展对人才重点培养的要求,具有推动教育变革的巨大潜力。因此,笔者基于教育大数据的核心技术,分析其应用现状和当前发展过程中面临的挑战,并探讨了教育大数据的未来发展趋势。     

大数据背景下的公安情报分析

大数据时代的到来,给传统社会带来颠覆性变革,也给公安情报分析带来机遇和挑战.通过对大数据的挖掘,创新了情报"耳目、尖兵、参谋"作用,使"情报主导警务"成为公安工作的重要变革方向.本文在阐述大数据背景下公安工作面临新环境、情报分析面临新需求的基础上,对公安情报分析的实现路径进行论述,并对需要把握的问题进行说明.结果表明通...     

气象大数据跨平台分析与应用技术研究

为了更好处理和应用诸如气象数值预报产品等非结构化的气象大数据,基于NetCDF技术实现了全序列气象数值预报产品原始格式解码、数据的格式转换以及生成符合各类数值预报产品特征的NetCDF格式的存储库,并将转换和重新组织的数值预报产品数据实时存储到相应的NetCDF库文件中;基于NCL（The NCAR Command Language）编程语言读取NetCDF库文件中的数据生成精度高、内容展现丰富的数值预报图形产品,并提供给业务用使用,业务运行结果表明大数据处理技术的引入对气象大数据在业务中的应用具有一定的促进作用。     

刍议大数据技术在信息安全领域中的应用

新时期背景下,科学技术发展速度明显加快,信息安全发展趋势愈加复杂.在此过程中,安全数据量骤然增加,安全防护的思想也实现了转型化发展,由此信息安全领域跨入了大数据时代.将大数据技术作为重点研究对象,并与现代社会大数据技术在各领域行业变革中的重要性相互结合,探讨了其在信息安全领域中的具体应用,希望有所帮助.     

气象数据中台设计与应用研究

文章分析了气象大数据建设过程中的经验和问题,借鉴阿里巴巴的“中台”理念,设计了一种气象数据中台架构。通过数据模型化和服务组件化,形成重庆气象高效敏捷的数据服务能力,帮助用户快速“找到”数据、“应用”数据、“用好”数据。相对传统的数据平台,可提高数据服务的开发效率、降低应用建设的复杂度、提升业务功能的复用能力,对更好地支撑重庆气象业务技术体系具有重要意义。     

气象数据完整性评估及可视化应用

省级气象数据存储环境虽然有效解决数据标准存储、共享服务的难点问题,但是存在数据完整性不足、可用性不高等影响数据质量的问题,造成气象行业用户的数据服务应用效果较差。针对数据质量中数据完整性这一评估指标,采用宁夏气象综合数据库作为研究数据集,结合数据完整性精确评估方法和大数据可视化技术对评估结果进行仿真,并在宁夏综合气象数据库管理系统中进行应用,为后续完善省级气象数据环境建设提供借鉴。     

基于气象大数据云平台的海南气象数据共享平台设计与实现

为打破“数据孤岛”，推动气象数据跨部门融合使用，充分发挥气象数据科学价值，针对海南省气象部门与外部门数据共享方式杂乱、共享水平低、管理滞后等问题，依托专线网络，从气象数据需求类型、数据格式出发，设计了一套气象数据跨部门的分发处理流程。在气象大数据云平台数据环境的基础上，整合各类数据资源，基于B/S架构、SSH框架，采用分布式存储技术、数据缓存技术，建立了跨部门跨行业的气象数据共享平台。目前，该平台已经投入业务使用, 为海南省气象数据跨部门跨行业使用提供稳定、高效的实时数据共享服务，取得了较好的应用效果。     

军事人力资源大数据体系与应用展望

大数据、智能技术给军事人力资源管理诸多领域带来了颠覆性的变革,针对这一趋势,分析了军事人力资源大数据的概念、现状和数据全生命周期的系统体系,展望了其在队伍调控、选人用人、职业规划等方面的应用,利用大数据和智能技术优化军事人力资源配置,助力将军事人力资源转换为实实在在的战斗力。     

2013全球大数据

不出意外,2013年将正式成为"大数据元年"。大数据在2013,将正式走下神坛,深入各个行业各个领域,产生巨大变革之力,这也是"大数据元年"的核心要义。     

刑事侦查中大数据应用的实践研究

信息化给人类的日常生活带来巨大的影响,并且"大数据"所蕴含的能量给传统的社会带来颠覆性变革,推动了侦查工作理念和制度的创新.对于"大数据"的应用也给刑事侦查工作带来一定的挑战.本文以"大数据"基本内涵为基础,深入探讨现阶段"大数据"在刑事侦查中的基本应用,在此基础上进一步完善"大数据"在侦查工作的运用,探讨适应"大数据...     

大数据环境下的技术变革与管理创新

"大数据"现象诞生于人们对数据搜集能力、数据传输能力、数据存储能力以及数据处理能力的极大发展,随着大数据时代的来临,"大数据"问题迅速从技术层面上升到国家战略的最高层面,大数据蕴含着巨大的社会价值和商业价值,发展潜力十分巨大。对大数据的利用将成为企业提高核心竞争力、抢占市场先机的关键。本文简要阐述了大数据研究的发展与现状,探索如何让我国技术创新管理工作迅速适应大数据环境,发挥大数据分析的价值,对比了大数据时代信息技术的变革,探讨了大数据应用与研究所面临的机遇和挑战,深入研究大数据环境下管理创新的新变化与新思路,并对大数据分析方法与传统分析技术进行对比,构建了大数据生态平台,设计了适合大数据分析的数据挖掘架构。     

大数据环境下的技术变革与管理创新北大核心CSCD

"大数据"现象诞生于人们对数据搜集能力、数据传输能力、数据存储能力以及数据处理能力的极大发展,随着大数据时代的来临,"大数据"问题迅速从技术层面上升到国家战略的最高层面,大数据蕴含着巨大的社会价值和商业价值,发展潜力十分巨大。对大数据的利用将成为企业提高核心竞争力、抢占市场先机的关键。本文简要阐述了大数据研究的发展与现状,探索如何让我国技术创新管理工作迅速适应大数据环境,发挥大数据分析的价值,对比了大数据时代信息技术的变革,探讨了大数据应用与研究所面临的机遇和挑战,深入研究大数据环境下管理创新的新变化与新思路,并对大数据分析方法与传统分析技术进行对比,构建了大数据生态平台,设计了适合大数据分析的数据挖掘架构。     

一体化数据访问服务关键技术

为解决气象行业对多源异构海量数据的有效管理和向业务系统高时效供给数据问题,分析气象行业大数据特征和业务科研中对数据的使用场景与需求,提出一体化数据访问服务方法.利用多态数据存储管理与分布式服务架构对数据进行标准化处理和分级管理,形成地球多圈层全序列数据仓库;在此基础上设计一体化服务模型,利用服务总线集成了数据、算法、可视化服务、性能监视和服务管理关键技术,实现气象数据的有效治理和标准化服务.平台的业务使用效果表明了一体化数据访问服务在解决气象数据治理和高效供给方面的有效性.     

大数据时代大学生思想政治教育创新研究

近年来,随着互联网技术的发展,大数据技术逐渐运用到社会各领域,高校教育和教学领域也深受其影响。在大学思政方面,大数据技术带来了全新的机会与挑战。大数据时代高校如何把握历史发展机遇,变革思想政治教育工作,开拓创新思政教育的新途径,成为当前高校思政教育的工作重点。     

互联网与大数据发展研究

从大数据的基本概念及基本特性、如何化"数"为"据"、大数据在互联网领域的应用与发展等方面,对互联网与大数据之间的关系、大数据技术在互联网领域的应用情况等进行论述。