基于HDFS+Spark的时空大数据存储与处理——以智慧无锡时空大数据为例

海量时空数据的高效存储、读写、处理与分析是当前地理信息科学领域的研究热点。本文对目前主流大数据技术产品进行了选取和融合,开展了基于HDFS+Spark的时空大数据存储、处理分析等方面的研究和探讨,以智慧无锡时空信息云平台为应用对象,搭建了一套时空大数据存储处理的集群平台,并通过具体应用实验,得到了时空数据存储、处理、挖掘的响应时间及可视化展示结果,证实了HDFS+Spark集群计算平台在解决时空大数据存储、处理、挖掘方面的有效性。     

场站飞行保障数据可视化平台设计与应用

为提升航空兵场站信息化建设过程中的数据应用与管理能力,提出了一种基于Spark的场站飞行保障大数据可视化平台.以场站信息化系统和物联网络数据采集数据为基础,利用Spark计算引擎集成Kafka消息队列,使用Hive完成数据列表库的建立和存储,基于Spark RDD和Spark SQL完成数据预处理与交互,并选择Vue框架嵌入ECharts组件完成前端数据可视化呈现,并最终对设计方案进行了实现与应用.相较于当前业务隔离的信息系统建设模式,平台具备更高的数据融合与处理分析能力,能够更好地实现场站飞行保障数据价值.     

基于大数据的智能工厂数据平台架构设计与研究

在分析智能工厂国内外研究现状基础上,对基于大数据的智能工厂数据平台架构技术展开研究,为智能生产的运行分析、预测、决策调控以及数字孪生信息物理融合提供技术参考。探讨了智能工厂定义与内涵,以及智能工厂大数据来源和特征,采用Hadoop、Spark、Storm热门开源大数据计算引擎,提出了数据来源层、数据传输层、数据存储层、资源管理层、处理分析层以及业务应用层构成的智能工厂大数据平台技术架构,有效解决智能工厂大数据多源复杂性和实时性的要求和难点。所提数据平台技术架构将对智能制造和智能工厂的实现具有重要的借鉴价值。     

基于物联网技术的智慧工地

调查石油管道工程工地管理现状,对现阶段工地管理问题进行分析并明确了突出问题,同时得到了工地管理需求,以需求为依据,结合物联网、云计算、大数据、人工智能及BIM等前沿技术构建了智慧工地架构,实现了数据的自动采集处理、施工过程可视化、施工过程实时监测和各参与方协同作业.通过云计算、大数据技术对数据进行整合、存储、分析、挖掘...     

基于Spark/Shark的电力大数据集中管控系统设计

为提高供电系统运行效率,准确掌握电网可靠程度,本文提出基于Spark/Shark的电力大数据集中管控系统.根据电力大数据数据量大、价值密度低、种类多等特性,分析数据集成难点问题.将Spark/Shark作为管控系统核心架构,构建系统平台整体框架,确定数据采集时间、响应时间等性能.利用灰类熵权法建立评价矩阵,评估大数据质量,去除冗余数据,减轻系统负担.分别从故障报警、电力负荷管理、综合业务分析等方面完成电力大数据集中管控系统设计.仿真实验表明,该系统可以提高系统吞吐量,减少响应延时,能够为用户提供更好服务.     

融合大数据技术架构在大型商业银行海量数据分析的应用

相对于软硬件一体的企业级数据仓库解决方案,以X86开放式硬件平台为基础的并行处理数据库和Hadoop/Spark生态体系,在扩展性和低成本方面有明显的优势,随着其不断发展成熟,已经成为企业级大数据平台不可或缺的一部分.本文从如何应对“大数据”所带来的挑战出发,提出一套适用于大型商业银行数据分析处理的融合大数据技术架构,并已取得应用实践的成功.     

基于公安大数据平台的数据可视分析技术与应用

基于公安智慧警务建设的背景,首先介绍了数据可视化技术以及在公安大数据平台建设背景下公安业务面临的痛点和问题,然后通过重点探讨不同公安业务数据的可视化展示方法以及流程动态可视化展示技术说明可视化技术如何在公安大数据平台中解决业务痛点的问题,并对可视化建设过程中需要考虑的问题、原则、技巧以及其在公安行业的进一步发展提出讨论。     

基于Spark的大数据热图可视化方法

针对普通客户端浏览和分析大数据困难的问题,结合Spark和LOD技术,以热图为例提出一种面向大数据可视化技术框架.首先利用Spark平台分层并以瓦片为单位并行计算,然后将结果分布式存储在HDFS上,最后通过web服务器应用Ajax技术结合地理信息提供各种时空分析服务.文中重点解决了数据点位置和地图之间的映射,以及由于并行计算导致的热图瓦片之间边缘偏差这2个问题.实验结果表明,该方法将数据交互操作与数据绘制和计算任务分离,为浏览器端大数据可视化提供了一个新的思路.     

基于Web技术的传染病数据可视化平台的设计与实现

以国家法定甲、乙、丙三类传染病为例，前端基于Vue、ECharts、Three等框架技术，后端基于Spark、Springboot等技术，采用B/S架构设计并实现传染病数据可视化分析平台。该平台利用ECharts框架的地图、旭日图、树图、饼图、雷达图、柱状图等多元数据图表实现传染病的数字数据以及非数字数据的可视化，同时使用Three框架实现病原体3D模型的交互展示。利用该平台用户可以快速地获取到传染病的相关信息，通过数据可视化分析对传染病的暴发和趋势做出一定的预测，从而更好地辅助预防和把控传染病。     

基于城市多维度大数据的可视化平台系统开发应用——以西安市为例

为了实现对智慧城市的科学建设和可持续发展,基于智慧城市中各行各业产生的海量数据,采用SpringMVC和MyBatis框架、PostgreSQL数据库、GIS技术搭建可视化平台。以西安市为例,将西安市各领域大数据的多维度统计分析及数据分析结果进行平台可视化展示。该开发应用实现了对城市公共开放数据进行综合可视化分析,为智慧城市管理、规划提供了参考建议。     

基于Spark的大数据混合计算模型

现实世界大数据应用复杂多样,可能会同时包含不同特征的数据和计算,在这种情况下单一的计算模式多半难以满足整个应用的需求,因此需要考虑不同计算模式的混搭使用。混合计算模式之集大成者当属UCBerkeley AMPLab的Spark系统,其涵盖了几乎所有典型的大数据计算模式,包括迭代计算、批处理计算、内存计算、流式计算(Spark Streaming)、数据查询分析计算(Shark)、以及图计算(GraphX)。 Spark提供了一个强大的内存计算引擎,实现了优异的计算性能,同时还保持与Hadoop平台的兼容性。因此,随着系统的不断稳定和成熟, Spark有望成为与Hadoop共存的新一代大数据处理系统和平台。本文详细研究和分析了Spark生态系统,建立了基于Spark平台的混合计算模型架构,并说明通过spark生态系统可以有效地满足大数据混合计算模式的应用。     

大数据分析平台建设与应用综述

大数据分析平台是开展大数据处理与分析应用所必需的基础设施。文章基于课题组开展大数据分析平台建设的科研成果与实践经验,结合大型企业实施行业应用项目的切身感受,从大数据分析平台设计、主流热点技术、行业应用案例三个方面进行介绍。文章首先分析了大数据分析平台的主要功能和体系架构,然后介绍了大数据分析平台的关键技术,重点介绍了 Spark技术的体系架构及核心组件,最后介绍了大数据技术在大规模制造业、零售业和智能电网三个领域的应用案例。     

江苏核电大数据可视化分析平台的建设与应用

为解决大量数据无法快速进行可视化分析挖掘的问题,江苏核电基于开源技术进行定制化开发,按照层次化功能架构设计,对平台的数据层、逻辑层和展示层的功能进行开发,快速构建大数据可视化平台,有效解决对数据进行可视化分析的问题。文章从功能特点、建设要求、经济性等维度对大数据可视化产品和传统商务智能产品进行对比,阐述建设可视化分析平台的优点和必要性;梳理与建立基于平台的数据可视化分析的服务的管理流程和职责分工,平台成果应用于物资编码检查分析与可视化业务看板等方面,在支撑管理决策、提升管理水平、提高业务运营效率和改进优化业务四个方面体现了平台的价值。文章介绍的大数据可视化分析平台的建设思路和方法可有效提升数据分析的工作效率。     

基于大数据与AI的德州市扬尘污染防治监管系统开发

扬尘治理是大气污染防治的核心问题,已引起社会的广泛关注。山东省德州市立足于经济与社会需求,基于现有共享数据平台,利用大数据、人工智能（ArtificialIntelligence,AI）等技术开发了扬尘防治监管系统。该系统包括扬尘“一张图”、任务调度以及决策支持与综合分析4大功能模块。运用地理信息系统（GeographicInformation System,GIS）技术汇集各类资源,实现数据大屏可视化,便于整体联动监管;使用AI技术实现扬尘问题自动化检测;运用大数据技术整合多级资源,深入分析研判,综合评估治理效果。利用该系统有效提升了扬尘治理的效率与效果,能够实现资源整合、智慧赋能、压实责任及统一管理。     

基于分布式文件系统的智慧医疗大数据平台

在中国新医改的大背景下,通过信息化手段全面建设并应用数字卫生系统,推动医疗卫生体制改革,解决医疗卫生服务需求与供给关系的平衡成为新的期望。智慧医疗健康大数据平台基于J2EE多层分布式开放基础而开发,遵循SOA面向服务的体系架构,以大型关系型数据库及分布式文件系统为基础,运用大数据与云计算技术,借助信息化手段加快推进省级智慧医疗健康大数据体系建设,实现各级各类医疗卫生数据、综合管理数据、计生数据的交换共享与信息整合。     

面向智慧城市大数据PaaS平台的研究

本文介绍了一个基于开源技术的全新的面向智慧城市大数据PaaS平台的构建与开发。在本项目中通过应用数据管控及加速技术,拉通业务与技术的沟通壁垒,提升数据的管控能力及利用能力,能更好、更快的挖掘出有效的数据价值,从而打造出全新的"面向政企行业应用的大数据PaaS平台",以实现面向智慧城市政企行业应用的、基于大数据PaaS平台的、多租户的、稳定的、统一的大数据管理与分析应用平台,为政企行业用户提供数据采集、分析、存储、可视化监管等功能,使本项目研发的用的大数据PaaS平台成为智慧城市各类网络、业务核心数据的处理中心。     

基于大数据架构的电子数据取证技术研究

由于大数据的发展,电子数据取证对象的变化给电子数据取证带来了极大的挑战。针对此问题,本文提出基于大数据架构的电子数据取证技术研究。通过对目前电子数据取证面临海量数据、数据多样性、取证准确度、数据存储安全性等多个方面的问题进行研究分析,运用Hadoop、可视化、层次化等基于大数据架构的方法进行电子数据取证分析,并与传统电子取证技术进行对比分析,发现基于大数据架构的电子数据取证技术具有较高的准确度,取证效率高,安全性有较大提升。     

基于Spark的出租车轨迹处理与可视化平台

大数据技术在分析与挖掘交通大数据方面扮演着越来越重要的角色.为了快速有效地对出租车的运营模式与载客策略进行分析,设计效益指数模型对出租车效益进行量化排序,以高效益出租车为研究对象,基于Spark大数据框架开发一个轨迹数据处理与可视化平台.首先,处理高效益出租车轨迹数据得到用于可视化的特征数据.而后进行可视化分析,包括：统计分析高效益出租车运营特性并实现交互式图表展示,采用蜂窝形格网与DBSCAN算法对不同时段高效益出租车载客点进行热点可视化,实现基于缓冲区的交互式轨迹查询并提取出轨迹相关因子.最后,利用成都市出租车GPS轨迹数据验证了所提平台的有效性及可靠性.     

基于数据应用及系统构架的流域三维可视化研究

随着流域综合治理的进展和大型水利工程的兴建,从宏观了解流域的自然条件在流域管理中具有重要的意义。流域三维可视化作为一种新的管理方法和技术手段在流域管理中越来越体现其重要性。而流域三维可视化的关键在于其数据应用和系统架构。该文从数据应用和系统架构角度对流域三维可视化进行了研究。采用永定河潮白河流域DEM数据及ETM＋遥感数字影像数据进行三维建模,在VC＋＋平台E基于Vega进行了二次开发,实现了流域三维可视化的基本功能,并探索了多级LOD和多线程调度等相关技术。该文通过在数据应用和系统架构进行比较选择,提出了流域三维可视化的优化组合及解决方案。     

基于Oracle数据的可视化云服务研究

互联网时代的到来使网络信息爆炸式增长,网络信息资源和服务无处不在、无时不在。基于此,阐述了基于Oracle数据的可视化云服务架构和云服务内容。Oracle云服务采用多种革命性的技术,包括大数据分析、社交、移动和物联网等,把工作负载转移到云服务平台上,通过平台的系统模块进行分类操作,从而实现可视化的实时交互,为使用者管理数据时提供支持。