基于公安大数据平台的数据可视分析技术与应用

基于公安智慧警务建设的背景,首先介绍了数据可视化技术以及在公安大数据平台建设背景下公安业务面临的痛点和问题,然后通过重点探讨不同公安业务数据的可视化展示方法以及流程动态可视化展示技术说明可视化技术如何在公安大数据平台中解决业务痛点的问题,并对可视化建设过程中需要考虑的问题、原则、技巧以及其在公安行业的进一步发展提出讨论。     

基于大数据BI技术的智慧工地数据可视化平台的设计与研究——以某大型建筑工程集团为例

大数据BI(Business Intelligence)技术在数据挖掘、数据分析、数据可视化等方面的功能实现较成熟,已广泛应用在制造业、零售业等行业。将大数据BI技术融入智慧工地,建立数据可视化平台,可以解决智慧工地存在的局部“数据孤岛”等问题,让智慧工地的海量数据得到最大价值体现。文章以某大型市政特级资质建筑工程集团为例,采用基于Hadoop+Spark的技术架构,以在建的大型地铁市政工程项目为实践,主要论述数据可视化平台架构选型、建立数据仓库、数据ETL、数据可视、Spark引擎框架与Map Reduce在数据处理性能方面的对比等。构建基于大数据BI技术的智慧工地可视化数据平台,能有效推进智慧工地的开展,提升对工程项目在质量安全、绿色施工、成本管控等方面的管理。     

智能矿山低代码工业物联网平台设计

随着智能矿山建设的稳步推进和煤炭企业数字化转型的加速实施,煤矿企业用户业务数字化应用需求呈指数式增长,对业务应用开发效率提出更高要求,传统的煤炭行业应用系统开发模式过度依赖专业厂家,实施周期长、实施成本高、资源重复利用率低,难以满足煤矿用户对快速开发业务应用的管理要求。针对上述问题,提出了一种采用“模型驱动”开发模式的智能矿山低代码工业物联网平台设计方案。基于微服务技术设计了包含数据采集层、数据处理层、数据存储层、数据发布层、人机交互与应用层的平台架构,在每个层级运行平台通过解析引擎解析开发平台配置对应的功能;通过设计数据编码与主数据规范、平台内部数据交互规范、平台接口与服务等构建统一技术体系,实现了煤矿作业现场各类物联网监控对象的统一监管;通过开发低代码组件工具箱,将原本在煤矿各类监控系统软件中需要通过定制化开发的系列通用功能和业务逻辑进行统一封装,形成可直接复用的组件,使其可适应煤矿不同类型监控系统应用,为用户提供一个通过拖拽组件和配置参数等方式即可完成智能矿山应用软件开发的可视化开发环境。应用结果表明,该平台可为煤矿监控类系统提供快速开发平台,满足煤矿用户日常提出的紧急定制化任务...     

大数据技术在协同场景监控中的应用

跨企业信息集成（协同场景监控平台）作为大数据技术在协同场景监控中的创新应用,是企业对内部信息系统协同业务处理的监控中心。该平台整合海南电网公司内部多个信息系统中的海量协同数据,利用大数据技术进行海量数据的采集、存储、处理和展现,实现跨部门、跨业务域的数据资源流动,同时通过大数据分析的结果设计协同监控指标,快速定位各信息系统业务协同中出现的异常情况,辅助公司各级管理人员了解协同问题整体情况,跟进协同问题闭环处理过程,平台结合实际业务需求,设计开发一系列实用功能,利用平台可智能识别并自动推送的相关协同问题和解决方案,利用平台大数据可视化工具可将数据分析结果以丰富的计算机图形直观地进行展示,有效地提高协同问题解决效率,提升企业精益化管理水平。     

气象数据中台设计与应用研究

文章分析了气象大数据建设过程中的经验和问题,借鉴阿里巴巴的“中台”理念,设计了一种气象数据中台架构。通过数据模型化和服务组件化,形成重庆气象高效敏捷的数据服务能力,帮助用户快速“找到”数据、“应用”数据、“用好”数据。相对传统的数据平台,可提高数据服务的开发效率、降低应用建设的复杂度、提升业务功能的复用能力,对更好地支撑重庆气象业务技术体系具有重要意义。     

多组件Web可视化开发平台在调度自动化系统中的应用

Web可视化开发平台着重阐述了可视化的开发Web应用, 不仅融入了单点登录、图形自动生成、表单设计器、布局设计器、设备拓扑生成和业务功能快速开发功能组件, 还分析了各地区电网业务需求, 进一步强化了各个组件的功能. 该平台核心实现了零编码、可视化开发Web应用系统的功能, 实现了业务逻辑和代码编程的分离; 同时, 该平台结合各地区电网调度具体功能需求进行灵活的多组件配置. 通过冀北和福建自动化设备开发项目实践, 有效验证了Web可视化开发平台能有效提高业务人员的开发效率、及时响应需求变化, 同时模块化的组件可灵活定制界面.     

缝制电控制造数据可视化平台的设计与应用

针对在缝制设备电控生产制造中应用可视化管理系统的需求,开发了生产制造数据可视化平台。采用基于面向服务的数据集成方式和通用通信协议,搭建了一套Web应用系统,实现了对多业务系统数据和生产环境数据的采集、处理和展示功能,解决了从生产制造过程中获取各类数据并通过丰富的图形图表进行呈现的问题。测试结果表明：现场生产人员可直接从生产看板获取主要指标数据,对生产过程和车间环境进行管控;管理人员可通过数据大屏实时监控特定时期业务完成情况。目前,该可视化平台已经应用于某缝制设备电控生产制造中心。该平台的实现将数据可视化技术有效应用于传统的缝制设备电控制造中,对我国后续缝制行业生产制造数据可视化具有借鉴和指导意义。     

核电企业面向开放架构的大数据平台的研究与应用

本文对核电企业建设大数据平台的背景、建设目标以及预期收益进行分析,阐述了大数据平台架构设计需要遵循的前瞻性、可扩展、开放性、高性能、稳定性、安全性、易维护、实用性、高可用、统一管理等原则。以面向开放为架构设计准则,采用分层架构,详细分析了数据产生层、数据交换层、数据计算层、数据存储层、数据服务层、数据应用层等各个层次所起到的作用以及各个层次所使用到的具体技术方案。文章以基于大数据与机器学习的信函智能分发功能以及基于实时计算的阀门缺陷分类统计这两个案例为例,阐述了大数据技术平台在核电企业实际业务中的应用场景,介绍了各自的详细技术架构和应用效果,说明了大数据技术平台的应用对核电企业所带来的变化与业务收益。     

面向智慧城市大数据PaaS平台的研究

本文介绍了一个基于开源技术的全新的面向智慧城市大数据PaaS平台的构建与开发。在本项目中通过应用数据管控及加速技术,拉通业务与技术的沟通壁垒,提升数据的管控能力及利用能力,能更好、更快的挖掘出有效的数据价值,从而打造出全新的"面向政企行业应用的大数据PaaS平台",以实现面向智慧城市政企行业应用的、基于大数据PaaS平台的、多租户的、稳定的、统一的大数据管理与分析应用平台,为政企行业用户提供数据采集、分析、存储、可视化监管等功能,使本项目研发的用的大数据PaaS平台成为智慧城市各类网络、业务核心数据的处理中心。     

基于三层结构数据可视化的开发及应用

本文针对如何使用户通过网络实现生产数据的可视化操作(操作包括对生产数据的录入和管理等)的问题,建立在“支持自定义业务的统一数据库平台”上,提出了数据库访问的三层结构,集中解决三方面问题:底层是少冗余的关系数据库;中间层提供快速、有效的数据访问接口;上层提供能够满足用户需求的界面显示。     

国外电力企业大数据需求侧应用分析

针对大数据技术的研究和实际应用,总结了国外企业大数据技术的实际应用现状。在国外企业大数据需求侧管理应用中,介绍了法国电力公司、美国巴尔的摩燃气电力公司、美国南加州爱迪生电力公司和德国意昂电力公司四大能源企业大数据技术的应用主题和管理模式。通过上述介绍,在数据平台建设、数据管理和数据分析应用三个方面总结了各类大数据应用的启示,即集中建设统一大数据平台,并采用云部署方式是企业目前大数据平台建设的主流方式;统一数据标准规范有利于数据共享与数据管控,实现数据资源价值最大化;大数据分析应用有两个特点：一是大数据分析应用应紧紧围绕业务需求,以专业级应用为重心,配备充足的人力资源,准确聚焦业务痛点,快速解决业务实际问题。二是企业应结合业务特点和发展要求开展基础技术和基础应用方面的研究,为专业级分析应用提供服务和支撑。     

基于大数据的电网规划精益分析平台研究与应用

随着新能源的大量接入和用户的广泛参与,电网企业的数据呈指数级增长,电网规划部门迫切需要运用大数据的分析手段提高规划决策的精准性。本文以地市供电公司的实体业务为切入点,基于地理位置信息,在数据融合贯通的基础上,运用数据可视化技术多维度动态展示地区电网负荷分布和电网供给能力,辅助规划人员快速发现负荷分布规律和电网薄弱点。运用大数据分析挖掘方法构建基于负荷特性分析的负荷预测模型,支撑电网项目和运行方式安排。打破电网负载问题的单一评价方法,建立可度量的电网综合评价体系及模型,为电网项目统筹提供量化依据。基于大数据的电网规划精益分析平台通过电网负荷可视化展示,有效提升了电网诊断分析效率,运用大数据分析方法提高了地区最大负荷的预测精度,实现了电网问题的数字化评估,提高了电网规划投资决策的精准性。     

电力调度大数据应用平台系统技术研究

为解决智能电网的发展中电网运行和设备检测或监测数据、电力企业管理数据、电力企业营销等数据海量的增加带来的不同业务系统之间分散地开发、运行和管理,系统数据存储结构独立,带来数据多源、格式不一致,数据准确性、实时性不强,数据质量不高,缺乏统一的数据规范等问题,本文利用Hadoop的分布式文件系统HDFS和并行处理框架MapReduce的工作原理,搭建电网调度大数据应用平台系统,解决了不同业务系统之间的数据不能及时共享、访问、管理与分析挖掘等问题。采用数据清洗数据,解决数据质量不高的问题。搭建电网调度大数据应用平台系统,既能实现跨专业、跨部门的多维度关联分析,又能满足海量的智能电网数据存储和数据处理需求,并具有强大的伸缩性,可扩展为电网实现安全、可靠、经济、高效地运行提供保障。     

智能数据可视分析技术综述

如何从海量数据中快速有效地挖掘出有价值的信息以更好地指导决策,是大数据分析的重要目标.可视分析是一种重要的大数据分析方法,它利用人类视觉感知特性,使用可视化图表直观呈现复杂数据中蕴含的规律,并支持以人为本的交互式数据分析.然而,可视分析仍然面临着许多挑战,例如数据准备代价高、交互响应高延迟、可视分析高门槛和交互模式效率低.为应对这些挑战,研究者从数据管理、人工智能等视角出发,提出一系列方法以优化可视分析系统的人机协作模式和提高系统的智能化程度.系统性地梳理、分析和总结这些方法,提出智能数据可视分析的基本概念和关键技术框架.然后,在该框架下,综述和分析国内外面向可视分析的数据准备、智能数据可视化、高效可视分析和智能可视分析接口的研究进展.最后,展望智能数据可视分析的未来发展趋势.     

安徽省水利大数据中心建设探讨

为解决安徽省水利信息化建设现有数据资源分散、标准不一致、共享困难、开发利用效率不高等问题,基于前期建设已有成果,通过数据资源整合、数据资源管理系统开发、应用服务支撑建设、大数据分析试点应用、云计算平台建设、技术规范和管理制度编制等一系列水利大数据中心建设内容,厘清水利对象关系,实现数据汇集交换和有序共享,提供应用系统基...     

智慧社保大数据分析平台构建

针对社保业务数据分散、大数据分析能力较低等问题，采用“云结构、积木式架构、容器技术、多级权限设计”构建智慧社保大数据分析平台的整体架构。该平台包含数据交换平台、基础计算平台、流程调度平台、管理分析平台和实时分析平台。采用OGG接口技术获取源系统中的增量数据，通过流程调度服务实现对各层数据和业务工作流的调用和管理。该平台已包括1960万人的基本信息，集成了社保的各项业务和服务，为“最多跑一次”助力。     

试飞数据查询引擎设计

试飞数据是飞行试验的核心产品,具有参数量多,数据体量大,信息复杂程度高,查询响应快等特征,支撑飞机设计、制造、试飞、运营等阶段任务；试飞数据查询引擎旨在提供PB级多维度试飞数据快速查询服务,对试飞数据特征深度分析,采用大数据交互式查询关键技术,基于试飞数据处理与分析平台,研究了存算分离技术和异构计算技术,设计试飞数据查询引擎,具备多源数据汇聚,多维信息精细查询,多层数据灵活钻取,多功能自定义函数集成,多类指标数据自适应输出等功能,创新试飞数据查询与可视化方式,并成功应用在某型国产民机的飞行试验数据管理与分析中,服务于试飞工程师、飞机设计人员、课题工程师,提高了试飞数据管理效率与试飞数据应用价值。     

民机运行大数据分析平台整体架构研究

针对日益增长的民用航空巨量数据,借助大数据存储和分析技术,构建民用航空运行大数据分析平台,可更有效支撑快速响应、航材管理、健康管理等各项民机运行业务。结合目前国内外民用航空领域大数据技术的应用现状,梳理民机运行的业务模式及数据类别,设计并构建民用航空大数据分析平台的整体架构。根据目前民用航空运行业务需求,对民用航空大数据平台的硬件平台的管理节点、数据节点的计算能力等功能性能进行设计,并对民用航空大数据平台的轻量级计算、离线数据计算、实时在线数据处理分析等计算需求进行研究,针对不同的计算方式,提供具体解决途径。最后对民机运行大数据分析平台的业务应用集成及接口技术进行研究。分析表明研究成果有助于提高我国民机运行效率,为民用飞机运行大数据平台提供支撑。     

数据交换系统中变化数据实时处理的研究与应用

如何处理企业关键性业务系统中变化的敏感数据,是企业在信息化建设过程中必须解决的关键性问题。为了消除企业的“信息孤岛”问题,提高信息共享利用的效率和水平,文中设计了一套变化数据实时同步处理的解决方案。该方案通过将触发器与记录表相结合来捕获数据的变化,通过数据交换平台对变化数据进行处理与传递,从而实现敏感数据在系统之间的快速、可靠的实时同步。目前,该成果已实际应用于南方电网中,并取得了良好的应用效果。