江苏核电大数据可视化分析平台的建设与应用

为解决大量数据无法快速进行可视化分析挖掘的问题,江苏核电基于开源技术进行定制化开发,按照层次化功能架构设计,对平台的数据层、逻辑层和展示层的功能进行开发,快速构建大数据可视化平台,有效解决对数据进行可视化分析的问题。文章从功能特点、建设要求、经济性等维度对大数据可视化产品和传统商务智能产品进行对比,阐述建设可视化分析平台的优点和必要性;梳理与建立基于平台的数据可视化分析的服务的管理流程和职责分工,平台成果应用于物资编码检查分析与可视化业务看板等方面,在支撑管理决策、提升管理水平、提高业务运营效率和改进优化业务四个方面体现了平台的价值。文章介绍的大数据可视化分析平台的建设思路和方法可有效提升数据分析的工作效率。     

云平台下输变电设备状态监测大数据存储优化与并行处理

结合大数据技术提升输变电设备状态评价的广度和深度,并解决实际应用问题成为目前电力行业新的挑战。针对输变电设备状态监测大数据可靠存储和快速访问两方面大数据处理核心问题,基于开源的Hadoop云计算实验平台进行了数据分布策略、数据块尺寸调优、集群网络拓扑规划三方面的存储优化研究和大数据并行分析的研究。提出计及数据相关性的多副本一致哈希数据存储算法,能将具有相关性的数据在集群中聚集,提升数据处理执行效率。基于数据相关性多副本一致哈希数据分布,应用Map Reduce并行编程模型设计实现了多数据源并行连接查询算法和多通道数据融合并行特征提取算法。将两种算法在实验室搭建的集群上测试运行,结果表明,多数据源并行连接查询的执行时间仅为标准Hadoop方案的32%,多通道数据融合并行特征提取算法执行时间仅为标准Hadoop方案的35%。     

大数据可视化技术在电网企业的应用

随着大数据挖掘研究的不断深入,可视化技术越来越成为大数据挖掘分析的重要推动工具。文中概述了大数据挖掘可视化技术的基本含义及其应用。针对电网企业三类大数据：电网运行数据、电力客户数据、电网企业管理数据,提出了大数据挖掘可视化的分析思路,并对电网企业可视化技术运用平台的构建提出了建议。     

面向设备状态评估的大数据底层平台设计

电力大数据环境形成已经是业内共识。Hadoop作为大数据处理工具事实上的标准,是构建可行的设备状态评估大数据平台的基础技术。面向输变电设备状态评估的大数据平台与其他平台最大的不同是,其具体应用是多样的、变化的、后续不断增加的。这对任何平台都是极大的挑战。分析输变电设备状态评估应用特征,提出基于Hadoop的大数据底层平台体系架构,并分别针对不同响应时间的业务处理特征提出解决方案,以有效解决一个平台适配多种业务应用特征的难题。     

基于Hadoop平台的并行线损分析系统研究与实现

大数据是当今IT重要的发展趋势。其发展将对电力企业的信息化建设产生深远的影响,而Hadoop作为大数据领域最有影响力的开源产品,被国内外各厂商广泛使用。随着电力用电信息采集系统建设的进展。不断增加的数据量使得传统的线损分析方法已经无法满足业务要求。文章通过并行计算技术,采用Hadoop平台实现台区线损分析系统的并行化改造,用以提升台区线损应用的计算效率。通过选取某省电力公司线损分析系统实际数据进行对比,实验证实新的并行线损分析系统性能远远超出传统0racle架构的线损系统,为未来并行计算技术在电量与线损管理系统的应用提供依据。     

基于云计算的电力调度信息化研究

提出将云计算技术引入电力系统,利用系统内部广域网建立电力系统“私有云”,整合电力系统现有的计算能力和存储资源,利用开源云计算平台Hadoop和海量数据管理系统HBase开发调度中心信息平台,实现调度中心对海量数据的可靠存储和快速计算分析.     

基于大数据的煤矿综合业务管控平台开发

工矿企业智能化发展是信息技术和工业制造业发展的必然趋势。本文以伊敏露天矿煤电联营企业综合业务管控平台开发为实例,详细分析智能煤电企业业务系统总体技术架构和功能架构,结合该矿现有业务的实际情况,采用云计算、大数据技术及开源工具Docker等,建立了综合业务管控系统的工业云平台,主要包括容器平台、仓库管理、持续集成、云原生开发平台、大数据平台等功能,实现了露天矿数据统一管理、业务系统持续开发与部署、应用资源管理与运维监控功能。该平台已在现场实际应用,应用效果良好,可为同行业综合业务管控平台开发提供借鉴。     

面向多级调度管理的云搜索体系架构研究

提出了一种面向大电网多级调度管理一体化的云计算搜索引擎体系架构设计方法.该方法引入云计算理念,在大电网多级调度管理一体化IT基础设施资源充分整合的基础上,通过调度数据网络将分布于各调度中心的业务数据资源进行有效组织、布局和管理,按照“需则可用”的总体思路,为调度管理等业务应用提供高效的数据共享、交互、检索等各类服务,实现“随需共享”目标,并支持数据的定制化访问和可视化展现.文中着重分析了大电网多级调度管理一体化云搜索引擎的体系架构、技术体系和应用整体设计,为基于成熟、稳定、可靠的开源搜索引擎平台研发系统原型提供理论依据.     

配电自动化终端运行状态大数据在线评价研究

配电自动化终端的安全稳定运行,对配电网的可靠性有重要影响。为实现对配电自动化终端运行状态在线评价,提出一种基于大数据平台的在线评价方法。首先,建立了配电网大数据平台框架,介绍了基于IEC 61970的公共信息模型的配电网数据统一建模方法,实现了基于Hadoop云平台及关系型数据库Oracle的大数据存储,并利用关联规则算法及层次分析法建立了配电自动化终端状态评价体系;然后,利用数据可视化技术实现了配电自动化终端在线评价;最后,应用某工程实例验证了该大数据评价平台的可行性。     

一个教育云平台实例的设计与实现

Hadoop通过分布式文体系统（HDFS）、MapReduce、HBase和Hive等关键技术,能够在一个集群上创建并执行大型数据库处理应用程序,使得它成为当前最为广泛应用的开源云计算软件平台。研究了基于Hadoop的教育云平台所采用的关键技术,设计并实现了一个典型的教育云平台,并探讨了教育云平台的应用效益问题。     

高可用电站大数据平台探索与实践

电站企业的数字化转型中数据是尤为重要的一部分,Hadoop大数据平台能够可靠地储存数据,高效地读取计算分析数据。介绍了Hadoop大数据平台各个组件的功能,详细阐述了新版Hadoop3大数据平台的运行机制,并搭建了基于linux系统包含Hadoop核心组件的电站大数据平台,最后对平台主备用节点进行切换证明了平台的高可用性。     

基于Spark的大电网广域时空序列分析平台构建

为了适应能源互联网发展趋势及日益复杂的运行环境,亟需依托大数据技术,提升能源互联网多源大数据的挖掘深度及应用效率。首先,针对大电网广域时空序列数据,阐述了Spark在分布式计算中的优势,阐明大数据平台建设目标,设计了基于Spark的电力大数据平台架构,并对平台各个层次进行详细的论述。其次,描述了Spark针对电网时空序列数据的处理过程。最后,在搭建的Spark和Hadoop实验环境基础上,对典型聚类算法进行性能对比测试,验证了Spark相对于Hadoop的MapReduce计算模型数据处理的优势,为下一步研究工作奠定了基础。     

一种基于Hadoop的电力大数据属性实体识别算法

随着大数据时代的来临,传统的实体识别技术由于电网数据体积大以及类型复杂等特性已经无法有效地进行数据预处理。近年来兴起的Hadoop技术能够对大数据进行较好的处理。因此提出一种基于Hadoop的电力大数据属性实体识别算法。该算法利用改进离散化算法选取出信息准确率较高的离散点,并提出了一种离散化评价指标。最后,在Hadoop平台上对某风电机组的监测数据进行了属性实体识别。实验证明,该算法在实验正确性和断点数目方面表现良好,并且具有较好的加速比,适用于电力大数据的属性实体识别处理。     

绝缘监测告警数据采集与模块可视化管理

利用物联网核心技术通过５G无线通信网络实时获取核电直流配电柜终端直流电源绝缘检测仪的告警数据, 运用物联网大数据、云平台直观呈现直流电源系统绝缘监测告警实时数据,通过云组态、云计算快速实现数据模型转 化,实现告警模块立体可视化,通过可视化模块配置实现数据可视化应用管理,在满足基本功能的基础上,突出告警 信息模块化、告警数据可视化、基础业务场景化等应用管理.     

抽水蓄能工程建设施工大数据可视化分析应用研究

在互联网+的时代下,随着现代移动互联、物联网、大数据等信息技术快速发展,已经建立形成了诸多现代智能管控手段。山东文登抽水蓄能工程作为为大型工程建设在现场施工过程中积累了大量的数据,多专业数据分析难度大,需要一套可视化的施工大数据分析平台解决工程建设核心数据挖掘分析难题。从建设目标、平台架构、应用支撑等几个方面介绍山东文登抽水蓄能电站基建期基抽水蓄能工程建设施工大数据可视化分析研究成果,通过在公司基建管理信息平台基础上构建抽水蓄能工程基建期大数据可视化分析应用,全面实现抽水蓄能工程基建期施工过程数据可视化决策分析支撑支撑服务,为电站工程建设提供现代化的管理手段,保障工程建设全程可视,精细化的管控目标。     

电网应急指挥系统中开源WebGIS框架设计与应用

文章提出一种基于开源平台的WebGIS框架,并详细阐述了该框架结构和实现机制。框架前台基于Flex和OpenScales富客户端技术开发,地图服务通过GeoServer地图服务器发布,空间数据库采用PostgreSQL/PostGIS。基于该框架,开发了中国南方电网应急指挥信息管理系统地形图综合应用,实现电力基础数据管理与可视化展现、突发事件成灾模型与灾害评估展现以及应急预案与辅助应急指挥可视化展现。     

基于智能电网大数据的三维可视化管理系统及其应用研究

在响应中国南方电网有限责任公司(以下简称"南方电网")加快应用"云大物移智"等IT新技术要求的前提下,基于智能电网大数据,提出将三维地理信息系统(geographic information system,GIS)、虚拟仿真、人工智能等技术手段结合,构建一套输变电施工过程三维可视化管理平台,并结合工程实例,介绍平台在工程进度管理和工程安全管理等方面的应用.通过实例应用表明,平台能够在一定程度上加强工程进度计划管理,辅助施工安全管控,提高工程精细化管理水平.     

基于开源软件的电网雷电大数据平台技术研究与应用

针对当前电网海量雷电数据在采集、存储与计算方面存在的技术瓶颈,该文采用互联网时代大数据主流技术,提出了构建基于开源软件的电网雷电大数据平台。首先,分别介绍了电网雷电大数据的特征和大数据软件技术的选型;其次,对电网雷电大数据平台进行了总体架构设计,并研发了海量数据高效采集、多源异构数据存储与分布式快速计算等关键技术;最后,详细阐述了雷电大数据平台在电网中的典型应用场景。通过建立电网雷电大数据平台,可以有效提升海量雷电数据的处理能力,为深入挖掘雷电数据潜在价值提供技术支撑,对于电网防雷减灾工作具有重要的意义。     

配电网工程建设全过程关键管控指标关联关系研究

电力大数据的应用主要集中在电力生产、运营、销售环节中，在工程建设环节应用较少。现有的配电网工程项目种类复杂、数量繁多，在建设过程中产生了海量数据，传统项目管控方法已经不能满足要求。利用数据挖掘技术对配电网工程建设项目大数据进行处理，既可以通过采集的关键管控指标大数据来分析管控指标之间的关联关系，又可以辅助管理人员进行重点管理，有针对性地关注容易导致偏差的关联规则。基于Hadoop平台改进后的Apriori关联算法从某省配电网工程精益化管控平台系统等数据源获取相关指标数据，可以挖掘得到配电网工程建设全过程关键管控指标关联关系，依据重点关联关系为配电网工程项目的管理与控制提供参考依据，强化数据统筹分析能力。     

电网环保生态大数据平台功能构架

提出了电网环保生态大数据平台的主体功能构架,从电网环保全过程管理的角度,围绕提高环保监督效果和工作效率的需求,为平台设计了生态红线监控管理、电网环保应用管理、环境监测管理、噪声监测管理、水保空地一体监测和系统管理六大模块,对多个关键数据与指标进行动态监测和资源管理,并对大数据平台建设中涉及到的数据存储、数据挖掘以及可视化人工交互技术进行了研究与探索。电网环保大数据平台的功能构架探讨,可为大数据在该领域的应用以及电网项目环保管理高质量运行与决策提供有益参考。