一种电力设备状态监测大数据的分布式联机分析处理方法

电力设备状态监测大数据分析是一个热点研究课题,对保障电力设备的安全稳定运行具有重要意义。联机分析处理(on-line analytical processing,OLAP)可以多角度、快速存取与分析数据,是实现电力设备状态监测大数据分析的一种重要技术手段。通过分析大数据环境下的OLAP技术,设计一种电力设备状态监测大数据分析平台,给出3种分布式数据分析方案,包括基于Hive的关系型联机分析、基于Impala的关系型联机分析和基于HBase的多维联机分析。分布式关系型联机分析虽然在一定程度上满足电力企业的需求,但其数据模型中表之间频繁的连接操作,导致其出现性能瓶颈。针对分布式关系型联机分析数据模型连接操作开销大、查询速度慢等问题,提出了基于无连接层次编码的电力设备状态监测数据模型,对常规数据模型进行改进,把维表的层次信息进行编码存储到事实表中,减少连接操作,以优化性能。采用Hive和Impala等大数据分析工具,在不同规模监测数据集上对本模型的数据加载、上卷操作、存储开销等方面进行实验测试。实验结果表明,数据加载速度约是常规模型的42%,上卷执行时间比常规数据模型缩短40%至49%,存储开销大约比常规星型模型减少37%,验证了本方法的有效性与可行性,给电力设备状态监测大数据分析带来一种新的思路。     

基于数据挖掘的预警技术在一体化输电设备监测中的应用研究

数据挖掘技术能自动地分析数据仓库的海量数据,挖掘出丰富的预警知识,对电力设备安全运行起着重要的作用。基于时间复杂度的考虑,首先通过改进的层次聚类算法对输电设备监测的历史数据进行挖掘,获得设备运行状态的运行库,对于实时在线监测数据利用回归方法得到设备运行状态的实时预测值,然后利用相关的报警规则实现输电设备监测的预警,最后给出了基于输电设备运行状态挖掘的预警系统设计。     

输变电设备状态监测数据自动汇集技术研究与应用

为建立电力设备状态监测诊断系统的统一化、标准化数据平台,研究了基于统一信息模型,实现来源于各专业系统的状态监测数据自动汇集的方法。首先提出各数据源系统的对象编码及对象命名不一致问题的解决方案,以及对源系统模型进行校验的方法;阐述数据自动汇集的过程步骤,介绍和分析生产管理系统与调度自动化系统信息模型自动拼接、在线监测模型创建、实时数据及告警数据汇集的方法。自动汇集技术已应用于广东电网公司,实现了广东电网生产管理系统、能量管理系统、在线监测系统的海量数据的自动汇集、全面融合、统一应用。     

基于MapReduce的电力设备并行故障诊断方法

以智能电网中电力变压器故障诊断为例,给出了基于MapReduce的电力变压器并行故障诊断过程,其应用4个MapReduce过程执行故障诊断算法的训练阶段,并得出分类模型,应用1个MapReduce过程完成对电力设备状态信息数据的故障诊断。建立了电力设备状态信息并行故障诊断实验平台,基于海量变压器油中溶解气体分析数据进行并行故障诊断实验,实验结果表明并行故障诊断速度高于传统单机环境下的诊断速度,满足智能电网环境下对海量电力设备状态信息快速故障诊断的要求。     

基于电网运维数据的智能预警系统设计

为实现对电力设备海量数据进行快速准确地分析,正确提供电力设备健康状态的实时评估结果,结合典型数据分析方法,将影响设备评价结果的海量电气特征量进行融合,设计了电力设备状态智能预警系统。该系统由数据集合层、数据融合层、告警级别配置层和告警信息展示层构成,通过对电力设备不同维度数据之间的关联分析,经由设备预警模型和设备预警逻辑判断后生成预警信息,从而达到自动对故障设备准确定位并判断故障类别的预警目标。     

电力设备状态监测大数据发展综述

论述了大数据在电力设备状态监测上的发展趋势与应用前景。首先分析了状态监测数据的大数据特征,并从大数据技术、大数据思想方法、大数据算法三个层面论述了大数据对电力设备状态监测的提升点。其次给出了基于大数据的电力设备状态监测系统架构,并从数据采集、数据去噪、特征提取、模式识别、知识挖掘、数据可视化几个方面论述了大数据与状态监测各个环节的结合点。最后通过一个综合监测系统案例,分析了大数据在多源异构数据融合、综合分析与诊断、设备故障预测上的应用。大数据在电力设备状态监测上的深入应用,有利于解决设备状态评价和故障预测的难题,推动该领域朝着更加智能化的方向发展。     

电力设备状态高速采样数据的云存储技术研究

提出基于Hadoop和HBase的电力设备状态高速采样数据的存储方案,基于MapReduce设计实现了设备状态高速采样数据的并行查询方法。创建了1个包含20个节点（每个节点配置4核CPU）的Hadoop集群,并对集群进行了基准测试,测试结果表明所建集群适合进行大量数据的读写。以绝缘子泄漏电流数据为例,使用YCSB对所建存储系统进行了性能测试,测试结果表明,Hadoop和Hbase在存储容量、吞吐量以及查询延迟上提供了足够高的性能,能够满足智能电网状态监测数据可靠性及实时性要求。     

基于数据仓库的昆明电网电量分析

数据仓库技术对操作型数据转化成全面、集成的信息,以及对海量数据的查询和统计提供了有效的途径.文章在介绍数据仓库、联机分析处理概念和技术的基础上,分析了面向主题的多维数据库的建立和多维视图的展现等技术,针对昆明电网负荷管理系统,基于微软的SQL Server 2000和SQL Analysis Services 2000构建了面向电量主题的数据仓库,在数据可视化方面弥补了Analysis Services 2000的不足.同时讨论了数据仓库技术在完成电量数据的查询、统计、分析、生成各种统计报表方面的具体应用.     

智能变电站海量在线监测数据处理方法

通过对智能变电站状态监测数据的特点以及Hadoop云计算技术的分析,研究数据检测机制以及索引构建方法,提出一种基于Hadoop的智能变电站在线监测数据可靠存储及快速查询方法.该方法将变电站在线监测所收集的海量变电设备在线监测数据冗余存储在Hadoop分布式文件系统(HDFS)中,对在线监测数据的索引表结构进行优化,并存储在分布式结构化数据库(HBase)中,实现海量在线监测数据的快速查询.搭建基于Hadoop的在线监测数据处理实验平台,进行了基准测试、排序测试以及在线监测数据读写性能测试等.测试结果表明,上述方法及平台在查询时间、读写效率及吞吐量等方面具有良好的性能,能够满足智能变电站大规模在线监测数据的可靠存储及高效处理的需要.     

基于Spark的电力设备在线监测数据可视化方法

大数据可视化可以实现海量电力设备在线监测数据中各种属性、运行状态等电力特征信息的图形、图像化直观呈现,为设备运行状态的及时有效监控分析提供有力保障。因此,本文提出一种基于Spark的电力设备在线监测数据可视化方法,为实现大数据环境下的电力设备在线监测数据的状态信息快速提取,在Spark大数据计算平台上,建立了基于设备状态评估指标体系与模糊C均值聚类(FCM)的电力设备状态信息提取算法。针对数据的多维、时序特性,构建三维平行散点图的数据可视化展现形式,实现电力设备在线监测数据信息全貌的可视化展现。将该方法运用于吉林省某风电场的风电机组在线监测数据集,实验结果证明了该方法的有效性。     

电力用户信息的多区块链管理及跨链查询方法研究

区块链技术在保证电力用户信息安全隐私上具有良好表现及前景,但其去中心化特点带来节点存储压力过大的问题,导致节点服务器运行速度过慢,交易处理性能低下。为减轻节点的存储任务,提出多链管理及跨链查询的方法。利用多通道技术对账本进行多路隔离,实现了巨量数据节点的多链管理。针对多链间的“数据孤岛”问题,增加中间人节点并结合键值查询方法实现了跨链查询,从而成功构建了具备多链管理及跨链查询的电力用户信息区块链管理系统。系统测试表明：在保证用户信息安全隐私的前提下,有效缓解了节点存储压力过大的问题,系统稳定高效且能够跨链查询。该方法实现了电力用户信息安全存储、系统高效运行、数据全局共享,为推动国家电网数字化建设提供参考。     

跨平台电网规划数据融合与存储模式

随着电网规划各业务系统平台的建立以及异构业务数据的急剧增加,急需打破各系统平台之间的业务壁垒,建立完善的业务信息共享与交互体系。文章在分析现有业务系统数据格式及存储现状的基础上,深入研究异构数据融合与存储的关键技术,并提出一种跨平台电网规划数据融合与存储模式。通过建立统一业务数据信息模型,完成异构数据的融合处理;构建基于Hadoop的分布式文件存储系统,实现海量异构数据高效快速的存储与索引,为电网规划系统乃至电力行业的海量异构数据与信息共享提供理论指导与体系架构支撑。     

开放式输变电设备状态监测信息平台设计与实现

设计和实现开放式的输变电设备状态监测信息平台。以标准化的方式组织数据,采用关系型数据库与实时数据库相结合的优化数据存储,汇集生产管理系统、能量管理系统、变电设备状态监测、输电设备状态监测、环境监测等系统的数据,经过筛选、转换、合并,形成统一的数据结构。通过标准接口对外发布,供各类监测相关的应用程序访问,具有很好的数据开放性。易于扩展接入新系统,可为输变电设备状态数据分析提供长期支持。现已有多种输变电设备状态监测高级应用从平台获取各类数据。     

电力营销决策支持系统的设计

随着电力工业的迅速发展，电力公司营销部门依靠传统的信息管理方式已经远远不能满足未来电力市场的要求，因此，使用具有灵活查询、在线分析处理、复杂报表能力为一体的电力营销决策支持系统（DSS）已变得十分迫切。从电力营销决策支持系统的体系结构、功能模块、前端工具和数据仓库4个方面来说明系统的设计思路和方法。系统由事务处理、数据仓库和决策工具3部分组成，使业务人员和决策可以任意访问部门信息数据，迅速作出正确而及时的决策。以成功应用于实际的德阳电业局电力营销决策支持系统为例来说明其实现方式。     

电动汽车充电网络云平台下一种基于Chord-R的多租户多维索引方法

面向不同运营商多租户数据的高效索引方法是构建电动汽车充电网络云平台的关键技术之一。现有多租户数据索引方法在面对海量多维信息索引时存在效率低的问题。在此背景下,提出了一种基于共享存储模式的Chord-R双层索引方法,上层采用对等结构中的Chord协议作为全局索引,使单个租户的数据聚集并有序地分布在尽量少且相邻的节点上,保证数据具有良好的隔离性和扩展性;下层引入空间索引方法R树进行本地数据的局部索引,最终实现了多租户数据多维信息的高效索引。实验结果表明,在进行多维信息索引时,与典型多租户索引方法（multi-tenant indexing mechanism based on improved Chord mapping approach,MIMC）相比,查询时间至少可以节省48%。     

供电预测数据仓库的建设

以Sybase提供的Warehouse Studio为开发平台，对朝阳供电公司原有的数据源进行重新组织，建立了供电预测数据仓库。文中详细介绍了数据仓库的建模、数据抽取与转换、数据存储与管理、元数据管理以及可视化数据分析等技术。该数据仓库可运用在线分析处理及数据挖掘技术，实现地区用电的科学预测，为供电企业营销决策与管理提供科学的信息支持。     

海量历史/准实时数据管理平台的建设与应用

随着企业规模的不断成长、信息化建设工作的不断深入,信息量的增长给实时历史数据库存储管理能力和数据访问能力提出了更高的要求。面对庞大的数据量,实时历史数据库迫切需要解决数据处理与存储的问题,一方面要保证数据处理的实时性;另一方面需要为海量数据存储提供弹性的管理空间。通过建设海量历史/准实时数据管理平台,可以有效解决公司调度、输变电设备状态监测、用电信息采集、配电自动化等业务应用的海量历史/准实时数据处理难题。     

基于分布式键值对存储技术的EMS数据库平台

为解决智能电网系统中能量管理系统(energy management system,EMS)数据指数级增长带来的海量数据存储和快速访问问题,提出一种基于分布式键值对存储EMS数据的方法,将结构化与非结构化数据统一按照键值对形式进行表达,并分布存储于集群中.以该方法为基础,设计并实现了一种新的EMS数据库平台,该平台是混...     

电网调控集群分布式实时数据库的设计与关键技术

为解决电网调度控制系统大规模实时数据的处理性能问题,设计了一种集群分布式实时数据库,通过分布式技术实现海量数据存储,并使用集群技术实现数据的统一访问和管理。对集群分布式实时库架构及所使用的分布式存储技术、分布式数据定位技术和分布式访问技术进行了讨论,解决了调度控制系统实时数据的灵活分片、分布式存储和快速定位问题。最后通过测试和现场运行验证了集群分布式实时数据库能在确保系统高可靠性的条件下,实现实时数据的高性能访问。     

全维度智能变电站设备状态监测关键技术研究

近年来,在电网的节能化和智能化过程中应用大量的物联网(IoT)设备,解决了因变电站设备繁多而引起的信息孤立、难共享、难整合等问题。将物联网技术引入到变电站设备状态监测中,提出了变电站设备IoT全维度体系架构和变电站设备无线监测网络拓扑方案。在GSO算法基础之上,优化算法对信息模型进行扩展,建立可以承担海量数据的变电站设备状态监测全维度信息模型,并设计了变电站设备监测网络结构。针对不同节点系统进行综合仿真研究,结果表明,该算法有效降低了变电站功率损耗,改善了电压分布,为智能变电站建立全维度设备状态监测系统提供参考。