配用电大数据多源集成及存储优化方法

面对体量大、类型多、增长快的配用电大数据,如何利用大数据技术提升配用电相关业务的广度、深度和精度成为电力行业新的机遇和挑战。为解决配用电大数据多源集成和高效存储两方面核心问题,根据配用电大数据的组成及特征,通过生成标准化元数据并构建相应数据字典的方法,实现了多源配用电数据规范化集成;在数据集成的基础上,基于Hadoop平台进行大数据存储优化方法研究,提出考虑配用电数据关联性的哈希分桶存储算法,实现了相关联数据的集中存储,从而提升后期数据查询及处理的效率并在数据存储优化的基础上,实现基于Map Reduce的多源配用电大数据并行关联查询。通过在Hadoop集群平台上进行测试表明,经过哈希分桶存储优化后的多源数据并行关联查询相比传统Hadoop方法查询时间显著缩短。     

基于数据流特性的配用电边缘计算终端协议识别方法

电力物联网背景下海量异构配用电数据接入边缘终端,为了提升边缘终端对配用电数据的辨识分析能力, 提出一种基于配用电数据流特性的边缘终端协议识别方法.在分析配用电数据特点的基础上,从多角度提取配用电数据流特征,接着对 K-means聚类方法进行改进,以适应配用电数据流识别的需求,最后形成了一套配用电边缘计算终端协议识别方法的完整流程,能够有效进行配用电数据的协议识别.     

多源异构的智能配用电数据存储处理技术

针对智能配用电数据具有海量、多源异构等特点,提出一种基于Hadoop的智能配用电数据存储处理的框架设计方案。在对智能配用电数据组成进行梳理的基础上,提出了智能配用电的资源、存储和查询三层数据存储框架。其中,资源层采用Hadoop集群架构,结合电力系统的行业特色,完成IT存储资源管理;存储层则先采用XML技术进行数据预处理,使非结构化数据归一化,然后利用No SQL数据库通过Map和Reduce的有效结合,完成海量数据的快速存储;查询层利用Top-k检索技术,实现海量数据的快速查寻。该设计方案能够对结构化和非结构化数据进行统一存储,可为智能配用电大数据技术的应用提供基础支撑。     

基于Infomap算法的配电网边缘划分方法

在能源互联网时代,配电网面临着海量分布式数据的计算和存储需求,而边缘计算可以利用网络末端资源就近提供配用电分析和计算,从而减轻主站计算、存储压力.为了充分发挥配电网边缘计算的优势以及提高配电网精细化运行管理水平,文章提出了一种基于Infomap算法的配电网边缘划分方法.首先,考虑配电网边缘规模和自治需求,明确定义配电网...     

城市能源互联网综合服务平台架构及关键技术

城市能源互联网是通过广泛连接电、气、冷、热等多种能源,借助信息化、智能化手段,实现资源优化配置和能源高效运行。由于涉及多种能源形式和不同的运营机构,城市能源互联网的建设和运营涉及许多挑战:海量终端设备的接入管控困难、模型与技术路线差异巨大、数据处理与智能化应用手段缺乏。该文利用复杂系统管理和控制理论,提出独立于特定设备、特定领域的综合服务平台架构,并深入研究软件定义终端接入信息物理系统(cyber-physical systems,CPS)建模与分析计算引擎、分布式多主体协作等关键技术,实现大规模异构终端的访问和远程控制,多源异构数据的融合和分布式处理,多主体异构系统的分布式协作。最后对城市能源互联网综合服务平台的应用场景及生态建设进行展望。     

智能电网大数据处理技术现状与挑战

智能电网需要全景的状态数据。电网运行、检修和管理过程中会产生海量异构、多态的数据,也即大数据。如何对它们进行高效、可靠、低廉地存储,并快速访问和分析,是当前重要的研究课题。文章首先分析了发电、输变电以及用电各个环节中大数据的产生来源和特点;其后,综述了目前在商业、互联网和工业监测领域已有的大数据处理技术,并详细分析这些技术在应对智能电网建设和大数据处理方面的优势和不足。最后,从大数据存储、实时数据处理、异构多数据源融合以及大数据可视化4个方面论述了智能电网大数据带来的机遇和挑战。     

基于联合卡尔曼滤波的配电网多源异构数据融合

由于传统方法没有对配电网多源异构数据采集的时间进行配准,导致配电网多源异构数据融合时误差大、效率低。针对该问题,提出了基于联合卡尔曼滤波的配电网多源异构数据融合方法。构建了数据纠偏机制,采用最小二乘法对数据采集的时间配准,并采用拉格朗日插值方法对时序数据填充,计算数据关联性。在此基础上,采用联合卡尔曼滤波算法将相同数据融合到同一个类中,以此实现配电网多源异构数据融合。实验结果表明,所研究的数据融合方法不仅能够根据需求一直追踪需求的融合误差,还能够降低节点电压与功率估计的相对误差、提高配电网多源异构数据融合的效率。实验结果不仅证明了所研究融合方法的有效性,还证明了联合卡尔曼滤波算法在数据融合中的适用性。     

智能配用电大数据存储架构设计

针对智能配用电数据海量、高维度、多源异构等特点,提出一种大数据存储的三层管理框架设计方案。首先,对智能配用电数据组成进行分类划分。然后,提出智能配用电数据存储的资源层、元数据层和实际数据层的三层管理框架,在资源管理层,应用虚拟化技术、负载均衡和资源调度完成对物理资源的管理;在元数据管理层,使用数据预处理技术对智能配用电的元数据进行分类,采用中间件技术完成XML元数据仓库管理;在实际数据管理层,利用NoSQL技术,通过Map和Reduce的有效结合,完成海量数据的分层分区快速存储。最后,在实验室环境下对该设计方案进行初步的应用,验证了所设计方案能够对结构化、半结构化和非结构化数据进行统一存储,可为智能配用电大数据技术的应用提供基础支撑作用。     

边缘计算在电厂自动发电控制考核中的应用

在能源互联网时代,电网调度中心对电厂自动发电控制的考核面临着海量分布式数据接入和计算需求.为减轻考核过程中调度中心的计算和数据存储压力,文中研究了边缘计算在电厂自动发电控制考核中的应用方法.首先,根据边缘计算与自动发电控制考核的融合模式分析,构建了基于边缘计算的电厂自动发电控制考核系统框架模型.然后,在此基础上,融合计算、存储、网络资源,对调度中心云端、电厂边缘、机组边缘和终端设备4部分进行层次化部署,进而探讨了考核中数据管理和异常数据检测的关键技术.最后,通过实际电厂自动发电控制考核算例,验证了应用边缘计算在减小数据处理量和数据存储空间方面的优越性.     

面向多源异构数据源的实际范围索引树索引方法

在发电、输配电、新能源接入及新型能源消费等各个环节产生的大数据需要高效、可靠的数据存储和管理。文中以能源互联网作为虚拟应用场景,提出了集群式多源异构数据存储方案。为满足集群存储中高效查询需求,构建了实际范围索引树(AR-tree)分层索引模型,并提出了面向多源异构数据源的AR-tree索引方法,该方法针对在双层索引模型的基础上,以局部数据索引的实际索引范围为对象,建立全局索引。同时,对所提AR-tree索引方法操作开销进行了综合分析。最后,仿真结果表明AR-tree索引方法能提高查询命中率并提升查询等操作效率。     

电网调控大数据平台体系架构及关键技术

以数字化技术和能源互联网理念为驱动的"数字新基建"对现有调度自动化系统的数字化转型提出新的挑战,该文考虑调控数据存储规模、数据加工复杂度和数据服务多样化的需求,提出电网调控大数据平台的体系架构.在此基础上,研究了多源调控数据集成与融合、异构数据库分层统一存储、调控数据资产管理、大数据算法引擎等关键技术,实现全业务、全场景的电网调控数据汇集、加工和资产管理.该技术方案为调控云智能分析应用提供了存储、数据和算法的有力支撑.     

多技术融合的智能配用电终端通信接入架构设计

针对能源互联网背景下配用电终端通信接入复杂性问题,设计了一种多技术融合的智能配用电终端接入架构。首先归纳配用电终端通信接入特点;在分析现有配电网通信架构不足的基础上,采用多技术融合策略,实现了具备多网协同和自治自愈特征的三层配用电终端接入架构设计;最后通过配电终端和用电终端的典型接入示例及其应用分析,阐述了具体融合技术路线和架构设计的合理性。     

配用电统一模型中心的设计与应用

为有效提升配电网的精益化管理水平,针对目前配电网数据源不唯一、存在信息孤岛,配电网综合分析能力与可视化展示水平不高的问题,提出了基于多源数据融合的配用电统一模型中心,并基于此实现了配电网供电服务指挥系统。配用电统一模型中心融合了多种信息系统的静态和实时数据,针对多源数据进行存储、清洗、分析计算和数据挖掘,以可视化技术展示配电网整体规模、运行态势、检修信息、抢修服务态势和工程进度,为配电设备智能化、运维检修智能化和生产管理智能化提供科学有效的辅助决策手段,以便更好地为用户提供电力服务。     

融合型配电网大数据处理平台架构设计

为深化配电系统多源异构电力大数据的挖掘与应用,提出一种电力物联网与智能电网融合的配电网大数据处理平台架构方案.首先,针对两网融合的大数据处理研究现状,统筹当前主要业务需求,提出一种基于软件定义网络的云边协同总体架构设计;其次,就电力大数据的存取交互方式,考虑海量数据的多源异构特性,构建了一种分布式的3层数据管理架构;然...     

输电线路多源异构数据处理关键技术研究综述

输电线路多源异构数据的处理对提升智能电网时代输电线路运维水平具有重要意义。为了解决输电线路上不同来源数据的结构差异性问题,介绍了多源异构数据的概念及其与传统大数据之间的异同,列举了输电线路上各种多源异构数据的来源和特征。在介绍数据处理一般框架的基础上,从数据集成、数据分析的角度分析了输电线路多源异构数据处理的关键技术,并给出一个应用实例。最后阐述了目前多源异构数据处理的发展方向包括文本挖掘、数据实时性处理和数据可视化。输电线路多源异构数据处理技术可望为线路智能运维能力的发展提供新的技术手段。     

新型电力系统多源异构数据融合技术研究现状及展望

能源转型背景下,新型电力系统以清洁低碳、开放互动为目标不断建设,同时监测技术与通信技术也快速发展,电力系统中的数据来源更加广泛,数据结构更加复杂,为新型电力系统数据融合提供数据基础的同时也提出了挑战。首先,分析新型电力系统数据特征,提出新型电力系统的数据融合需求;接着,介绍新型电力系统数据模型、多源异构数据融合技术层级,分析关键融合技术的优缺点,并对不同技术的适用场景进行分析;然后,分别从输配协同、源网荷储协同、虚拟电厂、多元负荷、电碳市场交易5个典型场景,对多源异构数据融合的数据需求、数据来源、融合目标、常见方法及研究难点进行归纳;最后,对新型电力系统数据融合技术的未来研究发展进行了展望。     

智能园区管控平台集成架构设计及关键技术

随着智能配用电园区规模的扩大,配电自动化、用电信息采集等应用系统的推广应用,配电网中会产生指数级增长的海量异构、多态的数据,配用电环节的管理需求也逐渐复杂起来,因此需要建立高效的管控平台。基于海量数据的运行监控、用电管理等基本功能高度融合,智能运维、能源服务、售电管理等多种智慧功能按需集成的智能园区管控平台是未来智能园区管控系统的发展方向。针对智能园区海量数据的高速采集、高效处理、高速存储与计算,以及统一服务等需求,提出了管控平台的集成架构设计方案。通过关键技术性能验证了智能园区管控平台集成架构的优势和可行性。     

智能配用电园区综合能量管理技术研究及应用

目前国内外智能配用电园区建设面临源—网—荷—储资源协调控制难度大、缺乏一体化业务支持系统等技术难题。文章在研究智能配用电园区多源信息融合技术的基础上,提出了园区多级能源协调控制方法,建立了园区综合能量管理功能架构,设计开发了园区综合能量管理系统,实现了园区中分布式电源、配电网、多元化负荷等资源的优化利用,全面支撑了调控、运检、营销等专业的业务应用。上述方案和系统在中新天津生态城智能配用电园区获得落地应用,运行结果验证了所述园区综合能量管理技术的可行性与有效性。     

跨平台电网规划数据融合与存储模式

随着电网规划各业务系统平台的建立以及异构业务数据的急剧增加,急需打破各系统平台之间的业务壁垒,建立完善的业务信息共享与交互体系。文章在分析现有业务系统数据格式及存储现状的基础上,深入研究异构数据融合与存储的关键技术,并提出一种跨平台电网规划数据融合与存储模式。通过建立统一业务数据信息模型,完成异构数据的融合处理;构建基于Hadoop的分布式文件存储系统,实现海量异构数据高效快速的存储与索引,为电网规划系统乃至电力行业的海量异构数据与信息共享提供理论指导与体系架构支撑。     

面向能源互联网的大数据关键技术研究

随着能源互联网的不断发展,越来越多的业务数据被采集和存储,如何从这些数据中挖掘出对能源互联网运行有用的知识至关重要。文章从数据源层、数据管理层、数据计算层以及数据应用层等4个层面构建面向能源互联网的电力大数据体系架构,在此基础上,详细描述面向能源互联网的大数据智能化高效分析挖掘技术和面向能源互联网的信息物理融合安全技术。通过对能源互联网大数据分析和安全技术的总结,为能源互联网安全、可靠、高效运行提供重要的依据。