基于Spark平台和并行随机森林回归算法的短期电力负荷预测

随着智能电网、全球能源互联网的建设与相关技术的发展,现代电力系统中电力大数据的格局已经形成,如何对高维海量数据进行深度挖掘以实现数据的充分利用,成为当前电力工作者们关心的问题。该文针对电力大数据环境下高精度和实时性的负荷预测展开了研究,提出了基于Spark平台和并行随机森林回归算法(Spark platform and parallel random forest regression,SP-RFR)的短期电力负荷预测方法,通过3次弹性分布式数据集(resilient distributed datasets,RDD)转换实现单机随机森林算法的并行化改进,并在Spark分布式集群环境下实现部署。结合某区域实际电力负荷数据设计试验,进行模型训练和回归预测,通过试验证明,对同等的数据集,基于Spark平台的并行随机森林回归算法预测精度高于单机负荷预测算法;并行随机森林算法受离群数据干扰较小,且随着数据集的增大,并行随机森林算法表现出良好的鲁棒性;与单机算法在运行时间上相比,随着数据集的增大,基于分布式集群的方法优势明显。该文提出的方法能够有效地在分布式环境中进行电力负荷预测,为负荷预测提供了一种新思路。     

基于Spark和IPPSO_LSSVM的短期分布式电力负荷预测算法

为了提高电力负荷预测的精度,应对单机运算资源不足的挑战,提出一种改进并行化粒子群算法优化的最小二乘支持向量机短期负荷预测模型。通过引入Spark on YARN内存计算平台,将改进并行粒子群优化(IPPSO)算法部署在平台上,对最小二乘支持向量机(LSSVM)的不确定参数进行算法优化,利用优化后的参数进行负荷预测。通过引入并行化和分布式的思想,提高算法预测准确率和处理海量高维数据的能力。采用EUNITE提供的真实负荷数据,在8节点的云计算集群上进行实验和分析,结果表明所提分布式电力负荷预测算法精度优于传统的泛化神经网络算法,在执行效率上优于基于Map Reduce的分布式在线序列优化学习机算法,且提出的算法具有较好的并行能力。     

基于云计算和极限学习机的分布式电力负荷预测算法

为了提高电力负荷预测精度,应对电力系统智能化所带来的数据海量化高维化带来的单机计算资源不足的挑战,提出了一种在线序列优化的极限学习机短期电力负荷预测模型。针对电力负荷数据特性,对极限学习机预测算法进行在线序列优化;引入分布式和multi-agent思想,提升负荷预测算法预测准确率;采用云计算的MapReduce编程框架对提出的算法模型进行并行化改进,提高其处理海量高维数据的能力。选用EUNITE提供的真实电力负荷数据进行算例分析,在32节点云计算集群上进行实验,结果表明基于该模型的负荷预测精度均优于传统支持向量回归预测算法和泛化神经网络预测算法,且提出的算法具有优异的并行性能。     

电力用户侧大数据分析与并行负荷预测

随着智能电网、通信网络技术和传感器技术的发展,电力用户侧数据呈指数级增长、复杂程度增大,逐步构成了用户侧大数据。传统的数据分析模式已无法满足需求,迫切需要解决电力用户侧的大数据在分析与处理方面的难题。该文分析电力用户大数据的来源,针对电力用户侧大数据的数据量大、种类繁多与速度快等特点,指出电力用户侧的大数据在数据存储、可用性、处理等方面面临的挑战。结合云计算技术提出一种电力用户侧大数据分析处理平台,将智能电表、SCADA系统和各种传感器中采集的数据整合,并利用并行化计算模型Map Reduce与内存并行化计算框架Spark对电力用户侧的大数据进行分析。提出基于随机森林算法的并行负荷预测方法,将随机森林算法进行并行化,对历史负荷、温度、风速等数据进行并行化分析,缩短负荷预测时间和提高随机森林算法对大数据的处理能力。设计并实现基于Hadoop的电力用户侧大数据并行负荷预测原型系统,包括数据集群的管理、数据管理、预测分类算法库等功能。采用不同大小的数据集对并行化随机森林算法进行负荷预测实验,实验结果表明,并行化随机森林算法的预测精度明显高于决策树的预测精度,且在不同数据集上预测精度普遍高于决策树的预测精度,能够较好的对大数据进行分析处理。     

基于Spark平台和多变量L_2-Boosting回归模型的分布式能源系统短期负荷预测

分布式能源系统负荷预测是系统规划与经济运行的可靠前提和依据,在当前海量高维数据的背景下,有效的在线数据处理平台与精确的负荷预测方法是当前的研究重点。基于分布式能源系统负荷数据特点,在缺失数据处理、坏数据分类以及特征选择的基础上,建立了基于Spark平台与多变量L_2-Boosting回归模型的分布式能源系统短期负荷预测方法。首先,利用Spark平台分割全部数据得到多个子数据模型,通过并行计算提高数据处理效率,采用特征提取方法得出模型需要的输入向量;其次,将得出的有效数据信息输入到多变量L_2-Boosting回归模型进行训练学习,得到训练后的多变量L_2-Boosting回归模型;最后,利用测试数据测试模型。算例结果验证了所提模型的有效性。     

一种基于Spark和聚类分析的辨识电力系统不良数据新方法

随着电力系统智能化建设的不断深入和推进,电力系统数据呈现海量化、高维化的趋势。针对电力系统中的不良数据将导致电力系统状态估计结果的准确性降低,而传统聚类算法处理海量高维数据时单机计算资源不足,近年来较流行的MapReduce框架不能有效处理频繁迭代计算等问题,提出一种基于Spark的并行K-means算法辨识不良数据的新方法。以某一节点电力负荷数据为研究对象,运用基于Spark的并行K-means聚类算法提取出日负荷特征曲线,分别对输电网状态估计中的不良数据进行检测和辨识。选用EUNITE提供的真实电力负荷数据进行实验,结果表明此方法能有效提高状态估计结果的准确性,与基于MapReduce框架的方法相比,具有更好的加速比、扩展性,能更好地处理电力系统的海量数据。     

计及需求响应和深度结构多任务学习的电力系统短期负荷预测

随着需求响应技术的快速发展,使得电力系统负荷数据呈现出规模庞大、结构复杂的非线性特征,基于深度机器学习和高效数据处理平台的负荷预测方法是当前的研究重点。为实现计及需求响应的电力系统短期负荷预测,建立了基于Spark平台和时钟频率驱动循环神经网络(CW-RNNs)的短期负荷预测方法。首先,在Spark平台上设置不同工作组将全部数据分割为多个子数据模块,通过并行化计算提高数据处理效率,进而基于需求响应技术对负荷曲线做出调整,计算得到用户预期收益和用户舒适度影响指标值;其次,采用离散小波变换将调整后的负荷曲线分解,得到一组高、低频信号;并采用偏最小二乘回归模型和CW-RNNs回归模型分别对低、高频信号进行训练学习;最后,将训练好的PLS模型和CW-RNNs模型通过加权平均得到最终组合预测模型(Spark-CW-RNNs)。通过实例计算验证算法的准确性和有效性,结果表明：Spark-CW-RNNs模型比其他单一模型的预测误差更小、预测精度更高,模型具有有效性和可行性。     

基于大数据平台的电网线损与窃电预警分析关键技术

提出了一种基于营配调贯通的海量数据分析技术,采用电力大数据平台关键技术构建电网线损与窃电预警分析系统,实现线损的一体化计算、分析与展示。在线损计算结果的基础上,综合利用电网企业现有海量数据,通过采用Hadoop离线分布式计算、Spark内存计算等大数据技术对线损率异常线路或台区进行深度挖掘,识别出可能存在的窃电行为,为供电企业反窃电稽查提供窃电预警和数据支持服务,进一步提升供电企业的经营效益。本系统的构建为大数据技术在电力行业的应用进行了验证和实践。     

适用于海量负荷数据分类的高性能反向传播神经网络算法

负荷分类对于指导电网发用电规划与保证电网可靠运行具有重要意义。面向负荷数据海量化与复杂化趋势,传统负荷分类方法已无法满足用电大数据分析要求。首先,针对用户侧数据体量大、类型多、速度快等特点,在Spark平台上将反向传播神经网络(BPNN)算法并行化,实现对海量负荷数据的高效分类。然后,通过对训练样本抽样分块以降低各网络学习时间,针对分布式后BPNN基分类器由于学习样本缺失潜在的准确度下降问题,采用集成学习予以改善。并通过BPNN学习不同训练样本块构建差异化基分类器,对基分类结果多数投票得到最终分类结果。另外,提供了一种基于K-means和K-medoids聚类的负荷数据训练样本选取方法。算例表明所提方法既能对负荷曲线有效分类,又能大幅提高海量数据的处理效率。     

基于均衡KNN算法的电力负荷短期并行预测

为提高电力负荷预测精度,应对海量、高维数据带来的单机计算资源不足的问题,提出一种基于均衡KNN算法的短期电力负荷并行预测方法。针对电力负荷数据特征,采用K均值聚类算法进行电力负荷场景划分;为提高场景划分精度,采用反熵权法量化负荷特征的权重系数;针对不均衡的负荷场景,提出均衡KNN算法对待预测负荷进行精确的场景归类;采用BP神经网络算法对海量历史数据进行负荷预测模型的分场景训练与预测;采用ApacheSpark架构对提出的模型进行并行化编程,提高其处理海量、高维数据的能力。选取某小区居民用电数据进行算例分析,在30节点云计算集群上进行测试验证,结果表明基于该模型的负荷预测精度与执行时间均优于传统预测算法,且提出的算法具有优异的并行性能。     

基于大数据平台的配电网负荷预测关键技术

大规模配电网负荷预测需重点关注预测准确率及计算效率,由于规模大、关联因素复杂,采用传统集中式或简单分布式平台环境难以满足应用要求。提出了基于大数据平台的解决方案,方案结合大规模配电网负荷预测应用场景特点,提出了数据存储、数据预处理、特性分析、预测算法等关键环节的技术路线。应用多元化分布式存储方式,实现了多类型数据的分类存储;应用机器学习技术,实现了数据预处理、负荷特性分析等;应用Spark流计算技术,实现了基于滑动窗口操作的滚动短期预测和基于无状态操作的中长期预测。在某省的实际应用结果证明了解决方案在预测准确率和计算效率提升方面效果明显。     

CPU-GPU异构计算框架下的高性能用电负荷预测

随着电网的快速发展,用电信息采集系统的数据计算业务面临着巨大挑战.近年来,图形处理器(GPU)因其在浮点计算速度和存储带宽方面的优势成为高性能计算问题中的研究热点,也被成功应用在电力系统计算分析等科学计算领域.在基于人工智能方法的电力负荷预测问题中,以往大部分研究仅考虑了使用GPU加速预测模型的训练,而并未应用在数据集的获取和计算上.提出了一种基于中央处理器-图形处理器(CPU-GPU)异构计算框架下全流程加速的高性能用电负荷预测方案.首先结合统一计算架构(CUDA)和多线程技术实现了使用多台GPU完成用电负荷的并行预处理,随后在聚类分析后基于XGBoost算法完成了多台区负荷预测,并利用GPU加速了模型的训练计算.最后通过对深圳市43254个台区用电信息的实例分析,验证了所提方法的高效性与适用性.     

基于Spark环境变压器故障并行诊断

为处理海量的电力设备监测数据,满足智能电网快速诊断检修需求,以电力变压器故障诊断为例,提出了基于Spark环境下电力变压器监测数据并行诊断方法。以油中溶解气体数据作为实验输入,利用并行朴素贝叶斯进行故障分类。实验结果表明,并行朴素贝叶斯方法在变压器故障诊断中诊断速度要快于传统的单机环境下诊断速度,基于Spark电力设备监测数据并行诊断实验平台,能够快速处理数据量规模巨大、模型复杂的场景;集群加速比随着节点个数增加明显提高,能够适用电网大数据快速处理的需求。     

Hadoop架构下基于模式匹配的短期电力负荷预测方法

大数据处理技术充分利用海量动态数据,能有效提升电力负荷预测精度及计算效率。采用Hadoop架构提出了一种基于模式匹配的短期电力负荷预测方法,通过度量日负荷序列相似性挖掘得出典型日负荷模式,辨识出关键影响因素构建基于并行随机森林的决策树群从而建立模式匹配规则,实现待测日负荷模式的快速准确匹配;在典型负荷模式下建立多时刻点预测模型,采用Map Reduce计算框架进行负荷计算与预测分析,从而建立大量样本下的负荷预测模型。以某地市电网全年负荷数据为例进行负荷预测分析,并通过平均误差和方均根误差等指标对比局部加权线性回归(LWLR)算法的预测效果。仿真结果表明该方法用于短期负荷预测时具有更高的预测准确性和计算效率。     

基于大数据聚类的电力系统中长期负荷预测

随着电网数据收集能力的提升,积累了海量的负荷及相关数据,为负荷预测开辟了新的思路。提出了一种应用大数据技术的中长期负荷预测新方法。首先通过历史负荷序列的增长趋势、波动性等变化特性的参数化表达,实现负荷的标准化处理,形成大数据聚类的样本;然后结合大数据分析平台的数据处理能力设计了基于Map Reduce并行编程模型的改进模糊K-means聚类方法,实现对负荷大数据的聚类划分;最后综合相同聚类负荷,并建立预测模型。计算结果表明,大数据聚类算法能有效地进行大量负荷数据的聚类划分,实现不同增长特性负荷的区分预测,具有较高的预测精度。     

电力大数据智能化高效分析挖掘技术框架

随着智能电网的不断建设,各类生产经营管理活动中产生的海量、高频数据,具有实时性、易失性、突发性、无序性、无限性等特征,如何充分利用和分析这些数据,快速获取有价值的信息是当前电力大数据处理急需突破的难点。在分析目前电力大数据应用现状的基础上,构建了电力大数据智能化高效分析挖掘技术框架,同时从面向计算密集型电力大数据的特征分析技术、基于内存计算的高性能数据分析技术、电力大数据并行化分析框架及服务体系以及基于数据挖掘的母线超短期负荷预测技术4个方面详细描述了电力大数据智能化高效分析挖掘的关键技术,从而为电力业务数据的高效价值挖掘及在线决策分析提供理论依据及基础技术支撑。     

基于图数据库的电网CIM/E模型构建及网络拓扑

电力系统规模日益庞大、运行调整更加频繁,对分析计算实时性提出了更高要求。图数据库是近年来兴起的一种源于互联网海量数据并行处理的新型数据库,其数据模型可直观表达电网拓扑结构并易实现并行化遍历查询。首先,从数据模型和数据查询等方面介绍了图数据库的特点,分析了将其应用于大规模电力系统分析计算的潜在优势;其次,面向完整性、一致性以及高效性等准则,提出了基于图数据库并遵循CIM/E标准的电网数据模型设计方法,研发了数据模型装载工具。最后,在电网图数据库模型基础上,实现了一种并行化的电力网络拓扑分析算法。对实际大规模省级电网的计算结果表明,所提方法可显著提高拓扑搜索效率。     

基于贝叶斯分类的电网系统短期负荷预测方法

随着改革的不断深化,市场对电力的需求也在不断的变化.现阶段对电力系统短期负荷预测的要求逐渐提升,传统负荷预测方法的精度并不能满足应用需求,因此,提出一种基于贝叶斯分类的电网系统短期负荷预测方法,首先要建立电网系统短期负荷预测指标,通过预测指标建立基于贝叶斯分类的预测模型,然后运用基于贝叶斯分类的预测模型,在模型计算之后对数据进行并行化处理,最终得到电网系统短期负荷预测结果.通过测试实验证明该短期负荷预测方法比传统方法预测的精度更高.     

海量数据下的电力负荷短期预测

该文研究海量数据下的短期电力负荷预测方法,基于局部加权线性回归和云计算平台,建立并行局部加权线性回归模型。同时,为剔除坏数据,采用最大熵建立坏数据分类模型,保证历史数据的有效性。实验数据来自已建的甘肃某智能园区。实验结果表明,提出的并行局部加权模型用于短期电力负荷预测是可行的,平均均方根误差为3.01%,完全满足负荷预测的要求,并极大地减少了负荷预测时间,提高预测精度。     

基于图计算的主动配电网综合能源服务技术支持系统

电网企业正大力推进综合能源服务发展,坚持以电为核心、多能互济,传统配电网正在逐步成为必须为大量可控资源提供综合能源服务的主动配电网,迫切需要研发主动配电网综合能源服务技术支持系统。文章首先介绍融合数据管理、分析计算和可视化展示于一体的图计算平台的特点,并在此基础上,提出了基于"电网一张图"理念的时空数据管理平台和图数据库查询应用实现机制的综合能源服务支持系统的技术架构;研发了基于图机器学习的10kV配变负荷/分布式光伏发电预测技术,基于快速图并行计算技术的配电网仿真分析技术,基于虚拟电厂理念的分布式资源优化控制管理机制,基于知识图谱的电网设备质量跨系统全生命周期管理技术。期待这些新的技术从数据管理规模、分析计算性能和互动式可视化展示等方面能为正在蓬勃发展的主动配电网综合能源服务事业提供新的技术选择。