基于纵向联邦学习的微电网群协同优化运行与策略进化

针对分属不同利益主体的微电网构成的微电网群在隐私保护下的协同优化运行问题,提出了一种基于联邦学习的多主体微电网群协同优化运行与策略进化方法。首先,各个微电网在本地训练自身的等值封装模型并上传至云端。然后,云端汇集各微电网的等值封装模型,进行场景推演和全局策略搜索,并下发策略至各微电网。最后,各微电网通过分布式联合训练纵向联邦神经网络学习新策略,实现在隐私保护下的微电网群协同优化运行与策略进化。不同规模微电网群协同运行的仿真结果表明,该方法实现了多主体微电网群在隐私保护下的协同优化运行,相较于独立运行、非合作博弈以及多智能体深度强化学习方法,提升了微电网群整体的经济效益,并保证了各参与方利益的合理分配。     

具有完全隐私保护的电-气综合能源系统分布式协同算法

电-气综合能源系统中,电力系统和天然气系统分属不同代理,需要进行分布式协同。“弱中心化架构”下的分布式协同过程中,代理与协调中心之间通过直接的信息交互实现算法收敛,各代理隐私数据面临严重的泄露风险。针对这一问题,文中提出了具有完全隐私保护的分布式协同算法,将多方安全计算理论引入分布式协同框架,通过同态加密技术以密文形式进行电-气协同,实现了“弱中心化架构”下的完全隐私保护。同时,提出自适应凸松弛和恢复方法求解非凸天然气系统子问题,提升了求解速度。最后,通过算例分析验证了所提算法的有效性。     

支撑能源互联网协同优化的隐私计算关键技术

传统电力系统与其他能源系统不断交叉融合,逐渐形成能源互联的新生态。在能源互联网中,数据使用权与数据所有权分离、信息资源与计算资源分离的特征使得多主体协同优化的隐私保护问题日益突出。文中从能源互联网协同优化的典型模式出发,总结了传统第三方代理计算模式及无第三方交互计算模式的隐私安全风险,提出了考虑隐私保护的能源互联网协同优化初步技术方案。首先,面向含第三方场景提出了基于信息伪装机制的安全代理计算方案,并研究了该方案的算法特性、算子构造方法以及基于云服务的用户侧、集群级、系统级应用场景。然后,面向无第三方场景提出了基于秘密分享原理的安全多方交互计算方案,并结合多中心化和全分布式两种应用架构,分析了该方案应用于海量主体或少量主体场景时的特性差异。最后,所述方案从数据隐私性和计算安全性层面,保障数据所有者的权益,遏制并降低能源互联网协同优化计算的数据泄露风险,实现可靠隐私保护。     

基于多智能体深度强化学习的分布式电源优化调度策略

针对分布式电源集中优化调度难以解决隐私保护的问题,提出一种基于多智能体深度强化学习的分布式优化调度方法。该方法可自适应源荷不确定性,在源荷随机波动的情况下实时给出优化调度策略。首先,阐述了基于通信神经网络架构的多智能体深度强化学习方法原理。然后,提出基于多智能体深度强化学习的分区分布式优化调度框架,以日运行成本最低为目标构建日前优化调度模型,并考虑各种运行约束。继而,采用近端策略优化算法对该模型进行离线训练,利用训练好的模型进行在线优化调度决策。最后通过改进IEEE33节点算例进行仿真验证,结果表明,各自治区域在仅利用局部通信的情况下即可计算出各自的近似全局最优解。     

基于数据驱动与物理模型的主动配电网双时间尺度协调优化

高比例间歇性分布式电源与电动汽车接入配电网时,容易导致功率与电压频繁、快速、剧烈波动。文中结合数据驱动与物理建模方法,提出了一种配电网双时间尺度有功无功协调优化策略。针对短时间尺度（分钟级或秒级）的功率波动,以静止无功补偿器、分布式电源无功功率为决策变量,以网损最小为目标函数,计及物理约束,针对平衡与不平衡配电网分别构建了二阶锥与二次规划模型。针对长时间尺度（小时级）的优化,以有载调压变压器分接头变比、可投切电容电抗器挡位、储能系统充放电功率为动作,以网损为代价,计及节点电压越限惩罚,构建了马尔可夫决策过程。为克服连续-离散动作空间维数灾,采用一种基于松弛-预报-校正的深度确定性策略梯度强化学习求解算法。通过IEEE 33节点与IEEE 123节点配电系统验证了所提方法的有效性。     

基于深度强化学习的5G基站储能调度策略

为提高5G基站闲置储能的利用率,设计了一种5G基站储能参与电网调度的多基站储能系统,采用参与电网需求响应和低储高放的协同调度机制,建立了考虑过充过放惩罚和调度成本等多因素的多基站储能系统经济模型。以经济效益最大化为目标,提出了一种基于深度强化学习的5G基站储能充放电行为调控方法。该方法使用深度确定性策略梯度对系统环境信息进行学习,并对5G基站储能进行分组以降低学习维度。仿真结果表明,该方法能够保证5G基站储能单元后续可调容量,有效控制基站储能荷电状态变化范围,并最大化基站储能参与电网调度所得收益。     

考虑分布式电源集群无功调节能力的配电网无功优化

近年来,光伏、风电等分布式电源大规模集群并网,增加了无功优化的难度。而现有研究并未考虑分布式电源集群(distributed generation cluster,DGC)并网后出现较大无功缺额时的电压越限问题。因此,研究了DGC容量特性曲线,当系统出现无功不足时,通过减载集群有功出力,提高集群无功出力范围,以满足系统无功需求。建立了含DGC的配电网无功优化模型,从配电网安全运行方面考虑,将电压偏差、网络损耗以及购电费用作为优化目标,通过ε约束法刻画多目标问题,并调用算法包进行求解。最后在IEEE33节点算例上验证了模型的有效性。     

基于深度强化学习的新型电力系统调度优化方法综述

随着新能源并网规模不断扩大,能源形式更加灵活多变,电力系统调度运行面临新的挑战。随着系统复杂度和不确定性增加,传统基于物理模型的优化方法难以建立精确的模型进行实时快速求解,而深度强化学习（DRL）可以从历史经验中自适应地学习调度策略并实时决策,避免了复杂的建模过程,以数据驱动的方式应对更高的不确定性和复杂度。文中首先介绍了新型电力系统调度运行问题;然后,介绍了DRL原理及其分类算法;接着,分析了各类DRL算法在求解新型电力系统调度决策问题时的优势与劣势;最后,对需进一步研究的方向进行了展望。     

考虑通信故障的配电网失联分布式电源群优化控制策略

高比例新能源并网使得配电网对通信系统的依赖性不断提高。为降低通信设备故障对分布式控制系统运行的影响,提出一种考虑多重通信故障的配电网失联分布式电源（DG）群优化控制方法。首先,建立了分布式通信网络的通信链路矩阵,并基于通信链路搜索得到了典型的故障场景。然后,考虑通信故障场景及源荷的不确定性,以综合风险最小为目标,建立了失联DG群双层优化模型,模型外层优化失联DG多场景控制策略,模型内层优化未失联DG控制策略。最后,采用改进粒子群优化算法求取失联DG群控制节点的最优控制策略。以IEEE 33节点算例系统为例,验证了该控制方法的有效性。结果表明所提方法能够有效降低系统运行风险,提高供电可靠性。     

基于深度强化学习算法的风光互补可再生能源制氢系统调度方案

风光可再生能源制备“绿氢”是实现能源低碳化的重要途径,但风能、太阳能的波动性、间歇性等问题会使系统存在“弃风、弃光”现象。为解决该问题,构建了可再生能源并网制氢系统,针对传统CPLEX需要精准预测数据、基于状态控制法的监控策略控制效果不够理想的缺点,将协调控制转化为序列决策问题,采用深度强化学习连续近端策略优化算法进行解决。在发电量、负荷等多种因素变化的情况下,设计了适合解决可再生能源制氢系统调度问题的深度强化学习模型(renewable energy to hydrogen-proximal policy optimization,R2H-PPO),经过足够的训练后能够实现在线决策控制,并与日前控制方案和基于状态控制法的监控策略进行了对比,证明所采用方法避免了传统方案的不足,并能有效处理不同时刻、天气、季节的场景。结果证明了所提出的R2H-PPO方法的可行性和有效性。     

谐波电流注入式微电网主动保护方法

微电网内逆变型分布式电源（IIDG）渗透率不断提高,导致微电网故障特征不明显、功率流向复杂,保护整定困难,传统保护方案需要借助高速通信系统分析不同节点电气量提取故障信息。文中提出了一种谐波电流注入式的微电网主动保护方案,在故障时利用IIDG主动注入谐波,实现了无通信条件下的故障检测信息的传递,解决了双向潮流、过渡电阻、运行方式变化带来的保护整定困难问题。通过电流内环谐波叠加控制实现IIDG向微电网主动注入谐波电流,基于IIDG端口等效阻抗变化计算结果调制注入谐波幅值,通过调整谐波幅值和频率实现不同节点故障信息传递。基于区域内、外不同频率谐波分量差异明显的特征,构建了基于IIDG的谐波电流量比值的保护判据,根据谐波潮流方向提出开闭锁逻辑。在PSCAD/EMTDC中建立了实际工程微电网模型,仿真验证了该方案在不同故障情况下的有效性、选择性与速动性。     

基于联邦学习的含不平衡样本数据电力变压器故障诊断

基于海量样本数据的深度神经网络可以显著提升电力变压器的故障诊断效果,但实际环境中各变压器本地数据被“数据孤岛”隔离,难以进行集中式深度训练。联邦学习可以实现多源数据的共同建模,但各变压器的非独立同分布不平衡数据会使算法性能严重下降。针对上述问题,提出一种基于联邦学习的含不平衡样本数据电力变压器故障诊断机制。与传统深度学习集中训练方式不同,文中采用多个参与者分布训练方式。每个参与者采用LeNet-5深度神经网络进行本地训练,中央服务器将本地模型进行聚合,同时引入改进的数据共享策略对云端共享数据进行选择性下发,以降低非独立同分布数据的不平衡性。实验结果证明,该机制实现了各变压器独立且不平衡数据的协同训练,对变压器故障类型的诊断精度可达到97%。     

基于零序电压正反馈控制的多分布式电源孤岛检测方法

为了解决因稀释效应导致多分布式电源(distributed generation,DG)孤岛检测失败的问题,提出了一种基于零序电压正反馈控制的多DG孤岛检测新方法。该方法根据DG并网点三相电压和零序电压的相位关系,利用正弦脉宽调制技术控制逆变器输出侧电压的相位,使其对DG并网点零序电压的幅值进行正反馈扰动;利用各DG并网点零序电压与相电压相位关系的一致性,控制其向并网点注入扰动方向一致的扰动量,从而消除因各DG扰动方向相反产生的稀释效应。MATLAB/Simulink建模仿真和RTBOX物理实验结果表明：该方法能够消除稀释效应,实现多DG孤岛检测。所提方法能够降低DG引起“反送电”现象发生的概率,保障检修人员的人身安全。     

云计算环境下配电网调度决策模型诱骗式隐私保护方法

随着“新基建”“东数西算”等国家重大工程快速推进,云计算成为新型电力系统调度决策的重要依托手段。针对云计算过程潜藏的信息安全风险,基于主动诱骗理念提出了适配配电网调度决策模型的隐私保护方法。该方法通过构建与真实配电网伴生的随机化虚拟配电网,在防止隐私信息泄露的前提下保持了调度决策模型的稀疏性,进而整体提升云计算效率。首先,结合仿射变换原理,探讨了现有调度决策模型隐私保护方法面临的求解效率低下问题。其次,根据无标度网络模型,设计了伴生虚拟配电网生成方法,并推导了不同配电网结构之间的转换原理,提出了虚拟调度决策模型构建方法。然后,设计了基于双重校验机制的云计算框架,通过不同服务商云计算结果的相互验证,进一步保证结果的正确性和可信度。最后,基于6节点、IEEE 906节点系统进行数值实验,验证了所提方法的有效性和实用性。     

基于联邦深度强化学习的车联网资源分配

车辆通信(V2X)能够有效地提高交通安全性和移动性,是车辆部署场景中的关键技术之一.V2X通信链路需要满足不同应用的服务质量(QoS)要求,如车对车(V2V)链路的延迟和可靠性要求.面向车辆高速移动性导致的无线信道快速变化,为保证不同车辆链路的QoS约束和车辆动态网络的鲁棒性,提出一种基于联邦深度强化学习(FDRL)的...     

基于协同强化学习的微电网分布式两级电压优化控制

由于微电网中分布式电源组成复杂,运行模式多样,孤岛微电网的电压恢复控制面临着不确定性干扰的影响。为此,针对不确定性干扰下微电网的二级电压恢复控制问题,提出了一种基于协同强化学习的微电网分布式两级电压优化控制方法,实现孤岛模式下微电网的电压调节控制。首先构建孤岛微电网分布式一致性协同电压控制算法,并建立李雅普诺夫函数稳定性判定方法。其次根据控制器性能与控制器增益参数的关系,求解孤岛微电网电压控制器增益上界,并根据控制器增益参数上界限制强化学习智能体动作集。随后,采用强化学习算法优化二级控制器增益参数,给出相应的强化学习智能体状态集、协同全局奖励函数。最后在Matlab/Simulink上通过仿真实验验证了所提出的控制方法的有效性和适应性。     

基于分布式深度强化学习的微网群有功无功协调优化调度

针对微网群的分布式有功无功协调优化调度问题,提出一种分布式多智能体深度强化学习方法,可训练智能体在与环境交互的过程中学习到最优调度策略,并克服传统优化方法对模型的依赖。相较于已有基于“集中训练”框架的多智能体深度强化学习方法,该方法无须收集全局信息,能够更好地保障各子微网信息的隐私,减轻通信压力,并且在训练和执行阶段均表现出对通信故障的鲁棒性。此外,考虑到微网群存在拓扑变化而强化学习模型泛化能力差,提出一种迁移强化学习方法,利用已有智能体知识为每种拓扑高效训练一组智能体。最后,通过改进的IEEE 33节点系统算例,验证了所提方法在解决微网群分布式有功无功协调优化调度问题上的有效性。