考虑区域间辅助奖励的配电网电压优化控制

智能软开关能够有效解决分布式光伏大规模接入配电网引起的电压波动问题,但会导致区域间协作程度加深,而现阶段使用多智能体深度强化学习算法进行电压优化时,各智能体仅使用各自区域内的奖励进行训练,导致智能体缺乏协同,输出策略难以保证最优性。为此提出考虑区域间辅助奖励的配电网电压优化方法,首先建立基于多智能体深度强化学习的多时间尺度电压优化框架,其次针对控制智能软开关的智能体,将各自区域内奖励定义为主奖励,邻近区域内奖励定义为辅助奖励,然后通过主、辅助奖励损失函数关于网络参数梯度的数量积分析辅助奖励对训练的有利程度,并采用演化博弈方法自适应修改辅助奖励参与因子;最后,在改进的IEEE 33节点系统验证了所提方法能够稳定智能体训练过程,提升智能体策略的优化效果。     

基于多智能体深度强化学习的分布式电源优化调度策略

针对分布式电源集中优化调度难以解决隐私保护的问题,提出一种基于多智能体深度强化学习的分布式优化调度方法。该方法可自适应源荷不确定性,在源荷随机波动的情况下实时给出优化调度策略。首先,阐述了基于通信神经网络架构的多智能体深度强化学习方法原理。然后,提出基于多智能体深度强化学习的分区分布式优化调度框架,以日运行成本最低为目标构建日前优化调度模型,并考虑各种运行约束。继而,采用近端策略优化算法对该模型进行离线训练,利用训练好的模型进行在线优化调度决策。最后通过改进IEEE33节点算例进行仿真验证,结果表明,各自治区域在仅利用局部通信的情况下即可计算出各自的近似全局最优解。     

基于分布式深度强化学习的微网群有功无功协调优化调度

针对微网群的分布式有功无功协调优化调度问题,提出一种分布式多智能体深度强化学习方法,可训练智能体在与环境交互的过程中学习到最优调度策略,并克服传统优化方法对模型的依赖。相较于已有基于“集中训练”框架的多智能体深度强化学习方法,该方法无须收集全局信息,能够更好地保障各子微网信息的隐私,减轻通信压力,并且在训练和执行阶段均表现出对通信故障的鲁棒性。此外,考虑到微网群存在拓扑变化而强化学习模型泛化能力差,提出一种迁移强化学习方法,利用已有智能体知识为每种拓扑高效训练一组智能体。最后,通过改进的IEEE 33节点系统算例,验证了所提方法在解决微网群分布式有功无功协调优化调度问题上的有效性。     

基于深度强化学习的配电网实时电压优化控制方法

大规模分布式电源的接入使得配电网电压优化控制策略与传统配电网差异较大。针对就地控制中光伏逆变器调压之间缺乏协同的问题，该文提出了一种基于多智能体深度强化学习的配电网实时电压控制方法。首先根据电压控制模型设计了部分可观测的马尔科夫决策过程，然后采用多智能体双延迟深度确定性策略梯度算法求解，根据中心化训练、分散式执行的框架实现光伏逆变器的无功协同控制。该方法能智能决策各个逆变器的无功调节量，且能够根据源荷的随机变化实时给出电压控制策略，具有较好的实时性和控制经济性。最后通过仿真算例验证了所提方法的有效性。     

基于单/多智能体简化强化学习的电力系统无功电压控制

为了快速平抑分布式能源接入系统产生的无功电压波动,以强化学习、模仿学习为代表的机器学习方法逐渐被应用于无功电压控制。虽然现有方法能实现在线极速求解,但仍然存在离线训练速度慢、普适性不够等阻碍其应用于实际的缺陷。该文首先提出一种适用于输电网集中式控制的单智能体简化强化学习方法,该方法基于“Actor-Critic”架构对强化学习进行简化与改进,保留了强化学习无需标签数据与强普适性的优点,同时消除了训练初期因智能体随机搜索造成的计算浪费,大幅提升了强化学习的训练速度;然后,提出一种适用于配电网分布式零通信控制的多智能体简化强化学习方法,该方法将简化强化学习思想推广形成多智能体版本,同时采用模仿学习进行初始化,将全局优化思想提前注入各智能体,提升各无功设备之间的就地协同控制效果;最后,基于改进IEEE 118节点算例的仿真结果验证了所提方法的正确性与快速性。     

基于深度强化学习的含高比例可再生能源配电网 就地分散式电压管控方法

含有可再生能源并网的区域电网存在通信条件差、量测设备不足、不同节点的电压管控设备难以协同等问题,因此提出一种基于深度强化学习的分散式就地电压管控方法。该方法首先将缺少量测数据的电压管控问题转化为部分可观的马尔科夫决策问题,构建了以网络损耗最小为优化目标的多智能体分散式电压管控框架。然后采用多智能体深度确定性策略梯度算法对智能体进行离线训练,并使用训练完成的智能体进行在线电压管控。最后,基于改进的IEEE33节点系统进行了算例仿真和分析。结果表明,各智能体可以根据各自节点的电气信息求解出近似的全局最优解。     

面向隐私保护基于联邦强化学习的分布式电源协同优化策略

针对分布式电源优化调度面临的隐私保护和实时决策问题，提出了基于联邦强化学习的多智能体分布式协同优化策略。首先，构建了基于联邦强化学习的配电网分布式协同优化框架，利用联邦学习避免在多智能体深度强化学习过程中泄露隐私数据。在此框架下，提出了多智能体约束策略优化方法，利用离线训练缩短在线决策时间，支持智能体实时分布式决策。同时，该方法为智能体构建了考虑潮流方程等约束条件的可行域，允许智能体在训练过程中自由探索，提高了收敛速度，并确保实时调度策略满足电力系统安全运行约束。最后，通过算例进行仿真验证，结果表明离线训练时各智能体仅利用局部信息即可实现全局优化，并保证了实时决策和调度策略的安全性。     

基于深度强化学习的主动配电网高恢复力决策方法

随着全球极端天气事件频发,电力系统在极端自然灾害下恢复力的研究日益受到关注。本文提出基于深度强化学习的高恢复力决策方法,将极端灾害下配电网运行状态和线路故障状态作为观测状态集合,自学习智能体Agent在当前环境观测状态下寻求可行的决策策略进行动作,定义自学习Agent的回报函数以进行动作评价;采用观测状态数据,开展基于竞争深度Q网络(dueling deep Q network,DDQN)的深度强化学习(deep reinforcement learning,DRL)训练,智能体Agent通过试错学习方式选择动作,试错经验在估值函数Q矩阵中存储,实现状态到主动配电网实时故障恢复策略的非线性映射;最后结合改进的IEEE 33节点算例,基于蒙特卡罗法仿真随机故障场景,对所提出方法生成的故障恢复随机优化决策进行分析。结果表明:通过主动配电网的分布式电源、联络开关和可中断负荷的协调优化控制,可以有效提升极端灾害下供电能力。     

基于协同强化学习的微电网分布式两级电压优化控制

由于微电网中分布式电源组成复杂,运行模式多样,孤岛微电网的电压恢复控制面临着不确定性干扰的影响。为此,针对不确定性干扰下微电网的二级电压恢复控制问题,提出了一种基于协同强化学习的微电网分布式两级电压优化控制方法,实现孤岛模式下微电网的电压调节控制。首先构建孤岛微电网分布式一致性协同电压控制算法,并建立李雅普诺夫函数稳定性判定方法。其次根据控制器性能与控制器增益参数的关系,求解孤岛微电网电压控制器增益上界,并根据控制器增益参数上界限制强化学习智能体动作集。随后,采用强化学习算法优化二级控制器增益参数,给出相应的强化学习智能体状态集、协同全局奖励函数。最后在Matlab/Simulink上通过仿真实验验证了所提出的控制方法的有效性和适应性。     

面向光伏集群的配电网模型-数据联合驱动无功/电压控制

传统配电网的无功/电压控制(VVC)方法,难以兼顾控制决策的全局最优性与实时响应能力,分布式光伏(DPV)的分散化、高比例并网导致该矛盾日益突出。结合模型优化的寻优能力与深度强化学习的在线决策效率,提出了面向光伏（PV）集群的配电网模型-数据联合驱动VVC策略。首先,考虑日前优化调度与日内实时控制的运行特征,结合DPV集群划分,构建了配电网分布式两阶段VVC框架;然后,以系统运行网损最低为目标,建立了配电网分布式日前VVC模型,并提出了基于Nesterov加速梯度的分布式求解算法;其次,以日前决策为输入量,建立了基于部分可观马尔可夫博弈的配电网实时VVC模型,并提出了基于迭代终止惩罚函数的改进多智能体深度确定性策略梯度算法;最后,基于MATLAB/PyCharm软件平台进行了算例分析,验证了所提方法的全局趋优性以及实时响应能力,提高了PV高比例接入配电网运行的经济性和安全性。     

基于约束型深度强化学习的主动配电网 电压控制策略

随着分布式电源与随机性负荷的大量接入,配电网的电压波动问题变得愈发严重。主动配电网能通过各种电压无功控制器平抑电压波动,但通常需要求解一个复杂的混合整数二阶锥规划问题,难以做到实时控制。文中利用深度强化学习建立了一个主动配电网实时电压控制模型,能快速得到满足潮流约束的控制策略。采集节点有功、节点无功、设备档位、时间步作为环境状态变量;以和网损及设备操作相关的费用作为回报函数来协调三个控制设备;通过基于长短时记忆网络的约束型强化学习来求解,从而建立主动配电网实时电压控制模型。基于4节点测试系统和IEEE-33节点测试系统进行了仿真,仿真结果表明,所提的深度强化学习方法能确保潮流约束,电压控制模型能实时控制电压无功控制器,以保证配电网的电压质量。     

基于深度强化学习的多端背靠背柔性直流系统直流电压控制

为了提高互联配电网多端背靠背柔性直流系统的直流电压控制精度,增强抗干扰能力,提出一种基于深度强化学习的直流电压控制方法,将深度学习神经网络与确定策略梯度融合,实现连续动作搜索,自适应调整电压控制策略.首先,建立多端背靠背柔性直流系统数学模型,分析直流电压控制的非线性和不确定性特征;然后,给出了基于深度强化学习的直流电压控制算法框架,设计了动作与状态空间、奖励函数、神经网络和学习流程;最后,通过仿真分析发现,相比传统比例-积分(PI)控制方法,所提方法具有更好的动静态性能,有效提高了直流电压的控制精度,减小了扰动下直流电压波动和功率超调,缩短了直流电压和功率的恢复稳定时间.     

基于状态空间线性变换的主动配电网分布式电压控制

大规模分布式发电的接入使得主动配电网电压控制问题日益凸显。受限于配电网模型参数的精度,传统集中式的电压控制和基于模型的分布式电压控制策略效果受到显著影响。提出了一种基于状态空间线性升维变换的主动配电网分布式电压控制方法。通过矩阵分裂方法实现了海森矩阵的分布式求逆,将分布式控制收敛速提升至超线性收敛。基于Koopman数据驱动方法,利用配电网历史运行数据作为训练样本,构建高维线性精确潮流模型,从而推导得到电压-无功全局灵敏度,以此校正分布式牛顿控制中的迭代方向。算例结果证明,相比依赖于模型的分布式电压控制方法,所提方法具有更快的收敛速度和更优的控制收敛结果,且不受参数不精确问题影响,具有更强的工程适用性。     

考虑通信缺失情景的光伏集群分散式电压控制方法

针对高渗透率分布式光伏接入配电网导致的电压越限问题,以及当前电力通信网络难以实现对接入光伏集中控制的现状,提出了一种光伏集群分散式电压控制方法。根据预测数据对配电网进行集群划分,采用集群间的协调控制策略,以电压越限量和网络损耗加权值最小为优化目标,基于交替方向乘子法进行优化计算。在集群间通信缺失的情景下,基于无功-电压控制曲线自主调节分布式电源逆变器的无功输出,即通过集群内的电压控制策略解决通信中断时发生电压越限的问题。以IEEE 33节点配电系统为例进行仿真分析,结果表明所提控制方法不仅对改善电压分布不均、降低网损、减轻控制器的计算负担具有积极的作用,还能在通信缺失的情景下具有良好的控制效果。     

基于模型预测控制的含柔性直流装置的主动配电网电压控制

针对含有柔性直流装置的主动配电网（active distribution network,ADN）,提出应对分布式电源不确定性的基于模型预测控制（model predictive control, MPC）的三相电压分区控制方法：将主动配电网分为若干区域,采用全局优化和区域自治控制的时序递进控制策略。全局控制以网损最小为目标进行优化,获得各个区域主导节点的电压和离散设备控制指令;区域自治在全局优化结果的基础上,基于模型预测控制方法进行电压滚动优化控制,以应对分布式电源的瞬时波动。算例表明,该文控制方法相对于传统的开环控制方法,能有效应对分布式电源波动带来的电压越限问题,并且相对集中控制分区控制效率更高。     

基于柔性策略-评价网络的微电网源储协同优化调度策略

近年来,微电网中的可再生能源与储能占比不断增大,给其优化调度带来了新的挑战。针对微电网源储协同调度问题中非凸非线性约束带来的求解困难,利用深度强化学习算法构建基于数据的策略函数,通过不断地与环境进行交互学习寻找最优策略,避免了对原非凸非线性问题的直接求解。考虑到训练过程中策略函数可能不满足安全约束,进一步提出了一种利用部分模型信息的微电网源储协同优化调度安全策略学习方法,得到了满足网络安全约束的优化策略。此外,针对强化学习的智能体在训练过程中与环境的交互耗时较长的问题,采用神经网络对环境进行建模以提高学习效率。     

基于深度强化学习的孤立多微电网系统频率和电压综合控制

分布式电源出力不确定性和负荷功率扰动给孤立多微电网系统稳定带来较大威胁。提出基于多智能体柔性动作评价(MA-SAC)算法的孤立多微电网负荷频率控制器(LFC),同时采用柔性动作评价(SAC)算法对自动电压调节器(AVR)的比例积分(PI)控制参数进行优化调整。建立了多微电网LFC和AVR组合模型。对于电压和频率控制器的设计,分别根据SAC算法和多智能体深度强化学习(MA-DRL)框架建立各自的状态、动作空间与奖励函数。选择合适的神经网络与训练参数经过预学习生成深度强化学习控制器。最后通过仿真分析,基于SAC算法优化的PI控制器能更快跟踪电压参考值;多微电网系统遭遇功率扰动时,MA-SAC控制器可以快速维持频率稳定。     

主动配电网区域自适应性电压分层分区控制

针对主动配电网集中控制周期长,调节有载变压器分接头响应速度慢,难以有效地解决局部电压越限等问题,提出一种新型电压分层分散控制方法。该方法基于多代理系统架构,以分布式电源为中心将配网划分为多个随系统运行状态变化而具有自适应性的本地控制区域,充分利用分布式电源无功输出调节能力,从而实现电压分区自治控制,并且在分散控制架构下实现与传统变压器调节手段相配合的配网综合电压调控。最后基于IEEE33节点配电测试系统对所提方法的有效性进行了分析与验证。