基于拉格朗日松弛强化学习算法的自动发电控制EI北大核心CSCD

“双碳”目标加速了大规模新能源并网的新型电力系统的发展。传统控制方法无法有效解决分布式电网模式下新能源规模化接入所带来的强随机扰动,从而造成频率不稳定、控制性能标准(control performance standards,CPS)越来越差的问题。为此,该文从二次调频的角度提出一种能够保证具有较高的Q值更新学习率,且无论强随机环境亦或平稳环境均具有更稳定的响应特性的拉格朗日松弛强化学习算法,即重复更新Q学习拉格朗日松弛(repeated update Q-Learning using Lagrangian relaxation,RUQL-LR)算法,来获取多区域协同。对改进的IEEE标准两区域模型和以西南电网为基础的三区域模型进行仿真,验证了所提算法的有效性。该算法不仅能够在很大程度上提高Q值估计准确性,还能使弱耦合动态优化问题分散为多个子问题,以快速获取最优策略,且与多种强化学习算法相比,其Q值估计误差更小,能明显提高电网的频率稳定性。     

基于自适应强化探索悲观Q的多智能体协同AGC算法

双碳目标下规模化可再生能源和柔性负荷的接入，使得电力系统中新能源占比日益增大。而传统的控制方法无法充分调动源–网–荷–储各部分的能动性，给电网带来愈来愈差的控制性能。因此本文从自动发电控制的角度，提出一种自适应强化探索悲观Q的多智能体协同算法，以提高源网荷储协同系统的控制性能。算法中所采用的悲观Q学习通过选择多个动作值估计器中最小动作值，不仅能够解决传统Q学习在动作探索过程中动作值的估计偏差，而且能够控制动作值估计偏差从正到负的变化，有助于提高算法的控制精度。同时自适应强化探索策略的引入，代替了传统Q学习中ε-贪婪策略，能够避免重复和不平衡的探索。通过对改进的IEEE标准两区域负荷频率控制模型和源网荷储协同系统模型进行仿真，验证了所提算法的有效性，且与传统强化学习相比，具有更高的CPS性能、更小的频率偏差、更小的区域控制误差和更快的收敛速度。