含储能系统的配电网电压调节深度强化学习算法

通过在配电网末端接入用于系统调压等辅助服务的储能系统,能有效应对可再生能源的高度间歇性以及负荷需求波动导致的系统电压运行水平问题。文章将电池储能的运行建模为马尔可夫决策过程,考虑其后续调控能力,提出了一种含储能系统的配电网电压调节深度强化学习(deep reinforcement learning,DRL)算法,通过内嵌一个Q深度神经网络来逼近储能最佳动作价值,以解决状态空间过大的问题。储能荷电状态(state of charge,SOC)、可再生能源预测出力以及负荷水平组成状态特征向量作为Q网络的输入,输出提高电压运行水平的最优离散化充放电动作,并通过回放策略来训练。相比传统方法,所提方案基于学习而无需显式的不确定性模型,且计算效率较高。最后在TensorFlow架构下利用MATPOWER对IEEE 33节点配网系统进行了分析,证明了所提出方法的有效性。