基于双层深度强化学习的园区综合能源系统多时间尺度优化管理

园区综合能源系统（PIES）的能源转换结构复杂性、新能源出力与多能负荷的不确定性以及不同能源系统管理时间尺度的差异性,是阻碍PIES实现高效管理与经济效益优化的主要原因。该文提出了一种基于双层深度强化学习的园区综合能源系统多时间尺度优化管理方法。该方法面向包含燃气、热力、电力三种能源的园区综合能源系统模型,构建上、下两层深度确定性策略梯度（DDPG）管理模型,分别以0.5h和5min为长短时间尺度滚动制定燃气与热力系统、电力系统的管理方案。仿真结果表明,所提方法不仅能有效克服深度强化学习算法在训练过程中出现“维数灾难”情况,还能以差异化时间尺度滚动制定PIES的不同能源系统管理方案,并优化其总体经济效益。