考虑运行状态信息的综合能源系统图强化学习优化调度

“双碳”背景下,异质能源的耦合加剧迫使综合能源系统(integrated energy system, IES)拓扑朝着更复杂、更灵活的方向不断演变。然而,现有优化调度方法对非欧网络拓扑知识及其异质潮流约束考虑不足。针对这一问题,提出一种基于图强化学习的综合能源系统优化调度方法。首先,基于图理论在保证节点多样状态的情况下,将异质能源网络拓扑转换为网络图模型。其次,通过建立基于真实图映射的状态-动作-奖励的框架,利用图强化学习的方法学习图模型的非欧拓扑信息,将异质潮流知识加入系统节点运行状态,从而实现IES的安全优化调度。最后,利用某工业园区的真实数据进行仿真验证,所提方法相对于传统方法有效缓解了节点电压越限的问题。结果表明,所提方法能够在考虑IES真实拓扑运行状态信息和异质潮流安全的情况下实现IES的优化调度。     

不确定性环境下基于深度强化学习的综合能源系统动态调度

随着综合能源系统中间歇性能源和负荷不确定性的逐步增强,传统的调度方法局限于固定物理模型及参数设定,难以较好地动态响应源荷的随机波动。针对这一问题,提出了一种基于深度强化学习的综合能源系统动态调度方法。首先,以数据驱动方式构建面向综合能源系统的深度强化学习模型,通过智能体与综合能源系统的持续交互,自适应学习调度策略,降低对物理模型的依赖程度。其次,通过添加随机扰动的方式表征源荷不确定性变化特征,针对不确定性变化特征改进深度强化学习模型的状态空间、动作空间、奖励机制以及训练流程等关键环节,并经由近端策略优化算法优化求解,实现了综合能源系统的动态调度决策。最后,通过算例仿真验证了所提方法在不同时间尺度以及不确定性环境下的可行性和有效性。     

基于分布式模型预测控制的综合能源系统多时间尺度优化调度

采用具有滚动优化、反馈校正特点的模型预测控制是实现综合能源系统多时间尺度优化调度的关键技术之一.鉴于集中式模型预测控制实现系统整体在线优化的复杂性,文中提出一种基于分布式模型预测控制的综合能源系统多时间尺度优化调度方法,通过各子系统协调配合实现综合能源系统灵活调度.首先,建立以系统日运行经济最优、系统日运行费用及机组启停惩罚费用最小为目标的日前、日内滚动优化模型.然后,在实时阶段采用基于分布式模型预测控制的优化调度策略对整体优化问题进行分解,各子系统根据其他子系统前一时刻的输入序列进行状态估计并优化自身性能指标.最后,通过对各子系统的协调控制进而实现整个系统的在线优化,满足其动态调整需求.仿真结果表明,所提方法能够在改善系统控制性能的同时,提高系统运行的经济性.     

综合能源系统混合时间尺度运行优化

综合能源系统融合电、气、热等多种能源子系统,不同能源网络动静态特性与设备控制特性差异显著。为实现电、气、热异质能流网络和设备协同运行,建立综合能源系统混合时间尺度运行优化框架,包含混合分辨率建模与混合指令周期调度。混合分辨率建模采用与气网、热网动态过程相匹配的模型分辨率刻画能流动态过程,平衡模型的精确度与问题的复杂度,实现电气热多能网络动态过程的协同优化;混合指令周期调度立足于多种异质能流的传输特性差异和多类型设备的控制特性差异,兼顾源/荷多重不确定性,确定各子系统的最佳调度指令周期,实现多能子系统间的协调运行。算例结果验证了所提方法的可行性。     

基于模型预测控制的微电网多时间尺度协调优化调度

微电网多时间尺度优化调度是消纳间歇性分布式能源的有效技术手段,针对传统基于潮流断面信息的多时间尺度优化方案易出现机组调节响应不及时、计划跟踪误差较大等问题,提出了一种基于模型预测控制(MPC)的多时间尺度协调调度方法。在日前调度阶段,综合考虑电价峰谷差、储能寿命及可再生能源随机性,建立了以系统运行成本最低为优化目标的最优经济调度模型。在日内调度阶段,为应对可再生能源日前预测误差带来的联络线功率波动,同时为确保储能满足日运行能量平衡约束,提出了一种基于MPC的日内滚动优化校正策略。采用有限时间窗内的滚动优化调度代替传统单断面优化调度,提前感知未来一段时间内的可再生能源出力及联络线计划的变化从而对机组出力进行调整,同时结合时域滚动和系统实时状态的反馈校正,更大限度地消除了微电网中不确定性因素的影响,确保了日前计划的合理性及系统运行的稳定性。以某示范微电网为例,通过算例分析验证了所提模型及算法的有效性。     

基于递阶模型的综合能源系统多时间尺度运行优化研究

为了解决新能源发电、用户负荷等不确定性带来能源系统调度的问题,提出一种基于递阶模型的综合能源系统多时间尺度运行优化方法。建立基于递阶模型的多时间尺度运行优化架构,明确不同调度阶段的关系。设定优化目标和优化约束,建立包括日前调度、日内滚动、实时调度3个阶段的综合能源系统多时间尺度运行优化模型,明确模型不同阶段的输入数据、输出数据和决策变量,并利用遗传算法对模型进行求解。以某园区为例,验证了所提出的模型能够有效应对各类不确定事件对能源供给不平衡的影响,可以实现能源的精准供给。     

园区型综合能源系统多时间尺度模型预测优化调度

在冷/热/电综合能源系统中,协调多种设备使其优化运行,经济可靠地满足系统用能需求十分重要,制定合理有效的调度策略是实现这一目标的关键。该文针对一个实际园区综合能源系统冬季运行优化调度问题进行研究。在对设备进行详细建模基础上,建立包含滚动优化环节和动态调整环节的两阶段多时间尺度模型预测控制调度策略:滚动优化阶段以系统运行费用和机组启停罚金最小为目标,结合分时电价并考虑多系统互补运行,通过多步滚动求解制定系统大时间尺度调度计划;动态调整阶段以滚动优化阶段调控计划为基准,对设备的运行状态进行调整,应对可再生能源及负荷小时间尺度的不确定性变化。分析结果表明,该文调度方法可协调供能、蓄热装置的运行,发挥多种设备互补运行的优越性,有效降低运行成本,减少主机启停次数;动态调整阶段的引入可快速响应可再生能源和系统负荷小时间尺度变化,经济可靠地满足系统用能需求。     

基于柔性行动器–评判器深度强化学习的电–气综合能源系统优化调度

多能流协同优化调度是实现综合能源系统高效经济运行的核心技术之一。面向电–气综合能源系统运行优化问题,提出一种基于柔性行动器-评判器框架的深度强化学习方法,通过智能体与能源系统的交互,自适应学习控制策略。该方法可实现多能流系统的连续动作控制,且能够灵活处理风电、光伏、多能负荷等源荷不确定性问题,实现多场景下的电-气综合能源优化调度决策。首先,构建面向电-气综合能源系统调度的强化学习基本框架,介绍柔性行动器-评判器强化学习的基本原理;然后,构建与智能体交互的电-气综合能源系统环境模型,设计深度强化学习的动作与状态空间、奖励机制、神经网络结构、学习流程等关键环节;最后,针对2个电-气综合能源系统算例进行强化学习优化调度结果分析。     

基于多主体博弈与强化学习的并网型综合能源微网协调调度

针对传统集中式优化调度方法难以全面反映综合能源微网内不同智能体的利益诉求,以及人工智能技术在综合能源调度方面的应用亟待进一步挖掘等问题,提出了基于多主体博弈与强化学习的并网型综合能源微网协调调度模型和方法。首先,针对并网型综合能源微网中横向电气热冷各子系统及纵向源网荷储等各环节的不同投资与运营主体,开展了多智能体划分;其次,针对可再生能源服务商、微网系统能源服务商、电动汽车用户等智能体,分别构建了各自的决策模型,并建立了以多智能体间利益均衡为目标的联合博弈决策模型;再次,针对多主体博弈这一高维决策难题,引入人工智能求解方法,提出了基于Nash博弈和强化学习算法的综合能源微网协调调度方法;最后,通过实例验证了所提模型和方法的有效性与实用性。     

计及细节层次直接负荷控制的区域综合能源系统多时间尺度优化调度

考虑风光出力和负荷的不确定性及温控负荷反弹特性的精细建模程度对区域综合能源系统(regional integrated energy system,RIES)优化调度的影响,提出计及细节层次直接负荷控制的多时间尺度协调优化调度策略。日前调度采用三阶段反弹简化直接负荷控制模型,以系统运行经济性最优为目标求解机组运行计划;日内调度基于细节层次直接负荷控制仿真修正日前反弹负荷曲线,求解各微源的出力计划;实时调度进一步细化日内仿真反弹负荷曲线,结合模型预测控制理论,通过反馈校正和滚动优化调整微源出力,实现多时间尺度的协调运行。算例结果表明多时间尺度下计及细节层次的直接负荷控制更能贴合实际系统运行,实现机组出力精准化控制,验证了所提优化调度策略的可行性及有效性。     

融合图神经网络模型与强化学习的综合能源系统优化调度

随着人工智能技术特别是强化学习在能源优化调度领域的深入研究,将系统状态表示为向量用于学习的模式,其训练效率与信息利用率较低。针对这一问题,提出了一种融合图神经网络模型与强化学习的综合能源系统优化调度方法。首先,将电-热-气综合能源系统建模为图结构数据,充分利用系统的拓扑信息。其次,提出了基于图神经网络架构的强化学习模型,使其可以充分利用图结构信息实现更快的训练速度,获得更大的探索空间。最后,将表示系统状态的图结构信息送入该模型进行训练,算例仿真验证了该方法的训练效率与探索能力。     

计及安全约束的综合能源系统深度强化学习优化调度策略研究

在“双碳”背景下,综合能源系统多能耦合与梯级利用已成为助力“双碳”目标实现的重要手段。综合能源系统优化运行是一个涉及非线性、非凸的复杂问题,传统求解方法在获得全局优化调度策略上存在一定困难。同时,随着光伏、风电等可再生能源渗透率不断提高以及网络拓扑日趋复杂进一步加剧了该问题的求解难度。强化学习为解决上述问题提供了有效途径,然而目前大部分关于强化学习优化调度的研究较少考虑系统整体安全约束,因此,该文基于深度强化学习构建了考虑安全约束的综合能源系统优化调度模型。首先,将电网与热网潮流约束融入到传统综合能源系统优化调度模型中,实现了对调度策略的安全校验。其次,基于深度强化学习理论将物理调度问题转化为强化学习序贯决策问题,改进了智能体的状态空间、动作空间及奖励函数的设计方法。最后,在离线与在线环境中实现了优化调度决策的求解与应用,并通过算例对比与分析验证了所提方法的有效性与合理性。     

含电-热-冷-气负荷的园区综合能源系统经济优化调度研究

综合能源系统是实现各能源系统间有机协调优化的重要途径。剖析电-热-冷-气4个子系统,构建以建设运行总成本为目标的园区综合能源系统经济优化调度模型;其次,利用非线性问题处理办法将所构建的调度模型转化为混合整数规划问题;最后,基于子系统独立运行和耦合调度的2种场景,结合分时电价调用混合整数规划软件对模型进行求解。结果显示,相对于独立运行方式,各子系统耦合调度运行能够灵活组合各能源转换设备,大大降低系统外部购能和系统总成本。     

基于双层深度强化学习的园区综合能源系统多时间尺度优化管理

园区综合能源系统（PIES）的能源转换结构复杂性、新能源出力与多能负荷的不确定性以及不同能源系统管理时间尺度的差异性，是阻碍PIES实现高效管理与经济效益优化的主要原因。该文提出了一种基于双层深度强化学习的园区综合能源系统多时间尺度优化管理方法。该方法面向包含燃气、热力、电力三种能源的园区综合能源系统模型，构建上、下两层深度确定性策略梯度（DDPG）管理模型，分别以0.5h和5min为长短时间尺度滚动制定燃气与热力系统、电力系统的管理方案。仿真结果表明，所提方法不仅能有效克服深度强化学习算法在训练过程中出现“维数灾难”情况，还能以差异化时间尺度滚动制定PIES的不同能源系统管理方案，并优化其总体经济效益。     

孤立综合能源系统的净零碳日前优化调度方法

在当前“碳达峰,碳中和”战略目标下,针对孤立能源系统的能源自给及低碳化需求,本文提出一种孤立综合能源系统的净零碳日前优化调度方法。该方法首先基于物质的量守恒和能量平衡原理,分析异质能量的转换和碳元素流转过程,并以氢能和碳为中心,提出面向孤立综合能源系统的净零碳运行机制;然后以孤立能源系统的日成本最优为目标,考虑净零碳运行机制、电力系统运行约束和天然气系统运行约束,建立了孤立综合能源系统的日前优化调度模型,并将该模型转化为混合整数线性规划问题;最后以IEEE 39-NGS20电-气互联系统作为测试系统进行仿真分析,仿真结果表明,本文所提方法可以实现综合能源系统的100%自给和净零碳运行,并明显提升孤立综合能源系统日前调度的经济性。     

基于潮流路由器技术的多时间尺度可再生能源消纳方法

针对可再生能源出力波动性和不确定性对其电网消纳所带来的制约问题,提出了一种基于潮流路由器(power flow router,PFR)技术的多时间尺度可再生能源消纳方法。首先介绍了PFR的基本概念和数学模型;其次建立了面向可再生能源消纳的多时间尺度优化调度模型,并建立了PFR选址定容、日前优化调度和实时优化调度模型;针对模型的非凸和非线性问题,提出了基于双层迭代和半正定规划的面向可再生能源消纳的PFR选址定容求解算法,该算法的内层算法同时实现了日前优化调度和实时优化调度模型求解;最后,以IEEE 30节点系统为例进行多时间尺度的PFR可再生能源消纳优化计算,验证了所提方法的正确性和有效性。     

多智能体深度强化学习驱动的跨园区能源交互优化调度

为协调多园区综合能源系统各个园区之间的能量交互,多能源子系统之间的能源转换,实现综合能源系统整体优化调度,提出一种利用多智能体深度强化学习算法学习不同园区的负荷特征,并在此基础上进行决策的综合调度模型。该模型将多园区综合能源系统的调度问题转化为马尔科夫决策过程,并利用深度强化学习算法进行求解,避免了对多园区、多能源子系统之间复杂的能量耦合关系进行建模。仿真结果表明,所提方法可以很好地捕捉到不同园区的负荷特性,并利用其中的互补特性协调不同园区之间进行合理的能量交互,可以实现弃风率由16.3%降低至0,并可以使总运行成本降低5 445.6元,具有良好的经济效益和环保效益。     

计及网络传输损耗的电热综合能源系统多目标优化调度

针对电热综合能源系统中网络传输损耗对供需平衡的影响,提出一种多目标优化调度策略以最小化系统经济环境调度目标,并且实现电热能源之间的协调与优化。首先,提出一种计及网络传输损耗的电热综合能源系统多目标优化调度模型,该模型同时考虑电传输损耗和热传输损耗;其次,依据公式化的非线性耦合优化问题获得协调方程,以此分析机组出力的协调关系;然后,设计一种双层双λ迭代算法以有效求解此多目标优化调度问题,该算法能够减少计算负担以具备更快的收敛速度;最终,通过5个仿真算例验证所提算法的有效性。     

计及云边协同的园区综合能源系统双层能量优化

深入挖掘园区综合能源系统内部多能耦合利用以及综合需求响应潜力,对系统内灵活性资源进行储能化建模,并将虚拟储能资源按照参与优化调度的时间尺度进行划分,提出了日前、日内2个阶段的园区综合能源系统优化调度方法,在日前阶段建立了热电协同优化模型,在日内阶段基于日前调度结果建立了电功率快速调整模型。进一步地,为充分发挥综合能源系统中各园区资源的时空互补优势,从多时间尺度、多主体角度提出适用于实时阶段的计及云边协同的综合能源系统双层能量优化方法。基于各园区可再生能源发电和电负荷的最新预测结果,在能量管理云平台建立了满足系统整体运行经济性目标的实时能量优化模型,在边缘控制器利用模型预测控制方法建立了以日内优化结果为参考值的精细化调控模型,并采用交替方向乘子法求解,以实现园区自身利益与综合能源系统总体效益的均衡。仿真结果表明,通过园区间联络线的传输功率协调以及电储能、动态可控负荷的辅助调用,可有效平抑可再生能源出力和电负荷需求的实时波动,提高系统整体运行调控的鲁棒性与有效性。     

综合智慧零碳电力系统多时间尺度协调调度方法

为了提高区域电网新能源消纳率,使电力系统运行成本最小,进而提升电力系统的供电可靠性,提出了一种 全新的综合智慧零碳电力系统多时间尺度协调调度方法.该方法综合考虑系统运行、发电机出力、系统功率等条件,设 定了多时间尺度协调调度约束条件,并在此基础上成功设定了实时调度的目标函数.以购电成本最低为目标,对后续多 时间尺度协调调度方法进行求解,实现了零碳电力系统多时间尺度协调调度.实验结果表明,设计方法的零碳电力调度 模型成本低、新能源消纳能力较强,证明设计的多时间尺度协调调度方法稳定效果较好,有一定的研究价值.