不确定性环境下基于深度强化学习的综合能源系统动态调度

随着综合能源系统中间歇性能源和负荷不确定性的逐步增强,传统的调度方法局限于固定物理模型及参数设定,难以较好地动态响应源荷的随机波动。针对这一问题,提出了一种基于深度强化学习的综合能源系统动态调度方法。首先,以数据驱动方式构建面向综合能源系统的深度强化学习模型,通过智能体与综合能源系统的持续交互,自适应学习调度策略,降低对物理模型的依赖程度。其次,通过添加随机扰动的方式表征源荷不确定性变化特征,针对不确定性变化特征改进深度强化学习模型的状态空间、动作空间、奖励机制以及训练流程等关键环节,并经由近端策略优化算法优化求解,实现了综合能源系统的动态调度决策。最后,通过算例仿真验证了所提方法在不同时间尺度以及不确定性环境下的可行性和有效性。     

基于多智能体深度强化学习的电热联合系统优化运行

电热联合系统优化调度问题对于实现系统的能源互补、经济运行具有重要意义.电热联合系统优化运行涉及非线性、非凸、多目标问题求解,传统方法在计算实时性与迭代收敛性等方面存在困难.文章首先构建电热联合系统优化数学模型,将电热联合系统按照不同利益主体划分为多智能体,基于多智能体深度确定性策略梯度强化学习算法,建立了适用于电热联合系统的行动器-评判器框架,将优化模型转化为强化学习模型.其次对智能体进行了状态与动作空间的划分,搭建多智能体强化学习环境并设计相应的奖励函数.最后进行电热联合系统算例验证,表明所提方法可以有效解决电热联合系统优化问题.训练后的多智能体强化学习模型可实时生成优化策略,克服传统方法运算时间长、难以满足在线计算要求的问题;和单智能体算法相比,模型训练过程更易稳定收敛,执行过程中各智能体仅依赖局部信息完成计算,解决不同利益主体的数据共享问题.     

计及多能流运行时序性的电-气互联系统协同状态估计

电-气互联综合能源系统可灵活实现多区域能源交互,但其多能流子系统存在的信息交互壁垒、量测延迟等时序不统一因素会给系统精准监测与调度带来不利影响。针对多能流子系统不同的运行时间尺度,构建计及统一时间尺度的顺序协同估计框架,并考虑多源量测设备采样周期的延迟问题,将量测时延融合思想引入估计框架中以矫正多源量测数据的时序不同步。提出基于改进卡尔曼滤波的综合能源系统实时估计算法,通过引入基于改进交替投影的对称正定理论,避免实时估计过程中因误差传播出现非正定导致的估计失败问题。仿真结果与对比分析验证了所提协同状态估计策略能够有效实现对电-气互联综合能源系统的在线精准监控,且估计结果具备更强的数值稳定性。     

基于优势柔性策略-评价算法和迁移学习的区域综合能源系统优化调度

为提高清洁能源消纳率及减少碳排放对环境的污染，实现更具泛化能力、鲁棒性和高效性的区域综合能源系统优化调度，该文提出了基于优势柔性策略–评价(advantage learning soft actor-critic,ALSAC)算法和迁移学习的区域综合能源系统优化调度方法。利用环境信息与智能体进行通信交互，以低碳、经济为目标实现区域综合能源系统的优化调度。在文中分析了提升柔性策略–评价(soft actor-critic,SAC)鲁棒性的最大熵机制，并与基于策略梯度的多种深度强化学习算法和启发式算法进行了性能对比，随后将优势学习的思想引入SAC的Q值函数更新中，解决了算法对Q值的过估计问题，提升了算法的性能。为提高智能体的学习效率和应对新场景的泛化能力，加入了迁移学习的参数迁移。算例表明，基于ALSAC算法和迁移学习的优化调度策略具有较好的鲁棒性、泛化能力和高效的学习效率，实现区域综合能源系统的灵活高效调度。     

基于深度确定性策略梯度的电-气综合能源微网优化调度研究

多能互补协同运行是综合能源系统实现运行经济效益最优的重要技术之一.针对引入间歇性可再生能源的电-气综合能源微网运行优化问题,提出了基于深度确定性策略梯度的综合能源微网运行优化方法.该方法首先通过能源枢纽的理论对电-气综合能源微网进行数学建模,并对各种能源设备进行必要约束;然后,将综合能源微网优化调度问题转换为马尔可夫决...     

多能流分布式综合能源系统容量匹配优化与调度研究

综合能源系统可以实现电、热、气等多种能源形式的互补供能和满足负荷需求的多能调度,从而促进可再生能源消纳能力,提高能源综合利用率。针对含电、热、气并相互耦合的分布式多能流综合能源系统的设备容量匹配优化问     

计及安全约束的综合能源系统深度强化学习优化调度策略研究

在“双碳”背景下,综合能源系统多能耦合与梯级利用已成为助力“双碳”目标实现的重要手段。综合能源系统优化运行是一个涉及非线性、非凸的复杂问题,传统求解方法在获得全局优化调度策略上存在一定困难。同时,随着光伏、风电等可再生能源渗透率不断提高以及网络拓扑日趋复杂进一步加剧了该问题的求解难度。强化学习为解决上述问题提供了有效途径,然而目前大部分关于强化学习优化调度的研究较少考虑系统整体安全约束,因此,该文基于深度强化学习构建了考虑安全约束的综合能源系统优化调度模型。首先,将电网与热网潮流约束融入到传统综合能源系统优化调度模型中,实现了对调度策略的安全校验。其次,基于深度强化学习理论将物理调度问题转化为强化学习序贯决策问题,改进了智能体的状态空间、动作空间及奖励函数的设计方法。最后,在离线与在线环境中实现了优化调度决策的求解与应用,并通过算例对比与分析验证了所提方法的有效性与合理性。     

综合能源系统综合需求响应行为研究

面向耦合电、气、冷、热等多种形式能源的综合能源系统,研究柔性负荷、储能和电动汽车等需求侧资源的综合需求响应,有利于挖掘多能负荷的响应潜力,激发综合能源系统的灵活性,提升能源利用效率。首先以区域电-气互联综合能源系统为基础,构建了园区级冷-热-电-气综合能源系统,其次建立了综合能源系统调度模型,通过节点能量平衡方程分析节点能源价格,明确了系统调度-能源价格-综合需求响应的传递关系,然后基于节点能源价格建立了考虑柔性负荷、储能、电动汽车为参与主体的综合需求响应模型;最后通过算例分析了柔性负荷、储能、电动汽车的响应情况,基于节点能源价格对不同位置多能用户综合需求响应前后的负荷曲线进行了分析。     

含碳捕集的电-气综合能源系统低碳经济调度

以优化能量流、减少弃风及降低碳排放为前提,针对碳捕集系统和电转气设备,提出一种计及储碳、储氢设备的联合运行模式,并基于该模式构建电-气综合能源系统低碳经济调度模型。将该模型转化为混合整数线性规划问题进行求解分析,结果表明：在所提联合运行模式下,电-气综合能源系统基本实现了风电的全额消纳,且储碳、储氢设备的加入提高了碳捕集系统、电转气设备的运行灵活性,实现了碳循环,优化了能量流,使系统综合运行成本、碳排放量均为最优。在多能耦合的综合能源系统中,该模型的提出对系统低碳经济运行具有积极意义。     

基于多能流解耦算法的综合能源系统N-1静态安全分析

综合能源框架下,各能源子系统间的能量交互更加频繁,多能流协同运行在提高运行能效的同时,也使传统面向单一能源子系统的安全性分析方法难以适用,有必要针对电—气—热的综合能源系统静态安全问题进行深入分析。首先,建立含电、气、热的综合能源系统数学模型,计算综合能源系统静态多能流;其次,针对综合能源系统耦合元件提出互济控制模式和保护控制模式两种控制模式;在此基础上,建立预想事故集,对综合能源系统进行静态N-1安全校核;通过分析综合能源系统的静态N-1安全校核结果,探究耦合元件退出运行以及耦合元件不同控制模式对综合能源系统运行安全性的影响;最后,通过IES 14节点测试系统算例对所提出的综合能源系统N-1静态安全分析方法的准确性和有效性进行了分析、验证。     

考虑气电联合需求响应的气电综合能源配网系统协调优化运行

在未来多能互补、综合能源系统的背景下,传统配电网和配气网独立调度运行的模式已经不能满足多种能源互补的运行要求。为此,该文提出气电综合能源配网系统最优潮流的凸优化方法,即利用二阶锥规划方法对配电网潮流方程约束进行处理,并提出运用增强二阶锥规划与泰勒级数展开相结合的方法对天然气潮流方程约束进行处理,进而将非线性的气电综合能源配网系统优化调度问题转化为混合整数二阶锥规划模型,为气电综合能源配网的气/电协调优化运行和规划设计提供支撑。同时在配网系统中引入气电联合需求响应来提高系统调度的可控性和灵活性,从而更好的消纳新能源,以达到配网系统的优化运行。仿真结果表明,运用增强二阶锥规划与泰勒级数展开相结合的方法能更好提高配气网的二阶锥松弛精度,且考虑气电联合需求响应能够提高综合能源配网系统运行的经济性和新能源的消纳能力。     

电-气互联综合能源系统安全分析与优化控制研究综述

综合能源系统为提高能源利用效率、多能互补及构建低碳可持续能源系统奠定了基础,然而值得注意的是,深度耦合的多能源系统亦面临着不可忽视的运行风险,尤其当耦合系统之间缺乏有效的协同安全控制策略。鉴于此,综述了电-气互联综合能源系统安全分析与优化控制研究,介绍了电-气互联综合能源系统稳态与暂态潮流模型,包括非线性、线性及凸松弛模型;介绍了电-气互联综合能源系统安全分析研究,包括状态估计、安全评估、可靠性分析及韧性分析;介绍了电-气互联综合能源系统优化控制研究,提出了多时段滚动预防与校正控制模型;展望了电-气互联综合能源系统安全分析与优化控制未来可深入研究的方向。     

用于提升电–气两网调节能力的微网集群协调运行模型

针对单一多能源微网受能源类型、自身容量制约,难以充分实现多种能源高效利用和协调控制的问题,该文基于多能源微网能量交互策略建立可提升电-气两网调节能力的微网集群优化运行模型。首先建立以电热冷、电气氢、电热气氢、电热冷气氢等不同能源类型运行时多能源微网能量供给、转换特性的统一模型;然后在统一模型的基础上,建立满足电-气两网调节需求的多能源微网集群系统运行优化模型;随后以多能源微网集群的总运行成本最小和能源利用效率最大为优化目标,使用改进的区域局部搜索NSGA-Ⅱ算法(NSGA-Ⅱ-RLS)对建立的微网集群优化模型进行求解;最后,基于改进的IEEE14节点系统和天然气网络6节点系统,构建可提升电–气两网运行调节能力的多能源微网集群运行仿真模型。仿真结果表明,所提多能源微网集群系统能够有效提升电-气两网调节能力,实现多能源微网集群系统的多能互补运行。     

考虑电转气响应特性与风电出力不确定性的电-气综合能源系统协调调度

未来可再生能源将在新型电力系统中占主导地位,风光消纳问题会日趋严峻,电转气技术可以应对风电波动,为解决这一问题提供了有效途径.现有研究在电-气综合能源系统调度过程中虽然考虑了电转气设备,但忽略了电转气设备的响应特性,这不仅夸大了风电消纳能力,而且难以保证调度结果的可行性.为解决上述问题,提出了在风电不确定条件下考虑电转气设备响应特性的电-气综合能源系统调度模型.首先,通过机会约束刻画风电出力不确定条件下系统安全运行要求;然后,考虑了电转气设备的响应特性及相应停启时间约束;最后,利用分段线性化和数值积分的方法将调度模型转换为混合整数线性规划模型.仿真结果表明考虑电转气响应特性对电-气综合能源系统的可靠、经济运行有重要意义.     

计及需求响应和储能的电-气综合能源系统优化调度

为实现电-气综合能源系统（integrated electricity-gas system，IEGS）优化经济运行，计及多元储能（multi-energy storage，MES）设备和综合需求响应（integrated demand response，IDR）项目的有效配合，提出了一种适合于区域IEGS的优化调度模型。在所构建的优化调度模型中，结合不同用能负荷的需求响应特性，并基于电力和天然气等能源的分时价格，分别从可削减负荷、可转移负荷和可替代负荷等方面对用户IDR响应量进行精细化描述，使其有效配合IEGS中MES设备运行，从而最小化系统运行成本。通过相关算例验证了所提模型的有效性，仿真结果表明，区域IEGS运营商通过综合应用MES和IDR，可充分发挥电力负荷和天然气负荷的时空互补特性，最大程度地提升系统的风电消纳能力，并进一步减少系统运行成本。     

基于机会约束的多能源枢纽电气互联综合能源系统日前经济调度

集生产、转化、储存和消费于一身的能源枢纽使电网和天然气系统的协同规划与运行成为可能,同时多种不确定性是电气互联系统调度面临的最大问题。为此构建了一种含多个能源枢纽的电气互联综合能源系统机会约束规划。首先,充分挖掘气管网的储能特性,在分别对能源枢纽、电力系统和天然气系统精细建模的基础上,考虑风电和负荷不确定性,建立了含机会约束的日前调度模型。然后,将气网潮流线性化,采用Bernstein近似将此模型转化为确定性整数混合线性凸优化问题,可利用商业软件有效求解。最后,在一个含3个能源枢纽的IEEE RST24电力系统和比利时20节点天然气系统的耦合系统中进行仿真,结果表明,气网动态特性能为综合能源系统调度提供缓冲,同时此种确定性转化方法能有效体现机会约束规划的鲁棒性。     

考虑需求响应的含P2G电-气综合能源系统优化调度

在综合能源系统日益发展的背景下,提出了一种考虑需求响应的含P2G电-气综合能源系统优化调度模型。首先对天然气网络和电-气关键耦合设备P2G进行建模;然后基于虚拟电厂思想建立了价格型需求响应和激励性需求响应的等效模型,并结合电-气综合能源系统的各层面约束构建了考虑需求响应的电-气综合能源系统优化调度模型;最后,引入通用分布来描述风电功率的概率分布,并利用机会约束方法对模型进行不确定性处理。仿真算例结果验证了本文所提模型的有效性。     

基于信息间隙决策理论的气?电耦合配网滚动调度方法

面向气?电耦合配网，提出一种基于信息间隙决策理论（information gap decision theory，IGDT）的多能协同优化调度方法。首先，采用二阶锥优化(second-order conic program, SOCP)松弛描述配电网与天然气管网的能量流特征，利用电/气/冷/热多能互补及协同转化作为运行灵活性提升的重要手段，以经济性最优为原则，建立气?电耦合配网调度的确定性优化模型。在此基础上，提出基于IGDT的多能协同滚动调度方法，生成时变的动态风险边界。最后，在基于IEEE 33节点配电网和比利时20节点天然气网络的多能耦合系统中对所提方法进行了测试验证。算例结果表明，所提调度方法可以充分发挥气?电耦合配网的多能互补优势，并克服了传统滚动调度方法对于可再生能源预测精度的依赖，有效提升了系统对不确定性风险的承受能力，进而在鲁棒性与运行经济性之间取得合理权衡。     

基于深度强化学习算法的“电网脑”及其示范工程应用

可再生能源、电力电子设备渗透率持续增大以及大功率交直流混联,电网的动态性、随机性和不确定性显著增强,给电力系统安全稳定运行带来新的挑战.为更有效解决电网中出现的电压、潮流快速波动而导致的安全问题,提出一种基于最大熵深度强化学习算法的智能电网调控辅助决策方法,同时考虑多种控制目标,对电网运行方式进行在线优化控制.该方法将电网调度控制决策建模为马尔科夫决策过程,训练多线程智能体,并采用周期性在线训练机制对智能体的控制性能进行不断提升.基于该方法所研发的辅助决策原型软件部署在国网江苏电力调度控制中心,可与电网调度控制系统环境直接交互,自主学习且不断提升智能体调控决策能力.训练好的智能体可针对电压越限、联络线潮流越限、网损等综合控制目标在毫秒级时间内给出有效控制策略.     

含多能微网群的区域电热综合能源系统分层自治优化调度

分布式能源与负荷聚合形成多能微网群连接至区域供热系统和上级配电网,构成区域电热综合能源系统.为保护多利益主体隐私并满足其利益诉求,提出了基于分布自治、集中协调设计架构的区域电热综合能源系统分层优化调度方法.在上层,计及多能流异质动态特性,提出了区域电热综合能源系统的动态经济调度模型;在下层,考虑用户柔性热需求和分布式光伏不确定性,建立了多能微网自治能量管理的机会约束模型.基于目标级联分析法将上下层解耦,层间仅需交换边界电功率和热功率,通过微网并行计算与层间迭代求解获得全局最优策略.算例结果证明,该方法能够在保证收敛性的前提下,为含多能微网群的区域电热综合能源系统提供高精度的多能互补优化调度结果.此外,对缩放因子进行灵敏度分析,讨论了算法误差来源并说明了算法最优性.