综合能源系统混合时间尺度多目标强化学习低碳经济调度EI北大核心CSCD

为解决综合能源系统中多时间尺度异质能源难以协调优化调度问题和响应“双碳”目标号召,该文提出了一种综合能源系统混合时间尺度多目标强化学习低碳经济调度方法。首先,将异质能源子系统的差异化调度时间尺度同步协调为混合时间尺度,建立综合考虑经济性、碳排放和[火用]效率的多目标优化调度模型;然后针对该调度模型,通过融合混合时间尺度设计动作空间、基于状态特性划分状态空间和采用TOPSIS法构造多目标奖励函数,构建一种新型混合时间尺度多目标强化学习方法;并结合近端策略优化算法实现了基于混合时间尺度实时反馈的在线优化调度决策。算例仿真表明,所提方法具有可行性和优越性。     

不确定性环境下基于深度强化学习的综合能源系统动态调度

随着综合能源系统中间歇性能源和负荷不确定性的逐步增强,传统的调度方法局限于固定物理模型及参数设定,难以较好地动态响应源荷的随机波动。针对这一问题,提出了一种基于深度强化学习的综合能源系统动态调度方法。首先,以数据驱动方式构建面向综合能源系统的深度强化学习模型,通过智能体与综合能源系统的持续交互,自适应学习调度策略,降低对物理模型的依赖程度。其次,通过添加随机扰动的方式表征源荷不确定性变化特征,针对不确定性变化特征改进深度强化学习模型的状态空间、动作空间、奖励机制以及训练流程等关键环节,并经由近端策略优化算法优化求解,实现了综合能源系统的动态调度决策。最后,通过算例仿真验证了所提方法在不同时间尺度以及不确定性环境下的可行性和有效性。     

合作模式下含多利益主体的综合能源系统协同优化研究

在能源转型的背景之下,园区综合能源系统成为现代能源领域发展的重要趋势,多园区综合能源系统(multiple park integrated energy system, MPIES)能量协同优化受到了重点关注。针对多园区综合能源系统的多主体分布自治特点,具有模型求解困难与主体隐私问题的集中式调度模式将难以为继。文中提出了一种多主体经济调度架构及竞争合作机制,利用博弈合作理论构建了MPIES博弈合作优化调度模型,基于交替方向乘子法（Alternating Direction Method of Multipliers,ADMM）对其进行求解,并给出了算法流程。MPIES合作调度模型实现了PIES之间的能源交互,充分挖掘了园区间能源潜力,不仅有效提高新能源利用率和储电设备使用寿命,还具有良好的环保性。算例以多园区综合能源系统为例进行分析,结果验证了所述方法的有效性和准确性。     

考虑热环网时延的区域IES分层分布式优化方法

由于能源市场的逐渐开放,传统的分层集中式调度难以满足含多运营主体的区域综合能源系统的隐私保护和独立决策需求。因此,针对由多个不同运营主体构成的分层式区域综合能源系统,基于目标级联算法将区域综合能源系统的优化调度模型按子区域进行解耦,提出了一种上、下层协同的双层分布式调度模型。将区域运营商作为上层协调系统,其根据各子区域的能源需求,通过交互协调各子系统的能源供应方式实现整个区域内的能源优化调度。针对下层子系统,将热网的延时特性视为储热装置纳入优化模型,可有效发挥热网的储能作用。最后,以某区域系统为例进行仿真分析,结果表明所提的双层分布式优化调度模型能够有效实现分层式多主体区域综合能源系统之间的协调调度,确保了各子系统的独立性。同时,考虑热网延时特性的优化模型可有效提高调度计划的准确性。     

基于深度强化学习的分布式电力配电网负荷调度研究

分布式电力配电网通常涉及多个能源源头,如传统发电机组、可再生能源和储能设备等。这些能源的有效协调调度是一个关键难题。需要考虑不同能源之间的互补性和相互依赖性,以平衡供需关系,提高系统的可靠性和经济性。为此,提出一种基于深度强化学习的分布式电力配电网负荷调度方法。利用深度强化学习中的LSTM（长短期记忆）提取损坏负荷数据,基于此,建立分布式电力配电网调度模型的约束条件,并将非线性递减惯性权重引入到传统粒子群算法中,对调度结果实现寻优。实验结果表明：通过对负荷的优化调度,可实现存储设备及灵活负荷的主动加入,新能源功率特性与负荷特性的匹配度更高。     

基于多主体博弈与强化学习的并网型综合能源微网协调调度

针对传统集中式优化调度方法难以全面反映综合能源微网内不同智能体的利益诉求,以及人工智能技术在综合能源调度方面的应用亟待进一步挖掘等问题,提出了基于多主体博弈与强化学习的并网型综合能源微网协调调度模型和方法。首先,针对并网型综合能源微网中横向电气热冷各子系统及纵向源网荷储等各环节的不同投资与运营主体,开展了多智能体划分;其次,针对可再生能源服务商、微网系统能源服务商、电动汽车用户等智能体,分别构建了各自的决策模型,并建立了以多智能体间利益均衡为目标的联合博弈决策模型;再次,针对多主体博弈这一高维决策难题,引入人工智能求解方法,提出了基于Nash博弈和强化学习算法的综合能源微网协调调度方法;最后,通过实例验证了所提模型和方法的有效性与实用性。     

考虑园区综合能源系统接入的主动配电网多目标优化调度

冷热电能量耦合性日渐加强,实现多能源系统一体化运行优化是重点关注的问题。以园区综合能源系统接入主动配电网为背景,研究了园区综合能源系统和主动配电网的协调调度。首先,建立了以综合成本为优化目标的园区综合能源系统调度模型。其次,建立了含园区综合能源系统、分布式电源、储能设备、柔性负荷的主动配电网的多源协调调度模型,目标函数为调度成本、负荷曲线方差和可再生能源弃电量。再次,采用目标级联法结合粒子群算法对模型进行求解。最后,在改进IEEE 33节点系统进行算例分析,验证了模型和求解方法的有效性。     

基于改进深度Q网络算法的多园区综合能源系统能量管理方法

多园区综合能源系统可通过多能互补互济显著提升运行经济性,然而园区之间的复杂互动、多能耦合决策会给多园区综合能源系统的能量管理带来决策空间庞大、算法难以收敛等挑战性问题。为解决上述问题,提出了一种基于改进深度Q网络(modified deep Q network,MDQN)算法的多园区综合能源系统能量管理方法。首先,采用独立于园区的外部气象数据、历史互动功率数据,构建了基于长短期记忆(long short-term memory,LSTM)深度网络的各园区综合能源系统外部互动环境等值模型,降低了强化学习奖励函数的计算复杂度;其次,提出一种基于k优先采样策略的MDQN算法,用k-优先采样策略来代替ε贪心策略,克服了大规模动作空间中探索效率低下的问题;最后,在含3个园区综合能源系统的算例中进行验证,结果表明MDQN算法相比原DQN算法具有更好的收敛性与稳定性,同时可以提升园区经济效益达29.16%。     

基于柔性行动器–评判器深度强化学习的电–气综合能源系统优化调度

多能流协同优化调度是实现综合能源系统高效经济运行的核心技术之一。面向电–气综合能源系统运行优化问题,提出一种基于柔性行动器-评判器框架的深度强化学习方法,通过智能体与能源系统的交互,自适应学习控制策略。该方法可实现多能流系统的连续动作控制,且能够灵活处理风电、光伏、多能负荷等源荷不确定性问题,实现多场景下的电-气综合能源优化调度决策。首先,构建面向电-气综合能源系统调度的强化学习基本框架,介绍柔性行动器-评判器强化学习的基本原理;然后,构建与智能体交互的电-气综合能源系统环境模型,设计深度强化学习的动作与状态空间、奖励机制、神经网络结构、学习流程等关键环节;最后,针对2个电-气综合能源系统算例进行强化学习优化调度结果分析。     

基于分层分布式调度的多园区服务商与综合能源供应商两级协调优化运行模型

在用能形态转变关键期,有关园区级综合能源系统的试点项目集中涌现。多个园区以不同参与主体接入电力系统与热力系统构成的区域综合能源系统,带来利益冲突与交互功率不匹配问题。为此,基于交替方向乘子分布式算法,建立了多园区服务商与综合能源供应商的两级协调优化运行模型。上级综合能源供应商运营管理电网与热网构成的区域综合能源系统,下级各园区服务商控制管理各园区级综合能源系统。上级模型中针对热电能源本身特性,建立供需实时平衡的配电网以及考虑热能传输延时性的热网模型;在下级模型中利用多能转换设备实现能源的梯级利用。该文提出的两级协调运行模型基于ADMM(alternatingdirectionmethod of multipliers)分布式算法,利用复制变量法解耦上下层交互功率保护参与主体隐私信息,利用惩罚因子调整参与主体调度策略,在多次迭代互动中实现上下层协调运行。以苏州同里某新能源智慧园区为算例,验证所建模型可保护各参与主体隐私,同时满足整体运行成本最低,并分析不同调度模式以及不同运行场景对系统运行结果的影响。     

基于多主体博弈的园区综合能源系统优化方法

针对多个园区综合能源系统间存在能源浪费及利益冲突的问题,首先提出了考虑多主体博弈的园区综合能源系统双层优化模型,其中上层模型利用多个园区间经济关系进行合作博弈,得到园区间交互能量功率并将所得功率传输给下层模型,下层建立多目标合作博弈模型进行设备调度并反馈能源需求。其次,上下层合作博弈皆采用交替方向乘子法进行解耦,并交替迭代得到最优策略方案。最终利用Shapley值法进行利益分配。结果表明,园区多主体间的合作可以有效提升园区综合能源系统经济效益。实现多能源灵活调度及能源系统经济效率提升。     

基于Transformer网络和多任务学习的园区综合能源系统电-热短期负荷预测方法

负荷预测是综合能源系统（integrated energy system, IES）能量管理和优化调度的基础,其预测精度直接关系到系统的整体运行性能。提出了一种基于Transformer网络和多任务学习的园区综合能源系统电-热短期负荷预测模型。首先对Transformer网络和多任务学习结构的基本原理进行了介绍;然后通过基于随机森林的特征选择步骤提取反映负荷特性和变化规律的典型指标,构建多任务学习输入特征,基于Transformer网络构建多任务学习权值共享层,并通过全连接层输出多能负荷的预测值;最后通过实际园区微能源系统的数据验证所提方法和算法的有效性,结果表明本文所提模型可以充分学习电-热耦合特征,提高负荷预测的精度。     

基于时空互补特性的多能源源荷协调优化调度

传统的能源利用方式已无法解决高比例可再生能源并网问题。对此,本文利用多种能源之间的时空互补特性,将风、光、水、火与抽水蓄能、高载能负荷协调优化调度,建立以系统运行成本最小、可再生能源消纳最大化和净负荷波动最小为目标的多能源电力系统源荷协调双层调度模型,并采用改进的蝗虫优化算法和粒子群优化算法分别对上、下2层优化调度模型进行求解。通过对比算例中4个调度情景的计算结果,得出所提调度策略能够减小系统净负荷的波动性,提高新能源消纳水平,实现系统的经济运行,验证了该模型和所改进的算法的有效性。     

基于综合需求响应和主从博弈的多微网综合能源系统优化调度策略

随着园区综合能源系统的发展,在同一配电区域往往存在多个园区微网综合能源系统,形成多微网综合能源系统或称冷热电联供多微网系统.针对含电能交互的多微网综合能源系统,提出一种基于综合需求响应和主从博弈优化调度策略.首先,建立包含可转移可中断电负荷、可转移不可中断电负荷、灵活的热负荷和冷负荷等多类型负荷的综合需求响应模型.之后...     

基于ADMM算法的多主体综合能源系统分布式协同优化研究

针对多园区综合能源系统的分布式调度问题,本文构造了多园区综合能源系统的多主体架构,提出了一种分布式经济调度的基本框架,建立了多决策主体的集中式优化调度模型;利用交替方向乘子法(Alternating Direction Method of Multipliers,ADMM),引入功率协调变量解耦园区间互济功率,将集中式优化调度转换为具有一致性的各园区分散自治子优化问题,构建了基于ADMM分布式调度模型与算法,实现了与集中式优化调度几乎一致的优化结果,同时克服了集中式方法信息隐私安全性低、通信成本高、建模复杂、求解难度大等缺陷。最后,分别以简单和复杂的多园区综合能源系统为算例,验证了ADMM算法的计算性能及其相较于集中式方法的特点和优势。     

多园区综合能源系统分区自治式能量合作社区及联合优化调度

多园区综合能源系统具有能源互济互联、协调合作运行、利益主体多元的重要特征,这对各园区间能量交互与协同管理提出了自主自治、隐私安全等要求。为此就多园区综合能源系统能量交易模式及物理实现架构,提出一种分区自治式能量合作社区及优化调度模式。首先针对能量交易模式,引入能源供需比和讨价还价博弈模型,构建合作社区内部交易及其定价机制,模拟能源供需形势及利益分配对社区内部交易的影响,有效激励园区参与合作;其次针对物理实现架构,构建各园区内综合能源系统模型及园区间输送管网模型,建立多园区系统的联合优化调度模型,应用交替方向乘子法分布式求解架构提出了上、下分层的解算方法,实现合作社区能源交互交易,保证园区交易自主、运行自治、信息隐私;最后算例验证了该合作社区与调度模式能够充分挖掘园区互济效益,实现共享收益公平分配,促进园区可持续合作共赢,提升能源利用效率。     

基于双层深度强化学习的园区综合能源系统多时间尺度优化管理

园区综合能源系统（PIES）的能源转换结构复杂性、新能源出力与多能负荷的不确定性以及不同能源系统管理时间尺度的差异性，是阻碍PIES实现高效管理与经济效益优化的主要原因。该文提出了一种基于双层深度强化学习的园区综合能源系统多时间尺度优化管理方法。该方法面向包含燃气、热力、电力三种能源的园区综合能源系统模型，构建上、下两层深度确定性策略梯度（DDPG）管理模型，分别以0.5h和5min为长短时间尺度滚动制定燃气与热力系统、电力系统的管理方案。仿真结果表明，所提方法不仅能有效克服深度强化学习算法在训练过程中出现“维数灾难”情况，还能以差异化时间尺度滚动制定PIES的不同能源系统管理方案，并优化其总体经济效益。     

计及云边协同的园区综合能源系统双层能量优化

深入挖掘园区综合能源系统内部多能耦合利用以及综合需求响应潜力,对系统内灵活性资源进行储能化建模,并将虚拟储能资源按照参与优化调度的时间尺度进行划分,提出了日前、日内2个阶段的园区综合能源系统优化调度方法,在日前阶段建立了热电协同优化模型,在日内阶段基于日前调度结果建立了电功率快速调整模型。进一步地,为充分发挥综合能源系统中各园区资源的时空互补优势,从多时间尺度、多主体角度提出适用于实时阶段的计及云边协同的综合能源系统双层能量优化方法。基于各园区可再生能源发电和电负荷的最新预测结果,在能量管理云平台建立了满足系统整体运行经济性目标的实时能量优化模型,在边缘控制器利用模型预测控制方法建立了以日内优化结果为参考值的精细化调控模型,并采用交替方向乘子法求解,以实现园区自身利益与综合能源系统总体效益的均衡。仿真结果表明,通过园区间联络线的传输功率协调以及电储能、动态可控负荷的辅助调用,可有效平抑可再生能源出力和电负荷需求的实时波动,提高系统整体运行调控的鲁棒性与有效性。     

含多园区综合能源系统的配电网双层分布式调度

在能源转型的背景之下,园区综合能源系统成为能源领域发展的重要趋势,多园区综合能源系统与配电网的协同运行受到了重点关注。为此提出了面向多园区综合能源系统的配电网运行的分布式调度管控模式,从而降低了对模型数据的要求和求解的复杂度。通过构建园区综合能源系统以自身运行成本最低为目标的预调度优化模型以及上级配电网优化运行模型,并提出以松弛联络线功率为接口的上下级交互协调机制,进而构建了考虑配电网和多园区综合能源系统为2个不同的利益主体的双层优化调度模型。最后通过算例验证了所提方法能实现上下层电网的协同优化运行。     

基于改进TD3算法的综合能源系统低碳经济调度

在用传统调度方法进行综合能源系统低碳经济调度时会面临数据维数高、建模难度大等困难。虽然用基于数据驱动自适应挖掘物理模型的深度强化学习算法有希望克服这些困难,且其中确定性策略梯度算法尤其适用于连续决策变量问题的求解,但该算法在实际应用时存在训练效率普遍较低的问题。对此,提出了一种基于改进双延迟深度确定性策略梯度算法的调度决策模型。首先基于综合能源系统低碳经济调度特性建立序贯马尔可夫决策过程模型;进而应用改进双延迟深度确定性策略梯度算法构建并训练神经网络,避免过估计并提高网络输出稳定性。同时,为提升网络训练效率,以求和树对训练过程中的历史经验数据进行存储和经验回放采样。实验结果表明,所提方法能对综合能源系统低碳经济调度问题进行有效求解,且比传统强化学习算法表现更优。