计及安全约束的综合能源系统深度强化学习优化调度策略研究

在“双碳”背景下,综合能源系统多能耦合与梯级利用已成为助力“双碳”目标实现的重要手段。综合能源系统优化运行是一个涉及非线性、非凸的复杂问题,传统求解方法在获得全局优化调度策略上存在一定困难。同时,随着光伏、风电等可再生能源渗透率不断提高以及网络拓扑日趋复杂进一步加剧了该问题的求解难度。强化学习为解决上述问题提供了有效途径,然而目前大部分关于强化学习优化调度的研究较少考虑系统整体安全约束,因此,该文基于深度强化学习构建了考虑安全约束的综合能源系统优化调度模型。首先,将电网与热网潮流约束融入到传统综合能源系统优化调度模型中,实现了对调度策略的安全校验。其次,基于深度强化学习理论将物理调度问题转化为强化学习序贯决策问题,改进了智能体的状态空间、动作空间及奖励函数的设计方法。最后,在离线与在线环境中实现了优化调度决策的求解与应用,并通过算例对比与分析验证了所提方法的有效性与合理性。     

不确定性环境下基于深度强化学习的综合能源系统动态调度

随着综合能源系统中间歇性能源和负荷不确定性的逐步增强,传统的调度方法局限于固定物理模型及参数设定,难以较好地动态响应源荷的随机波动。针对这一问题,提出了一种基于深度强化学习的综合能源系统动态调度方法。首先,以数据驱动方式构建面向综合能源系统的深度强化学习模型,通过智能体与综合能源系统的持续交互,自适应学习调度策略,降低对物理模型的依赖程度。其次,通过添加随机扰动的方式表征源荷不确定性变化特征,针对不确定性变化特征改进深度强化学习模型的状态空间、动作空间、奖励机制以及训练流程等关键环节,并经由近端策略优化算法优化求解,实现了综合能源系统的动态调度决策。最后,通过算例仿真验证了所提方法在不同时间尺度以及不确定性环境下的可行性和有效性。     

能源互联网中的数字孪生技术体系、应用与挑战

随着传统能源互联系统逐步向能源互联网升级转化,仅基于机理建模的方法难以描述其高维性、非线性以及多能耦合性等特征。数字孪生技术可将真实系统精准映射到虚拟空间,对实现能源互联网的特征描述、运行分析、监控优化以及智能决策具有重要意义。首先,从数字孪生技术的发展出发,对能源互联网中的数字孪生技术体系进行分析,提出了涵盖“多源数据采集-模型构建-平台支撑-智能交互”的分层技术体系框架,细化了数字孪生技术在能源互联网中的应用价值;其次,详细阐述了数字孪生技术在能源互联网中的典型应用以及需要突破的难点,并给出了其当前的发展瓶颈;最后,对数字孪生技术在能源互联网中的发展路线进行了总结与展望。     

考虑运行状态信息的综合能源系统图强化学习优化调度

“双碳”背景下,异质能源的耦合加剧迫使综合能源系统(integrated energy system, IES)拓扑朝着更复杂、更灵活的方向不断演变。然而,现有优化调度方法对非欧网络拓扑知识及其异质潮流约束考虑不足。针对这一问题,提出一种基于图强化学习的综合能源系统优化调度方法。首先,基于图理论在保证节点多样状态的情况下,将异质能源网络拓扑转换为网络图模型。其次,通过建立基于真实图映射的状态-动作-奖励的框架,利用图强化学习的方法学习图模型的非欧拓扑信息,将异质潮流知识加入系统节点运行状态,从而实现IES的安全优化调度。最后,利用某工业园区的真实数据进行仿真验证,所提方法相对于传统方法有效缓解了节点电压越限的问题。结果表明,所提方法能够在考虑IES真实拓扑运行状态信息和异质潮流安全的情况下实现IES的优化调度。     

考虑建筑储能特性的高铁站综合能源系统规划方法

高铁站内含有冷热电等多种负荷,是综合能源系统(integrated energy system,IES)的典型应用场景之一,同时相比常规工业园区,高铁站体巨型空腔具有明显的储能特性。文章针对国内某新型高铁站的规划设计,提出了一种考虑高铁站站体建筑储能特性的综合能源系统规划方法。首先建立了综合能源系统的供能框架,在此基础上基于高铁站的建筑特性及站内温度搭建了建筑储能系统模型,之后将该模型集成到综合能源系统框架中。整体规划以年化成本为优化目标,并考虑相应的温度舒适性成本,采用双层优化的方法对系统进行优化。仿真结果表明了所提方法的有效性和合理性。     

基于多智能体Nash-Q强化学习的综合能源市场交易优化决策

目前求解综合能源市场多参与主体竞价博弈问题普遍采用数学推导法与启发式算法,但两类方法均须以完全信息环境为前提假设,同时前者忽略市场参与者非凸非线性属性,后者易陷入局部最优解.为此,引入多智能体Nash-Q强化学习算法,将市场参与主体构建成智能体,经由智能体在动态市场环境中反复探索与试错寻找博弈均衡点.首先,构建竞价决策-市场出清双层迭代的电-气综合能源市场交易框架.其次,在竞价决策层中通过博弈理论构建市场参与主体间的利益关系模型,采用多智能体Nash-Q强化学习算法优化参与主体竞价策略.然后,在市场出清层中联合博弈竞价策略共同求解得到交易Nash均衡解.最后,通过算例仿真验证了所提方法的有效性和准确性.     

基于能量共享的综合能源系统群多主体实时协同优化策略

建设多主体参与的区域综合能源市场是中国能源市场发展的主要方向,但是综合能源系统一般规模较小,用能行为难以掌握,如何处理能源需求预测不准造成的能量偏差成为市场交易的关键问题。通过能量共享方式实现综合能源系统集群参与日前-实时市场,是处理能量偏差的有力途径。设计了基于供应侧多主体竞价互动、需求侧多主体能量共享的综合能源日前-实时市场框架。在此基础上,需求侧园区运营商内部通过能源枢纽模型进行运行优化,外部采用能量共享方式展开交易,并采用合作博弈的Shapley值法对多主体联合运营效益再分配,实现多主体实时协同优化。最后,算例分析表明所提的交易机制和能量共享策略能够在平抑能量偏差的同时有效提升市场各主体利益。     

基于复杂网络演化博弈的可再生能源技术扩散仿真分析

“双碳”目标下,风光等可再生能源逐步替代煤等传统化石能源是实现电力系统能源转型的必然趋势,开展可再生能源技术扩散研究是模拟分析这一趋势的重要手段。然而,现有可再生能源技术扩散研究多从总体层面关注宏观扩散模型,忽略了发电商群体内部微观复杂博弈过程及相互作用对宏观扩散影响的复杂性。针对该问题,该文基于系统科学与博弈论视角,以发电商群体社会关系构建复杂网络,以不完全信息有限理性特征开展演化博弈。从发电商个体发电策略更新到发电商群体关系演化的逻辑,由点到面地分析可再生能源技术扩散的动态演化过程。基于两种典型复杂网络场景开展仿真,剖析发电商群体关系、政策标准以及市场价格等众多因素对可再生能源技术扩散演化的影响。算例结果既可为政府引导可再生能源技术在发电企业扩散方面提供理论支撑,亦可为演化博弈理论在能源行业中的广泛应用提供有益的借鉴。     

基于多分段P/f特性曲线的独立微电网协调控制策略

针对独立微电网中分布式电源多元化的特点,在考虑分布式电源运行控制方法上,采用一种主从-集中与对等-分散的混合协调控制策略。将微电网中多个具备下垂特性的分布式电源进行对等控制,为分析对等控制中频率稳定的问题,基于平均频率法建立相应小信号模型进行分析并确定下垂系数。在主从-集中控制中,储能运行在V/f策略下维持系统稳定,光伏运行在PQ策略下输出指定功率。提出一种基于多分段P/f特性曲线的独立微电网功率分散管理策略,下垂联合单元与主从联合单元基于该特性曲线交替运行。最后基于PSCAD搭建相关仿真模型进行计算分析,结果验证了所提策略的正确性与有效性。     

基于LSTM和多任务学习的综合能源系统多元负荷预测

随着综合能源利用技术的不断发展与用户用能需求的多元化,现有单一负荷预测方法难以反映多元负荷间的耦合特性,精确的多元负荷预测将成为综合能源系统优化调度和经济运行的首要前提.基于此,提出一种以长短时记忆神经网络作为共享层的多任务学习负荷预测方法,经由共享层模拟多元负荷间的耦合特性,进而达到提升预测精度的目的.首先,以"硬共...