基于深度强化学习的微能源系统优化调度

微能源系统是城市配网终端的重要聚合部分,其应对源荷随机特性的能力为城市配网稳定运行提供了有效支撑。针对城市工业园微能源系统提出一种考虑源荷随机波动的动态调度方法。考虑工业园多种可调度资源对微能源系统的经济调度构建数学模型,然后将构建的微能源系统经济调度模型表示为具有连读动作调节的深度强化学习(DRL)模型,最后采用双延迟深度确定性策略梯度算法获取DRL模型下的动态连续调度策略。所提方法不仅避免对源荷随机波动的不确定性进行建模,同时也避免了离散Q学习的可调节设备出力不连续性。仿真结果表明所提出的动态调度方法具有更好的经济性和自适应性。     

融合图神经网络模型与强化学习的综合能源系统优化调度

随着人工智能技术特别是强化学习在能源优化调度领域的深入研究,将系统状态表示为向量用于学习的模式,其训练效率与信息利用率较低。针对这一问题,提出了一种融合图神经网络模型与强化学习的综合能源系统优化调度方法。首先,将电-热-气综合能源系统建模为图结构数据,充分利用系统的拓扑信息。其次,提出了基于图神经网络架构的强化学习模型,使其可以充分利用图结构信息实现更快的训练速度,获得更大的探索空间。最后,将表示系统状态的图结构信息送入该模型进行训练,算例仿真验证了该方法的训练效率与探索能力。     

不确定性环境下基于深度强化学习的综合能源系统动态调度

随着综合能源系统中间歇性能源和负荷不确定性的逐步增强,传统的调度方法局限于固定物理模型及参数设定,难以较好地动态响应源荷的随机波动。针对这一问题,提出了一种基于深度强化学习的综合能源系统动态调度方法。首先,以数据驱动方式构建面向综合能源系统的深度强化学习模型,通过智能体与综合能源系统的持续交互,自适应学习调度策略,降低对物理模型的依赖程度。其次,通过添加随机扰动的方式表征源荷不确定性变化特征,针对不确定性变化特征改进深度强化学习模型的状态空间、动作空间、奖励机制以及训练流程等关键环节,并经由近端策略优化算法优化求解,实现了综合能源系统的动态调度决策。最后,通过算例仿真验证了所提方法在不同时间尺度以及不确定性环境下的可行性和有效性。     

考虑源、荷不确定性的工业园区电-气互联综合能源系统模糊优化调度

针对源、荷不确定性引起的电-气互联综合能源系统非经济运行的问题,构建了考虑源、荷不确定性的工业园区电-气互联综合能源系统模糊优化调度模型.建立了考虑电转气技术的园区电-气互联综合能源系统模型;从源、荷两侧出发,用模糊隶属度参数来表征新能源及负荷的不确定性,建立了计及风电及电、气负荷不确定性的可信性模糊机会约束模型,并通...     

考虑源荷不确定性电-气储能综合能源系统优化调度控制

针对以新能源为主体的电-气储能综合能源系统源荷随机波动的动态响应问题,搭建了光伏-固体氧化物燃料电池模型,通过电转气技术（power to gas,P2G）将盈余电能转换为氢能可供SOFC使用。以系统频率偏差设计终端滑模函数,提出了一种考虑源荷不确定性的自适应神经网络终端滑模运行控制策略。实现对电解槽和SOFC燃料电池无级功率调节,能够根据实时环境变化和负荷需求迅速做出响应。仿真表明：系统在孤岛运行模式下,相比于其他控制策略,该控制策略下的综合能源系统频率震荡响应更小、弃光量更低。     

考虑需求响应的含P2G电-气综合能源系统优化调度

在综合能源系统日益发展的背景下,提出了一种考虑需求响应的含P2G电-气综合能源系统优化调度模型。首先对天然气网络和电-气关键耦合设备P2G进行建模;然后基于虚拟电厂思想建立了价格型需求响应和激励性需求响应的等效模型,并结合电-气综合能源系统的各层面约束构建了考虑需求响应的电-气综合能源系统优化调度模型;最后,引入通用分布来描述风电功率的概率分布,并利用机会约束方法对模型进行不确定性处理。仿真算例结果验证了本文所提模型的有效性。     

计及安全约束的综合能源系统深度强化学习优化调度策略研究

在“双碳”背景下,综合能源系统多能耦合与梯级利用已成为助力“双碳”目标实现的重要手段。综合能源系统优化运行是一个涉及非线性、非凸的复杂问题,传统求解方法在获得全局优化调度策略上存在一定困难。同时,随着光伏、风电等可再生能源渗透率不断提高以及网络拓扑日趋复杂进一步加剧了该问题的求解难度。强化学习为解决上述问题提供了有效途径,然而目前大部分关于强化学习优化调度的研究较少考虑系统整体安全约束,因此,该文基于深度强化学习构建了考虑安全约束的综合能源系统优化调度模型。首先,将电网与热网潮流约束融入到传统综合能源系统优化调度模型中,实现了对调度策略的安全校验。其次,基于深度强化学习理论将物理调度问题转化为强化学习序贯决策问题,改进了智能体的状态空间、动作空间及奖励函数的设计方法。最后,在离线与在线环境中实现了优化调度决策的求解与应用,并通过算例对比与分析验证了所提方法的有效性与合理性。     

基于深度强化学习的综合能源系统动态经济调度

综合能源系统的优化调度对于实现系统的多能互补和经济运行具有重要意义.然而,系统中可再生能源的间歇性以及用户用能需求的不确定性造成了系统中供需双方的随机波动,传统的调度方法难以准确地适应实际环境的动态变化.针对这一问题,提出了一种考虑可再生能源和负荷时变特性的综合能源系统动态经济调度方法.首先对综合能源系统动态经济调度问...     

基于优势柔性策略-评价算法和迁移学习的区域综合能源系统优化调度

为提高清洁能源消纳率及减少碳排放对环境的污染，实现更具泛化能力、鲁棒性和高效性的区域综合能源系统优化调度，该文提出了基于优势柔性策略–评价(advantage learning soft actor-critic,ALSAC)算法和迁移学习的区域综合能源系统优化调度方法。利用环境信息与智能体进行通信交互，以低碳、经济为目标实现区域综合能源系统的优化调度。在文中分析了提升柔性策略–评价(soft actor-critic,SAC)鲁棒性的最大熵机制，并与基于策略梯度的多种深度强化学习算法和启发式算法进行了性能对比，随后将优势学习的思想引入SAC的Q值函数更新中，解决了算法对Q值的过估计问题，提升了算法的性能。为提高智能体的学习效率和应对新场景的泛化能力，加入了迁移学习的参数迁移。算例表明，基于ALSAC算法和迁移学习的优化调度策略具有较好的鲁棒性、泛化能力和高效的学习效率，实现区域综合能源系统的灵活高效调度。     

基于深度强化学习的电-气区域综合能源系统安全校正控制决策方法

电–气区域综合能源系统电、气相互耦合与影响,使得其安全校正控制难度大且对快速性要求高,为此,提出一种基于深度确定性策略梯度(deepdeterministicpolicy gradient,DDPG)算法的安全校正控制决策方法。首先,进行系统多能流与变量分析,建立安全校正控制的目标与约束条件。然后,构建基于DDPG的安全校正控制模型,设计目标奖励和各种约束条件奖励,提出结合基于综合灵敏度的安全校正知识经验设计目标奖励函数,使调整具有方向性,且目标奖励考虑能量枢纽(energy hub,EH)的经济效益及其可再生能源消纳;通过智能体离线训练,使其能够在线做出实时最优的安全校正控制策略,预先产生专家经验数据集存放于经验回放池,提高训练速度和收敛性。最后,通过含EH电–气区域综合能源系统仿真算例验证了所提方法的有效性。     

基于深度强化学习的自适应不确定性经济调度

当风电、光伏等间歇性电源大规模接入电力系统时,为应对其出力的不确定性,电力系统经济调度模型需建立在对不确定性建模的基础上,建模精确度将直接影响调度结果的精确度。但当系统同时包含风电、光伏和负荷复杂的不确定性时,对系统整体不确定性进行精确建模显得尤为困难。针对这一问题,引入深度强化学习中深度确定性策略梯度算法,避免对复杂的不确定性进行建模,利用其与环境交互、根据反馈学习改进策略的机制,自适应不确定性的变化。为确保算法适用性,进行了模型泛化方法的设计,针对算法稳定性问题进行了感知-学习比例调整和改进经验回放的机制设计。算例结果表明,所提方法能在自适应系统不确定性的基础上,实现任意场景下的电力系统动态经济调度。     

基于深度强化学习的电动汽车实时调度策略

电动汽车(EV)作为一种分布式储能装置,对抑制功率波动有着巨大的潜力。考虑EV接入的随机性及可再生能源出力和负荷的不确定性,利用不基于模型的深度强化学习方法,建立了以最小功率波动及最小充放电费用为目标的实时调度模型。为满足用户的用电需求,采用充放电能量边界模型表征电动汽车的充放电行为。在对所提模型进行日前训练及参数保存后,针对日内每一时刻系统运行的实时状态量,生成该时刻充放电调度策略。最后以某微电网为例,验证了所提基于深度强化学习的调度方法在满足用户充电需求的前提下,可以有效减小微电网内的功率波动,降低EV充放电费用;日内不需要迭代计算,可以满足实时调度的要求。     

考虑综合需求侧响应的区域综合能源系统多目标优化调度

为兼顾区域综合能源系统(regional integrated energy system,RIES)中能耗成本、污染排放、风电消纳等多个调度目标,建立了考虑综合需求响应的RIES多目标优化模型。首先,对含电转气、储能系统、热电联产机组等设备的RIES建模,并在区域内引入了具体考虑削减负荷、转移负荷和替代负荷的综合需求响应,旨在削减系统负荷峰谷差。然后,分别建立了以系统用能成本、弃风功率和污染物治理成本最小的目标函数,采用多目标优化方法——以模糊加权规划遍历权值求解帕累托前沿,再根据证据推理决策方法寻找最优调度策略。最后基于典型算例研究,结果表明了所提多目标优化算法能有效在多个调度目标间做出权衡,考虑综合需求响应的RIES在总能耗、环境友好和风电消纳等方面更具优势。     

计及弹性恢复的区域综合能源系统多目标优化调度

在能源互联网发展的背景下,区域综合能源系统成了高效清洁的终端用能载体。基于电-气-热多种能源耦合的系统框架,分析了区域综合能源系统的运行经济性,并计及潜在自然灾害的威胁,针对区域综合能源系统面临灾害的弹性恢复能力和系统运行经济性之间的矛盾问题,提出了一种多目标优化调度方法。通过多目标加权模糊规划的方法,对潜在自然灾害下提升恢复力造成的运行成本增加和系统整体运行经济性进行协调。最后,经算例验证所提多目标优化调度方法的可行性,通过结果分析证明牺牲一定的运行经济性可以有效增强区域综合能源系统应对自然灾害的恢复力。     

基于深度强化学习的风电场储能系统预测决策一体化调度

风电场储能系统的优化控制可以提高风电场作为发电商在电力市场中的竞争力.文中提出基于深度强化学习的储能系统预测决策一体化调度方法,令高维度的风电场原始测量数据直接驱动储能系统.与预测、决策相分离的传统调度模式相比,预测决策一体化调度模式将风电功率预测与储能系统动作决策相融合,避免了预测阶段中有效决策信息的损失,使风电的随...     

计及效率的综合能源系统多目标优化调度方法

综合考虑综合能源系统(IES)在能效、经济、环境等多目标上的优化调度需求,提出一种IES的多目标优化调度模型及求解方法,以实现多能互补IES的节能减排、经济运行与环境友好调度运行。首先建立了满足IES在能效、经济、环境等方面的优化调度需求的多目标函数模型,并在能效目标函数中引入■效率,实现多能耦合系统的高效、高质量用能;其次建立了适用于多目标优化调度的IES数学模型,并通过模型凸松弛等方法保证模型的凸性,提高问题求解效率;再次建立了多目标优化调度问题帕累托前端的求解及运用方法,利用多目标凸优化问题的标量化方法进行模型转换,从而求解多目标凸优化问题,并提出筛选方法,用于从帕累托前端中筛选得到综合性能较好的调度方案;最后结合贵州省某IES算例仿真,验证了所建立多目标优化调度模型与求解方法在满足区域IES由于多能耦合而带来的多目标调度需求上的可行性。     

含电—热—气—冷子系统的区域综合能源系统多场景优化调度

针对当前区域综合能源系统(RIES)研究中未详细考虑含电—热—气—冷子系统(PHGCS)协调运行效果的现状,研究计及能源子系统关键特征变量的RIES多场景优化问题。首先,基于能源集线器概念对以区域混合能源站为核心的能源耦合环节进行能源比例分配建模及分析,分别建立RIES中PHGCS数学模型。然后,提出考虑效率指标最大化、费用指标最小化、排放指标最小化及多目标综合性能指标最优的多场景运行模式,建立在不同负荷结构、多时段、多场景运行模式下的优化分析模型。其次,采用峰谷分时电价机制对RIES整体和分时段性能指标、子系统及耦合环节关键特征变量进行综合分析。最后,通过算例验证了该模型与优化方法的合理性和有效性。