基于深度强化学习的综合能源系统动态经济调度

综合能源系统的优化调度对于实现系统的多能互补和经济运行具有重要意义.然而,系统中可再生能源的间歇性以及用户用能需求的不确定性造成了系统中供需双方的随机波动,传统的调度方法难以准确地适应实际环境的动态变化.针对这一问题,提出了一种考虑可再生能源和负荷时变特性的综合能源系统动态经济调度方法.首先对综合能源系统动态经济调度问...     

基于双层深度强化学习的园区综合能源系统多时间尺度优化管理

园区综合能源系统（PIES）的能源转换结构复杂性、新能源出力与多能负荷的不确定性以及不同能源系统管理时间尺度的差异性,是阻碍PIES实现高效管理与经济效益优化的主要原因。该文提出了一种基于双层深度强化学习的园区综合能源系统多时间尺度优化管理方法。该方法面向包含燃气、热力、电力三种能源的园区综合能源系统模型,构建上、下两层深度确定性策略梯度（DDPG）管理模型,分别以0.5h和5min为长短时间尺度滚动制定燃气与热力系统、电力系统的管理方案。仿真结果表明,所提方法不仅能有效克服深度强化学习算法在训练过程中出现“维数灾难”情况,还能以差异化时间尺度滚动制定PIES的不同能源系统管理方案,并优化其总体经济效益。     

不确定性环境下基于深度强化学习的综合能源系统动态调度

随着综合能源系统中间歇性能源和负荷不确定性的逐步增强,传统的调度方法局限于固定物理模型及参数设定,难以较好地动态响应源荷的随机波动。针对这一问题,提出了一种基于深度强化学习的综合能源系统动态调度方法。首先,以数据驱动方式构建面向综合能源系统的深度强化学习模型,通过智能体与综合能源系统的持续交互,自适应学习调度策略,降低对物理模型的依赖程度。其次,通过添加随机扰动的方式表征源荷不确定性变化特征,针对不确定性变化特征改进深度强化学习模型的状态空间、动作空间、奖励机制以及训练流程等关键环节,并经由近端策略优化算法优化求解,实现了综合能源系统的动态调度决策。最后,通过算例仿真验证了所提方法在不同时间尺度以及不确定性环境下的可行性和有效性。     

基于深度强化学习的自适应不确定性经济调度

当风电、光伏等间歇性电源大规模接入电力系统时,为应对其出力的不确定性,电力系统经济调度模型需建立在对不确定性建模的基础上,建模精确度将直接影响调度结果的精确度。但当系统同时包含风电、光伏和负荷复杂的不确定性时,对系统整体不确定性进行精确建模显得尤为困难。针对这一问题,引入深度强化学习中深度确定性策略梯度算法,避免对复杂的不确定性进行建模,利用其与环境交互、根据反馈学习改进策略的机制,自适应不确定性的变化。为确保算法适用性,进行了模型泛化方法的设计,针对算法稳定性问题进行了感知-学习比例调整和改进经验回放的机制设计。算例结果表明,所提方法能在自适应系统不确定性的基础上,实现任意场景下的电力系统动态经济调度。     

计及安全约束的综合能源系统深度强化学习优化调度策略研究

在“双碳”背景下,综合能源系统多能耦合与梯级利用已成为助力“双碳”目标实现的重要手段。综合能源系统优化运行是一个涉及非线性、非凸的复杂问题,传统求解方法在获得全局优化调度策略上存在一定困难。同时,随着光伏、风电等可再生能源渗透率不断提高以及网络拓扑日趋复杂进一步加剧了该问题的求解难度。强化学习为解决上述问题提供了有效途径,然而目前大部分关于强化学习优化调度的研究较少考虑系统整体安全约束,因此,该文基于深度强化学习构建了考虑安全约束的综合能源系统优化调度模型。首先,将电网与热网潮流约束融入到传统综合能源系统优化调度模型中,实现了对调度策略的安全校验。其次,基于深度强化学习理论将物理调度问题转化为强化学习序贯决策问题,改进了智能体的状态空间、动作空间及奖励函数的设计方法。最后,在离线与在线环境中实现了优化调度决策的求解与应用,并通过算例对比与分析验证了所提方法的有效性与合理性。     

基于深度强化学习哈里斯鹰算法的路径规划

哈里斯鹰算法存在容易早熟、陷入局部最优陷阱、稳定性较差等问题。为了提升算法性能,本文提出了一种利用深度确定性策略梯度算法（DDPG）改进的哈里斯鹰算法。该改进将深度强化学习和启发式算法结合,利用深度确定性策略梯度算法训练神经网络,再通过神经网络动态地生成哈里斯鹰算法关键参数,平衡算法全局搜索和局部搜索,并赋予算法后期跳出局部最优陷阱的能力。通过函数优化和路径规划对比实验,实验结果表明,DDPGHHO算法具有一定的泛化性和优秀的稳定性,且在不同环境下均能够搜索到更优路径。     

基于多智能体深度强化学习的电热联合系统优化运行

电热联合系统优化调度问题对于实现系统的能源互补、经济运行具有重要意义.电热联合系统优化运行涉及非线性、非凸、多目标问题求解,传统方法在计算实时性与迭代收敛性等方面存在困难.文章首先构建电热联合系统优化数学模型,将电热联合系统按照不同利益主体划分为多智能体,基于多智能体深度确定性策略梯度强化学习算法,建立了适用于电热联合系统的行动器-评判器框架,将优化模型转化为强化学习模型.其次对智能体进行了状态与动作空间的划分,搭建多智能体强化学习环境并设计相应的奖励函数.最后进行电热联合系统算例验证,表明所提方法可以有效解决电热联合系统优化问题.训练后的多智能体强化学习模型可实时生成优化策略,克服传统方法运算时间长、难以满足在线计算要求的问题;和单智能体算法相比,模型训练过程更易稳定收敛,执行过程中各智能体仅依赖局部信息完成计算,解决不同利益主体的数据共享问题.     

基于深度Q学习的电热综合能源系统能量管理

能量管理是电热综合能源系统运行优化的重要组成部分.然而,系统中可再生能源出力的波动性以及用户负荷的随机性使得能量优化管理问题充满挑战.针对此问题,文章提出了一种计及可再生能源和负荷需求不确定性的综合能源系统能量管理方法.将电热综合能源系统的能量管理问题表述为转移概率未知的马尔科夫决策过程,定义了系统的状态空间、动作空间...     

基于深度确定性策略梯度的电-气综合能源微网优化调度研究

多能互补协同运行是综合能源系统实现运行经济效益最优的重要技术之一.针对引入间歇性可再生能源的电-气综合能源微网运行优化问题,提出了基于深度确定性策略梯度的综合能源微网运行优化方法.该方法首先通过能源枢纽的理论对电-气综合能源微网进行数学建模,并对各种能源设备进行必要约束;然后,将综合能源微网优化调度问题转换为马尔可夫决...     

基于深度强化学习的微能源系统优化调度

微能源系统是城市配网终端的重要聚合部分,其应对源荷随机特性的能力为城市配网稳定运行提供了有效支撑。针对城市工业园微能源系统提出一种考虑源荷随机波动的动态调度方法。考虑工业园多种可调度资源对微能源系统的经济调度构建数学模型,然后将构建的微能源系统经济调度模型表示为具有连读动作调节的深度强化学习(DRL)模型,最后采用双延迟深度确定性策略梯度算法获取DRL模型下的动态连续调度策略。所提方法不仅避免对源荷随机波动的不确定性进行建模,同时也避免了离散Q学习的可调节设备出力不连续性。仿真结果表明所提出的动态调度方法具有更好的经济性和自适应性。     

基于改进TD3算法的综合能源系统低碳经济调度

在用传统调度方法进行综合能源系统低碳经济调度时会面临数据维数高、建模难度大等困难。虽然用基于数据驱动自适应挖掘物理模型的深度强化学习算法有希望克服这些困难,且其中确定性策略梯度算法尤其适用于连续决策变量问题的求解,但该算法在实际应用时存在训练效率普遍较低的问题。对此,提出了一种基于改进双延迟深度确定性策略梯度算法的调度决策模型。首先基于综合能源系统低碳经济调度特性建立序贯马尔可夫决策过程模型;进而应用改进双延迟深度确定性策略梯度算法构建并训练神经网络,避免过估计并提高网络输出稳定性。同时,为提升网络训练效率,以求和树对训练过程中的历史经验数据进行存储和经验回放采样。实验结果表明,所提方法能对综合能源系统低碳经济调度问题进行有效求解,且比传统强化学习算法表现更优。     

基于深度强化学习的电-气区域综合能源系统安全校正控制决策方法

电–气区域综合能源系统电、气相互耦合与影响,使得其安全校正控制难度大且对快速性要求高,为此,提出一种基于深度确定性策略梯度(deepdeterministicpolicy gradient,DDPG)算法的安全校正控制决策方法。首先,进行系统多能流与变量分析,建立安全校正控制的目标与约束条件。然后,构建基于DDPG的安全校正控制模型,设计目标奖励和各种约束条件奖励,提出结合基于综合灵敏度的安全校正知识经验设计目标奖励函数,使调整具有方向性,且目标奖励考虑能量枢纽(energy hub,EH)的经济效益及其可再生能源消纳;通过智能体离线训练,使其能够在线做出实时最优的安全校正控制策略,预先产生专家经验数据集存放于经验回放池,提高训练速度和收敛性。最后,通过含EH电–气区域综合能源系统仿真算例验证了所提方法的有效性。     

基于Q强化学习的综合能源服务商现货市场申报策略研究

随着综合能源系统建设和电力市场改革推进,综合能源服务商有望成为新的市场交易成员。为解决申报阶段有限的决策参考信息制约申报策略制定的问题,文章提出了一种基于Q强化学习的综合能源服务商现货市场申报策略,以提升申报策略的理想度。该方法的主要特点在于充分利用庞大的历史运行信息,通过人工智能算法训练申报策略智能体,建立综合能源服务商所掌握的有限参考信息与最优申报策略之间的内在关系。智能体以市场公开信息、社会公共信息及服务商私有信息为环境变量,能够实现申报策略的自动生成和智能改进。最后,基于某省电网实际数据构造算例表明,该方法能较好地拟合合作博弈下的申报策略,具有收敛速度快、理想度高、计算效率高等特点,更符合综合能源服务商决策需求。     

基于深度强化学习的多端背靠背柔性直流系统直流电压控制

为了提高互联配电网多端背靠背柔性直流系统的直流电压控制精度,增强抗干扰能力,提出一种基于深度强化学习的直流电压控制方法,将深度学习神经网络与确定策略梯度融合,实现连续动作搜索,自适应调整电压控制策略.首先,建立多端背靠背柔性直流系统数学模型,分析直流电压控制的非线性和不确定性特征;然后,给出了基于深度强化学习的直流电压控制算法框架,设计了动作与状态空间、奖励函数、神经网络和学习流程;最后,通过仿真分析发现,相比传统比例-积分(PI)控制方法,所提方法具有更好的动静态性能,有效提高了直流电压的控制精度,减小了扰动下直流电压波动和功率超调,缩短了直流电压和功率的恢复稳定时间.     

基于优势柔性策略-评价算法和迁移学习的区域综合能源系统优化调度

为提高清洁能源消纳率及减少碳排放对环境的污染,实现更具泛化能力、鲁棒性和高效性的区域综合能源系统优化调度,该文提出了基于优势柔性策略–评价(advantage learning soft actor-critic,ALSAC)算法和迁移学习的区域综合能源系统优化调度方法。利用环境信息与智能体进行通信交互,以低碳、经济为目标实现区域综合能源系统的优化调度。在文中分析了提升柔性策略–评价(soft actor-critic,SAC)鲁棒性的最大熵机制,并与基于策略梯度的多种深度强化学习算法和启发式算法进行了性能对比,随后将优势学习的思想引入SAC的Q值函数更新中,解决了算法对Q值的过估计问题,提升了算法的性能。为提高智能体的学习效率和应对新场景的泛化能力,加入了迁移学习的参数迁移。算例表明,基于ALSAC算法和迁移学习的优化调度策略具有较好的鲁棒性、泛化能力和高效的学习效率,实现区域综合能源系统的灵活高效调度。     

基于深度强化学习的风电柔直并网系统次同步振荡抑制方法

风电柔性直流换流站与风机交互导致的次同步振荡严重威胁电网安全稳定运行。深度强化学习算法可以有效地应对风电柔直并网系统多变的运行工况。提出了一种基于深度强化学习的振荡抑制方法。首先,基于柔直送端变流器的数学模型和机理,设计了系统的环境状态合集、可行动作集及奖励函数。为了应对所设计的环境状态合集中的电流变量及电压变量均为连续量带来的维数灾问题,继而采用深度确定性策略梯度算法进行可行动作集的动作决策探索。最后通过仿真系统在多变运行工况下对该方法的有效性和鲁棒性进行验证,仿真结果表明所提方法能够充分地适应海上风电柔直并网系统的多风速运行条件,并能在短时间内有效抑制振荡。     

基于深度确定性策略梯度算法的风光储系统联合调度策略

针对风光储联合系统的调度问题,提出了一种基于深度强化学习的风光储系统联合调度模型。首先,以计划跟踪、弃风弃光以及储能运行成本最小为目标,建立了充分考虑风光储各个场站约束下的联合调度模型。然后,定义该调度模型在强化学习框架下的系统状态变量、动作变量以及奖励函数等,引入了深度确定性策略梯度算法,利用其环境交互、策略探索的机制,学习风光储系统的联合调度策略,以实现对联合系统功率跟踪,减少弃风弃光以及储能充放电。最后,借用西北某地区风电、光伏、跟踪计划的历史数据对模型进行了训练和算例分析,结果表明所提方法可以较好地适应不同时期的风光变化,得到在给定风光下联合系统的调度策略。     

基于柔性行动器–评判器深度强化学习的电–气综合能源系统优化调度

多能流协同优化调度是实现综合能源系统高效经济运行的核心技术之一。面向电–气综合能源系统运行优化问题,提出一种基于柔性行动器-评判器框架的深度强化学习方法,通过智能体与能源系统的交互,自适应学习控制策略。该方法可实现多能流系统的连续动作控制,且能够灵活处理风电、光伏、多能负荷等源荷不确定性问题,实现多场景下的电-气综合能源优化调度决策。首先,构建面向电-气综合能源系统调度的强化学习基本框架,介绍柔性行动器-评判器强化学习的基本原理;然后,构建与智能体交互的电-气综合能源系统环境模型,设计深度强化学习的动作与状态空间、奖励机制、神经网络结构、学习流程等关键环节;最后,针对2个电-气综合能源系统算例进行强化学习优化调度结果分析。     

融合图神经网络模型与强化学习的综合能源系统优化调度

随着人工智能技术特别是强化学习在能源优化调度领域的深入研究,将系统状态表示为向量用于学习的模式,其训练效率与信息利用率较低。针对这一问题,提出了一种融合图神经网络模型与强化学习的综合能源系统优化调度方法。首先,将电-热-气综合能源系统建模为图结构数据,充分利用系统的拓扑信息。其次,提出了基于图神经网络架构的强化学习模型,使其可以充分利用图结构信息实现更快的训练速度,获得更大的探索空间。最后,将表示系统状态的图结构信息送入该模型进行训练,算例仿真验证了该方法的训练效率与探索能力。     

基于深度强化学习算法的储能系统盈利策略研究

在高比例新能源接入下,配置储能可以辅助电力系统削峰填谷,平抑波动。然而目前储能系统成本较高,需要政府进行支持。为此,提出了一种储能盈利策略,以在电网、储能运营商和用户组成的电力市场中实现运营利润最大化。结合智能算法提出了一种考虑激励的盈利策略,为每个峰值时段的储能系统运营商提供不同权重的奖励分配。该算法一方面基于最小二乘支持向量机的深度学习,来建立价格和负荷预测模型;另一方面基于深度强化学习,考虑电网的峰值状态、用户负荷需求和储能系统运营商利润,确定最优充放电策略。最后通过案例分析,验证该策略可以显著提高储能系统运营商利润并减轻电网压力。