基于深度确定性策略梯度算法的风光储系统联合调度策略

针对风光储联合系统的调度问题,提出了一种基于深度强化学习的风光储系统联合调度模型。首先,以计划跟踪、弃风弃光以及储能运行成本最小为目标,建立了充分考虑风光储各个场站约束下的联合调度模型。然后,定义该调度模型在强化学习框架下的系统状态变量、动作变量以及奖励函数等,引入了深度确定性策略梯度算法,利用其环境交互、策略探索的机制,学习风光储系统的联合调度策略,以实现对联合系统功率跟踪,减少弃风弃光以及储能充放电。最后,借用西北某地区风电、光伏、跟踪计划的历史数据对模型进行了训练和算例分析,结果表明所提方法可以较好地适应不同时期的风光变化,得到在给定风光下联合系统的调度策略。     

基于改进深度确定性策略梯度算法的微电网能量优化调度

针对微电网中分布式发电设备存在输出不确定性和间歇性问题，以及传统的深度确定性策略梯度算法存在收敛速度慢、鲁棒性差、容易陷入局部最优的缺点。本文提出了一种基于优先经验回放的深度确定性策略梯度算法，以微电网系统运行成本最低为目标，实现微电网的能量优化调度。首先，采用马尔可夫决策过程对微电网优化问题进行建模；其次，采用Sumtree结构的优先经验回放池提升样本利用效率，并且应用重要性采样来改善状态分布对收敛结果的影响。最后，本文利用真实的电力数据进行仿真验证，结果表明，提出的优化调度算法可以有效地学习到使微电网系统经济成本最低的运行策略，所提出的算法总运行时间比传统算法缩短了7.25%,运行成本降低了31.5%。     

基于深度确定性策略梯度的主动配电网有功-无功协调优化调度

为了实现主动配电网(active distribution network, ADN)的有功-无功资源协调控制，提高配电系统供电可靠性及经济性，提出一种基于深度确定性策略梯度(deep deterministic policy gradient, DDPG)的ADN有功-无功协调优化调度策略。首先，在避免电压和潮流越限的情况下，以ADN日运行成本最小为目标，计及可投切电容器组、有载调压变压器、微型燃气轮机和能量储存系统构建ADN有功-无功协调调度模型。其次，将ADN实时调度问题转化成马尔科夫决策过程，并定义系统的状态空间、动作空间及奖励函数。然后，为提升深度确定性策略梯度的离线训练速度和奖励回报，在算法中加入优先经验回放(priority experience replay, PER)机制，并搭建了基于优先经验回放机制的深度确定性策略梯度(PER-DDPG)ADN在线调度框架。最后，在修改的IEEE-34节点配电系统上进行仿真，算例结果表明，PER-DDPG方法通过高效的经验学习，能够为ADN提供安全、经济的调度策略。     

基于深度确定性策略梯度的电-气综合能源微网优化调度研究

多能互补协同运行是综合能源系统实现运行经济效益最优的重要技术之一.针对引入间歇性可再生能源的电-气综合能源微网运行优化问题,提出了基于深度确定性策略梯度的综合能源微网运行优化方法.该方法首先通过能源枢纽的理论对电-气综合能源微网进行数学建模,并对各种能源设备进行必要约束;然后,将综合能源微网优化调度问题转换为马尔可夫决...     

基于确定性策略梯度深度强化学习和模仿学习的多源微电网经济优化调度策略

当前国家大力实施“双碳”战略,以新能源为主体的新型电力系统将呈现爆发式增长,风电、光伏等新能源机组逐渐成为主力电源,微电网得以提出并迅速发展,其调度与优化问题也成为研究的热点。传统的基于数学建模与求解的微电网有功优化调度方法计算量大且十分复杂,存在易陷入局部最优、模型修改困难等瓶颈问题,因此提出基于确定性策略梯度深度强化学习(DDPG)和模仿学习(XGBoost)的经济优化调度策略。首先构建微电网有功优化调度的统一预置数学模型,其次通过构建XGBoost模型学习得到初始宏观决策,最后再构建基于DDPG的微电网有功调度人工智能模型。通过进行XGBoost分类器和DDPG神经网络离线训练,得出基于确定性策略梯度深度强化学习和模仿学习的微电网优化调度在线决策模型,最后通过算例分析验证了模型和算法的有效性。     

基于强化学习的电动汽车换电站实时调度策略优化

随着电动汽车的应用推广,换电站的调度优化逐渐成为研究热点。传统的基于换电需求预测值的调度策略在实际应用中面临着难以适应动态干扰因素、预测误差累积等问题。为了解决这些问题,提出了一种基于带基线的蒙特卡罗策略梯度法的换电站实时调度策略,用于优化换电站的充放电策略以及响应电池数量。提出了带基线的蒙特卡罗策略梯度强化学习,并为换电站实时调度问题选取合适的状态空间和动作空间;设计了奖励函数对智能体进行离线训练,从电池状态数据、分时电价和排队电动汽车数量中学习得到最优策略网络;在离线训练好的模型基础上进行实时调度策略测试。基于换电站的服务可用率和经济效益验证了所提调度策略的有效性和经济性,算例结果表明所提策略能对电网负荷起到一定的削峰填谷作用。     

光伏光热联合电站调度策略对比分析

本文以光热光伏电站为研究对象,假设典型日内恒定的功率输出曲线,对集中调度策略(F-INT)和部分调度策略(P-INT)进行比较和分析,计算了联合电站的年发电量和发电成本.结果表明F-INT策略对于满足恒定输出功率具有一定优势,相较P-INT策略,联合电站发电量提高了 13.01％,发电成本下降了33.5％.F-INT策...     

基于多智能体深度强化学习的电热联合系统优化运行

电热联合系统优化调度问题对于实现系统的能源互补、经济运行具有重要意义.电热联合系统优化运行涉及非线性、非凸、多目标问题求解,传统方法在计算实时性与迭代收敛性等方面存在困难.文章首先构建电热联合系统优化数学模型,将电热联合系统按照不同利益主体划分为多智能体,基于多智能体深度确定性策略梯度强化学习算法,建立了适用于电热联合系统的行动器-评判器框架,将优化模型转化为强化学习模型.其次对智能体进行了状态与动作空间的划分,搭建多智能体强化学习环境并设计相应的奖励函数.最后进行电热联合系统算例验证,表明所提方法可以有效解决电热联合系统优化问题.训练后的多智能体强化学习模型可实时生成优化策略,克服传统方法运算时间长、难以满足在线计算要求的问题;和单智能体算法相比,模型训练过程更易稳定收敛,执行过程中各智能体仅依赖局部信息完成计算,解决不同利益主体的数据共享问题.     

基于深度确定策略梯度算法的主动配电网协调优化

将新一代人工智能在智能电网和能源互联网中进行应用,实现高比例可再生能源及时有效接入电网,文中基于深度学习中的深度确定策略梯度(DDPG)算法实现主动配电网的优化运行。首先,构造了含多微电网的主动配电网优化模型的DDPG回报函数,使主动配电网的节点电压总偏差和线损最小,最大限度地降低微电网功率调节量的变化以减小对微电网运行的影响,同时维持联络线功率平衡以减小对配电网的影响。然后,分析了主动配电网优化控制的DDPG样本数据处理、回报函数设计、模型训练和学习过程。最后,通过改进IEEE 14节点算例仿真验证了DDPG算法的有效性。     

考虑日前计划的风储联合系统多目标协调调度

建立多时间尺度的风储发电系统协调调度模式,提出一种适用于风储联合发电系统的滚动协调调度方法。优化模型采用两阶段优化方法实现多目标决策和分层协调调度,第1阶段优化利用风电场储能系统和常规机组的协调调度最小化系统弃风电量和失负荷电量,第2阶段优化按照风电并网标准和系统调度需求在各风电场之间分配储能系统充放电任务和弃风功率。采用含3个实际风电场的IEEE 30节点系统进行仿真分析,结果表明:基于风电场滚动上报的超短期风电功率预测信息,提出的风储联合发电系统日内滚动协调调度方法能够有效减少弃风,降低系统运行成本。     

风火储电动汽车换电站联合优化调度

将电动汽车换电站作为一种灵活的储能设备纳入电力系统优化调度,建立风火储电动汽车换电站的联合优化调度模型。模型考虑火电煤耗成本、风电节能减排效益、换电站运营成本和备用容量成本,以系统运行成本最小为目标函数,采用CPLEX求解器对模型进行求解,以含1个风电场和5座换电站的10机系统为仿真算例。仿真结果表明：联合优化调度利用换电站有序充放电能有效平抑风电波动,降低电网调峰压力,提高电网风电消纳量,实现电能的有序高效利用。     

基于双层深度强化学习的园区综合能源系统多时间尺度优化管理

园区综合能源系统（PIES）的能源转换结构复杂性、新能源出力与多能负荷的不确定性以及不同能源系统管理时间尺度的差异性，是阻碍PIES实现高效管理与经济效益优化的主要原因。该文提出了一种基于双层深度强化学习的园区综合能源系统多时间尺度优化管理方法。该方法面向包含燃气、热力、电力三种能源的园区综合能源系统模型，构建上、下两层深度确定性策略梯度（DDPG）管理模型，分别以0.5h和5min为长短时间尺度滚动制定燃气与热力系统、电力系统的管理方案。仿真结果表明，所提方法不仅能有效克服深度强化学习算法在训练过程中出现“维数灾难”情况，还能以差异化时间尺度滚动制定PIES的不同能源系统管理方案，并优化其总体经济效益。     

基于深度强化学习的自适应不确定性经济调度

当风电、光伏等间歇性电源大规模接入电力系统时,为应对其出力的不确定性,电力系统经济调度模型需建立在对不确定性建模的基础上,建模精确度将直接影响调度结果的精确度。但当系统同时包含风电、光伏和负荷复杂的不确定性时,对系统整体不确定性进行精确建模显得尤为困难。针对这一问题,引入深度强化学习中深度确定性策略梯度算法,避免对复杂的不确定性进行建模,利用其与环境交互、根据反馈学习改进策略的机制,自适应不确定性的变化。为确保算法适用性,进行了模型泛化方法的设计,针对算法稳定性问题进行了感知-学习比例调整和改进经验回放的机制设计。算例结果表明,所提方法能在自适应系统不确定性的基础上,实现任意场景下的电力系统动态经济调度。     

基于深度强化学习的电动汽车实时调度策略

电动汽车(EV)作为一种分布式储能装置,对抑制功率波动有着巨大的潜力。考虑EV接入的随机性及可再生能源出力和负荷的不确定性,利用不基于模型的深度强化学习方法,建立了以最小功率波动及最小充放电费用为目标的实时调度模型。为满足用户的用电需求,采用充放电能量边界模型表征电动汽车的充放电行为。在对所提模型进行日前训练及参数保存后,针对日内每一时刻系统运行的实时状态量,生成该时刻充放电调度策略。最后以某微电网为例,验证了所提基于深度强化学习的调度方法在满足用户充电需求的前提下,可以有效减小微电网内的功率波动,降低EV充放电费用;日内不需要迭代计算,可以满足实时调度的要求。     

一种电池储能电站的经济优化调度策略

基于PQ解耦原理,提出了一种电池储能电站的经济优化调度策略。以总成本最低为优化目标,以电池自身条件和系统功率平衡为约束条件,建立了电池储能电站经济优化调度的数学模型。结合调度指令实施的具体流程,对模型进行了仿真,算例结果验证了文中提出的调度策略在储能电站中应用的可行性。     

基于深度强化学习的综合能源系统动态经济调度

综合能源系统的优化调度对于实现系统的多能互补和经济运行具有重要意义.然而,系统中可再生能源的间歇性以及用户用能需求的不确定性造成了系统中供需双方的随机波动,传统的调度方法难以准确地适应实际环境的动态变化.针对这一问题,提出了一种考虑可再生能源和负荷时变特性的综合能源系统动态经济调度方法.首先对综合能源系统动态经济调度问...     

风储联合发电系统中储能系统的优化调度和配置

文章提出一种风储联合发电系统中储能系统的优化调度和配置方法,该方法可以在保证电网正常运行的前提下提升储能系统的套利收益,同时降低电网运行过程中的损耗的净现值。该方法首先基于蒙特卡罗法对系统中风电和负荷状态进行建模,以储能系统运营收益最大化为目标制定储能系统的调度运计划。然后在确定储能调度计划的基础上利用灰狼优化算法对系统中风机和储能设备进行配置以降低电网运行过程中整体损耗的净现值。通过仿真验证,该方法可以在满足风储联合发电系统正常运行的前提下兼顾储能设备运行商和电网公司的利润,同时保证了电网的安全性和经济型。     

基于深度确定性策略梯度算法的配电网最优电压实时控制

随着光伏发电在配电网中的渗透率逐渐增大,在降低系统网损和全社会的碳排放量的同时,也导致了电压出现时段性越限等问题,而电压安全对配电网的稳定运行有重要意义。提出了一种基于深度确定性策略梯度（deep determi-nistic policy gradient,DDPG）算法的电压控制策略。研究了太阳能光伏逆变器在配电网无功电压优化中的作用;以配电网有功损耗最小化为目标函数,同时考虑到逆变器的无功补偿能力,提出了一种基于深度确定性策略梯度算法的配电网电压控制策略;利用修改后的IEEE33节点算例对所提策略的有效性进行验证,仿真结果表明：DDPG算法学习所得策略可以动态调节各光伏逆变器的无功输出,从而实现控制电压安全的目标,并且与调控前相比系统网络耗损减少了13.5%。     

光储系统储能电站的经济优化调度策略

光储联合发电系统中储能电站各电池组功率的分配,可直接影响其调度成本。针对传统等比例功率分配调度方案的不足,以一天内总调度成本最低为优化目标,搭建了考虑调度功率平衡、电池组荷电状态、功率和增量限值的调度成本模型,并利用基于杂交(遗传算法)的粒子群算法寻求最优分配方案。算例仿真结果证实,所提出的基于杂交的PSO算法较之传统算法,具有明显的优越性,避免了电池组的过充或过放现象,延长了储能电站的运行寿命和降低了电站的调度成本。     

面向储能电站调度的光储发电系统运行优化策略研究

光储联合发电系统的优化调度策略是实现光储联合发电系统经济及安全运行的重要保障,然而传统的经济优化调度模型并未考虑电池储能电站内部电池的有效管理。本文提出了一种经济优化调度策略,依据储能系统各电池组性能参数和运行状态,以储能系统运行一天总成本最低为优化目标,以系统平衡、荷电状态、功率限值和调度循环为约束条件,建立了经济优化调度数学模型,并应用改进粒子群算法进行求解。最后,算例仿真结果验证了改进粒子群算法的优越性和优化调度策略在光储联合发电系统中应用的可行性。