基于深度强化学习的配电网多时间尺度在线无功优化

含分布式电源的配电网存在潮流建模不精确、通信条件差、各无功补偿设备难以协调等问题,给配电网在线无功优化带来了挑战.文中采用深度强化学习方法,提出了一种多时间尺度配电网在线无功优化运行方案.该方案将配电网在线无功优化问题转化为马尔可夫决策过程.鉴于不同无功补偿设备的调节速度不同,设计2个时间尺度分别对离散调节设备和连续调...     

配电系统双时间尺度电压管理的深度强化学习方法

随着可再生能源发电渗透率的不断增大,配电系统的电压越限问题愈发频繁,亟需高效的电压管理策略以保证配电系统的安全经济运行。首先,文中建立了双时间尺度的配电系统电压管理模型,实现不同时间响应特性的调压设备协调控制。然后,将2个时间尺度的电压管理模型建模为马尔可夫决策过程,在有效考虑两者的时间耦合关系和可控设备物理特性的基础上,分别利用多智能体深度确定性策略梯度算法和双深度Q网络算法求解模型,实现了双时间尺度的实时电压管理。最后,基于IEEE 33节点配电系统进行算例分析,验证了所提模型和方法的有效性。     

基于深度强化学习的配电网实时电压优化控制方法

大规模分布式电源的接入使得配电网电压优化控制策略与传统配电网差异较大。针对就地控制中光伏逆变器调压之间缺乏协同的问题,该文提出了一种基于多智能体深度强化学习的配电网实时电压控制方法。首先根据电压控制模型设计了部分可观测的马尔科夫决策过程,然后采用多智能体双延迟深度确定性策略梯度算法求解,根据中心化训练、分散式执行的框架实现光伏逆变器的无功协同控制。该方法能智能决策各个逆变器的无功调节量,且能够根据源荷的随机变化实时给出电压控制策略,具有较好的实时性和控制经济性。最后通过仿真算例验证了所提方法的有效性。     

基于双状态评估器与深度强化学习的配电网无功优化

本文将“深度强化学习”引入配电网无功优化,提出了基于双状态评估器与深度强化学习的配电网无功优化方法。首先提出了一种配电网融合特征的提取方法,从配电网运行数据中提取统计特征,然后将统计特征与历史控制策略作为输入,网损与电压偏差分别作为输出,训练了网损评估器与电压偏差评估器。将无功优化问题转化为一个多步马尔科夫决策过程,以最小化网损和电压偏差之和为目标函数,以无功补偿设备的动作指令为策略,并采用基于Double DQN的深度强化学习算法进行求解。对改造后的IEEE 37节点配电网进行无功优化控制实验。结果表明,本文方法有效降低了节点电压偏移和网络损耗,他与配电网系统的模型和参数无关,在线决策速度快,可以实现在线无功优化控制,提高配电网运行经济性。     

基于约束型深度强化学习的主动配电网电压控制策略

随着分布式电源与随机性负荷的大量接入,配电网的电压波动问题变得愈发严重。主动配电网能通过各种电压无功控制器平抑电压波动,但通常需要求解一个复杂的混合整数二阶锥规划问题,难以做到实时控制。文中利用深度强化学习建立了一个主动配电网实时电压控制模型,能快速得到满足潮流约束的控制策略。采集节点有功、节点无功、设备档位、时间步作为环境状态变量;以和网损及设备操作相关的费用作为回报函数来协调三个控制设备;通过基于长短时记忆网络的约束型强化学习来求解,从而建立主动配电网实时电压控制模型。基于4节点测试系统和IEEE-33节点测试系统进行了仿真,仿真结果表明,所提的深度强化学习方法能确保潮流约束,电压控制模型能实时控制电压无功控制器,以保证配电网的电压质量。     

多时间尺度的配电网深度强化学习无功优化策略

随着高比例分布式电源的接入,配电网在应对源荷不确定性和协调多种无功补偿设备等方面面临较大挑战。该文提出一种基于优化数学模型与数据驱动方法相结合的配电网多时间尺度电压调节策略。该策略首先针对长时间尺度调节的有载调压变压器和电容器组,以最小化有功功率损耗为目标,建立基于混合整数二阶锥规划的日前无功电压优化模型。其次,为满足短时间尺度调度对于实时性的要求,提出一种基于多智能体强化学习的日内实时调度方法,将实时无功优化问题转化为马尔科夫博弈过程,并采用集中训练、分散执行框架。与传统方法相比,该方法通信开销低、实时性强并且不依赖于精确的潮流模型。最后,通过IEEE 33节点算例验证所提策略的有效性。     

基于深度强化学习的配电网负荷转供控制方法

随着城市规模的快速扩张以及电能替代的不断推进,配电网节点数大量增加,结构愈加复杂,发生故障后拓扑变化不确定性较大,传统负荷转供方法难以在短时间内给出高质量的解决方案。为此,提出基于深度强化学习的配电网负荷转供控制方法。将负荷转供过程视为一个马尔可夫决策过程,与配电网实时电气、拓扑数据进行交互,对联络开关与分段开关进行控制。为了提高算法的精度与泛化能力,针对算法动作策略加入了预模拟机制,调整了动作与学习的比例并采用自适应优化算法进行求解。算例分析表明,所提方法能够应对不同故障下配电网的拓扑变化,即时给出负荷恢复量、电网损耗、开关动作次数多方面最优的转供控制方案,这对于减小故障后的停电损失与提高用户满意度有着重要意义。     

基于深度确定性策略梯度算法的配电网最优电压实时控制

随着光伏发电在配电网中的渗透率逐渐增大,在降低系统网损和全社会的碳排放量的同时,也导致了电压出现时段性越限等问题,而电压安全对配电网的稳定运行有重要意义。提出了一种基于深度确定性策略梯度（deep determi-nistic policy gradient,DDPG）算法的电压控制策略。研究了太阳能光伏逆变器在配电网无功电压优化中的作用;以配电网有功损耗最小化为目标函数,同时考虑到逆变器的无功补偿能力,提出了一种基于深度确定性策略梯度算法的配电网电压控制策略;利用修改后的IEEE33节点算例对所提策略的有效性进行验证,仿真结果表明：DDPG算法学习所得策略可以动态调节各光伏逆变器的无功输出,从而实现控制电压安全的目标,并且与调控前相比系统网络耗损减少了13.5%。     

结合数据驱动与物理模型的主动配电网双时间尺度电压协调优化控制

高比例电动汽车、分布式风电、光伏接入配电网,导致电压频繁地剧烈波动。传统调压设备与逆变器动作速度差异巨大,如何协调是难点问题。该文结合数据驱动与物理建模方法,提出一种配电网双时间尺度电压协调优化控制策略。针对短时间尺度（min级）电压波动,以静止无功补偿器、分布式电源无功功率为决策变量,以电压二次方偏差最小为目标函数,针对平衡与不平衡配电网,基于支路潮流方程,计及物理约束构建了二次规划模型。针对长时间尺度（h级）电压波动,以电压调节器匝比、可投切电容电抗器挡位、储能系统充放电功率为动作,当前时段配电网节点功率为状态,节点电压二次方偏差为代价,构建了马尔可夫决策过程。为克服连续-离散动作空间维数灾,提出了一种基于松弛-预报-校正的深度确定性策略梯度强化学习求解算法。最后,采用IEEE 33节点平衡与123节点不平衡配电网验证了所提出方法的有效性。     

基于多智能体深度强化学习的配电网无功优化策略

配电网中光伏、风机设备出力随机波动以及负荷波动带来的电压波动、网损增加等问题,给配电网在线无功优化带来了挑战.本文采用一种无模型的深度确定性策略梯度(MADDP G)算法多智能体强化学习框架,采用集中训练、分散执行的方式解决无功优化问题.MADDP G算法将每一个智能体当作一个行动者(Actor),在离线训练过程中每个...     

基于Fisher最优分割法的配电网多时间尺度无功优化

分布式电源在配电网中的渗透率不断提升,而源荷的预测精度与时间尺度成反比,源荷的波动已成为制约配电网安全经济运行的重要因素。鉴于此,提出日前与日内相结合的多时间尺度无功优化方法,利用Fisher最优分割法对离散无功补偿设备进行动作时段划分,在日内对日前连续无功补偿设备的无功出力进行实时校正以应对源荷的波动性。通过IEEE 33节点系统验证了所提优化策略的有效性。     

基于电压趋危系数的配电网多时间尺度自适应无功电压控制

高比例分布式光伏接入配电网后,源荷不匹配可能会导致电压越限。在电压偏差量和电压波动量基础上,定义了评估配电网不同运行场景的电压趋危系数(voltage tendency coefficient, VTC),提出了基于电压趋危系数的多时间尺度自适应无功电压控制方法。在长时间尺度下,构建了以经济性和安全性满意度最优为目标的日前优化调度策略;在短时间尺度下,通过电压趋危系数动态修正传统下垂控制的固定斜率,以释放光伏逆变器无功裕度。同时,在短时间尺度优化控制中加入对长时间尺度的反馈校正环节。通过算例系统进行仿真,验证了提出的无功电压控制方法的有效性。     

计及光伏多状态调节能力的配电网多时间尺度电压优化

随着分布式电源的渗透率逐渐增大,其本身所具有的波动性和不确定性给配电网的电能质量及其稳定性带来了巨大挑战.考虑配电网在现有慢动作调节设备难以满足无功电压调节需求的情况下,将改善因光伏随机波动性所引发的电压偏差和波动作为优化目标,提出了一种考虑分布式光伏多运行状态调节能力与传统无功调节设备相协调的配电网多时间尺度无功电压...     

主动配电网分布式混合时间尺度无功/电压控制

利用光伏逆变器进行配电网无功/电压控制(VVC)可以降低系统网损,提高系统运行安全性.随着配电网规模与运行工况的日益庞大与复杂,传统的集中式VVC与分散式VVC在响应灵活性与决策最优性方面的不足愈加凸显.鉴于此,提出了分布式混合时间尺度VVC(DHT-VVC)策略,其通过分布式优化框架对光伏逆变器的分钟级调度与实...     

配电网时变无功电压优化方法

为降低电能损耗、提高功率因数和保证终端用户的电压质量,针对考虑负荷变化时配电网补偿调压设备的优化控制问题,提出了完整的模型及求解算法。根据系统负荷曲线变化趋势,提出按单调性初步分段进而采用融合的思想使分段数满足补偿调压装置的动作次数约束。应用粒子群优化算法从整体上获得系统一天内的电容器组及有载调压变压器分接头的最优运行方式。算例分析结果表明,这种分段处理方法不仅考虑了负荷的周期变化,而且使控制方案更为简洁、有效。     

配电网时变无功电压优化方法

为降低电能损耗、提高功率因数和保证终端用户的电压质量，针对考虑负荷变化时配电网补偿调压设备的优化控制问题，提出了完整的模型及求解算法。根据系统负荷曲线变化趋势，提出按单调性初步分段进而采用融合的思想使分段数满足补偿调压装置的动作次数约束。应用粒子群优化算法从整体上获得系统一天内的电容器组及有载调压变压器分接头的最优运行方式。算例分析结果表明，这种分段处理方法不仅考虑了负荷的周期变化，而且使控制方案更为简洁、有效。     

基于深度强化学习近端策略优化的电网无功优化方法

新能源和负荷波动给无功优化带来更大的挑战。考虑新能源和负荷时变特性,将无功优化问题构建成强化学习问题。提出了约束–目标划分和目标预设的方法设计奖励函数,并采用近端策略优化算法求解强化学习问题,获得无功优化策略。以改进的IEEE39系统开展案例分析,结果表明所提的奖励函数能提高智能体收敛速度,基于强化学习求解的无功优化策略在决策效果和决策时间上优于传统确定性优化算法。     

自储能柔性互联配电网多时间尺度电压优化

为解决高渗透率分布式电源引起的电压越限问题,计及慢速调节设备特性和储能荷电状态的时序连续性,提出了自储能柔性互联配电网多时间尺度电压优化模型.日前优化求解慢速调节设备挡位并给出储能日内运行的功率限制区间,日内优化以此为基础求得各时段储能及柔直端口优化出力.基于电压越限检测实时调节各端口出力,以缩短过/欠电压持续时间.针...     

计及光伏出力不确定性的配电网混合时间尺度无功/电压控制策略

针对大量光伏接入配电网造成的诸如网损增加、电压波动和越限等调压方面的问题,该文提出一种日前无功/电压优化控制与实时自治控制相结合的混合时间尺度无功/电压控制方法。在日前时间尺度上,构建了以期望网损、电压偏移以及电压越限风险为目标,综合考虑变压器有载分接头和电容器组动作,以及光伏逆变器无功发生能力约束的不确定优化模型,为高效求解无功动态优化这一高维度的混合整数非线性规划问题,提出一种基于概率潮流的松弛-聚类-校正动态无功优化解耦求解方法;在实时时间尺度上,以日前优化控制结果为运行基准点,推导出逆变器无功出力调节增量与光伏实时出力预测误差之间的近似关系,融合日前时间尺度的电压灵敏度信息构建了仅依赖本地实时信息的实时自治控制策略。通过改进的IEEE 33系统进行仿真分析,验证了所提无功/电压控制策略的有效性。