基于深度确定性策略梯度算法的配电网最优电压实时控制

随着光伏发电在配电网中的渗透率逐渐增大,在降低系统网损和全社会的碳排放量的同时,也导致了电压出现时段性越限等问题,而电压安全对配电网的稳定运行有重要意义。提出了一种基于深度确定性策略梯度（deep determi-nistic policy gradient,DDPG）算法的电压控制策略。研究了太阳能光伏逆变器在配电网无功电压优化中的作用;以配电网有功损耗最小化为目标函数,同时考虑到逆变器的无功补偿能力,提出了一种基于深度确定性策略梯度算法的配电网电压控制策略;利用修改后的IEEE33节点算例对所提策略的有效性进行验证,仿真结果表明：DDPG算法学习所得策略可以动态调节各光伏逆变器的无功输出,从而实现控制电压安全的目标,并且与调控前相比系统网络耗损减少了13.5%。     

基于深度强化学习的主动配电网高恢复力决策方法

随着全球极端天气事件频发,电力系统在极端自然灾害下恢复力的研究日益受到关注。本文提出基于深度强化学习的高恢复力决策方法,将极端灾害下配电网运行状态和线路故障状态作为观测状态集合,自学习智能体Agent在当前环境观测状态下寻求可行的决策策略进行动作,定义自学习Agent的回报函数以进行动作评价;采用观测状态数据,开展基于竞争深度Q网络(dueling deep Q network,DDQN)的深度强化学习(deep reinforcement learning,DRL)训练,智能体Agent通过试错学习方式选择动作,试错经验在估值函数Q矩阵中存储,实现状态到主动配电网实时故障恢复策略的非线性映射;最后结合改进的IEEE 33节点算例,基于蒙特卡罗法仿真随机故障场景,对所提出方法生成的故障恢复随机优化决策进行分析。结果表明:通过主动配电网的分布式电源、联络开关和可中断负荷的协调优化控制,可以有效提升极端灾害下供电能力。     

基于深度确定策略梯度算法的主动配电网协调优化

将新一代人工智能在智能电网和能源互联网中进行应用,实现高比例可再生能源及时有效接入电网,文中基于深度学习中的深度确定策略梯度(DDPG)算法实现主动配电网的优化运行。首先,构造了含多微电网的主动配电网优化模型的DDPG回报函数,使主动配电网的节点电压总偏差和线损最小,最大限度地降低微电网功率调节量的变化以减小对微电网运行的影响,同时维持联络线功率平衡以减小对配电网的影响。然后,分析了主动配电网优化控制的DDPG样本数据处理、回报函数设计、模型训练和学习过程。最后,通过改进IEEE 14节点算例仿真验证了DDPG算法的有效性。     

基于深度强化学习的配电网负荷转供控制方法

随着城市规模的快速扩张以及电能替代的不断推进,配电网节点数大量增加,结构愈加复杂,发生故障后拓扑变化不确定性较大,传统负荷转供方法难以在短时间内给出高质量的解决方案。为此,提出基于深度强化学习的配电网负荷转供控制方法。将负荷转供过程视为一个马尔可夫决策过程,与配电网实时电气、拓扑数据进行交互,对联络开关与分段开关进行控制。为了提高算法的精度与泛化能力,针对算法动作策略加入了预模拟机制,调整了动作与学习的比例并采用自适应优化算法进行求解。算例分析表明,所提方法能够应对不同故障下配电网的拓扑变化,即时给出负荷恢复量、电网损耗、开关动作次数多方面最优的转供控制方案,这对于减小故障后的停电损失与提高用户满意度有着重要意义。     

基于大数据深度强化学习的交流配电网稳定性控制研究

并网与孤网运行模式下交流配电网易发生电能供应波动,导致电网可靠性降低。以大数据为背景提出基于深度强化学习的稳定性控制方法。采用状态、动作、状态转移概率与状态转移回报组成四元组,构建深度强化学习过程。利用值函数法实现智能体的深度强化学习。根据dq轴旋转坐标系,建立无功功率控制构架,将无功参考值添加到前馈项,优化闭环传递函数,构建配电网稳定性的优化控制模型。搭建交流配电网仿真模型,探讨并网与孤网运行模式下的稳定性控制效果。实验结果表明：并网运行模式下,交流负载的消耗功率突增时,光伏电池板的输出功率由150 kW升高至175 kW,以达到均衡光照强度干扰的目的;孤网运行模式下,负载消耗功率发生突变时,光伏电池板的输出功率由175 k W降低至100 kW。验证了该方法可有效控制交流配电网的供电稳定性。     

基于深度强化学习的配电网实时电压优化控制方法

大规模分布式电源的接入使得配电网电压优化控制策略与传统配电网差异较大。针对就地控制中光伏逆变器调压之间缺乏协同的问题,该文提出了一种基于多智能体深度强化学习的配电网实时电压控制方法。首先根据电压控制模型设计了部分可观测的马尔科夫决策过程,然后采用多智能体双延迟深度确定性策略梯度算法求解,根据中心化训练、分散式执行的框架实现光伏逆变器的无功协同控制。该方法能智能决策各个逆变器的无功调节量,且能够根据源荷的随机变化实时给出电压控制策略,具有较好的实时性和控制经济性。最后通过仿真算例验证了所提方法的有效性。     

基于图强化学习的配电网故障恢复决策

针对配电网拓扑变化时启发式等算法在配电网故障恢复决策中求解效果与适应性变差的问题,提出了一种基于图强化学习的故障恢复决策方法。首先,利用图数据表征故障恢复中的决策信息,包括配电网拓扑结构与电气特征信息。然后,在图强化学习模型中设置前置图神经网络接收图数据输入,应对故障恢复过程中配电网的拓扑变化。最后,由内嵌图神经网络的强化学习智能体输出最终故障恢复策略以提高决策速度。采用改进的PG&E 69节点配电网算例进行验证,结果表明所提算法求解速度达到毫秒级,较启发式和遗传算法在求解效率上提高了6%～7%,故障恢复策略的负荷恢复率也更高。     

基于深度强化学习的配电网多时间尺度在线无功优化

含分布式电源的配电网存在潮流建模不精确、通信条件差、各无功补偿设备难以协调等问题,给配电网在线无功优化带来了挑战.文中采用深度强化学习方法,提出了一种多时间尺度配电网在线无功优化运行方案.该方案将配电网在线无功优化问题转化为马尔可夫决策过程.鉴于不同无功补偿设备的调节速度不同,设计2个时间尺度分别对离散调节设备和连续调...     

基于深度确定性策略梯度的主动配电网有功-无功协调优化调度

为了实现主动配电网(active distribution network, ADN)的有功-无功资源协调控制,提高配电系统供电可靠性及经济性,提出一种基于深度确定性策略梯度(deep deterministic policy gradient, DDPG)的ADN有功-无功协调优化调度策略。首先,在避免电压和潮流越限的情况下,以ADN日运行成本最小为目标,计及可投切电容器组、有载调压变压器、微型燃气轮机和能量储存系统构建ADN有功-无功协调调度模型。其次,将ADN实时调度问题转化成马尔科夫决策过程,并定义系统的状态空间、动作空间及奖励函数。然后,为提升深度确定性策略梯度的离线训练速度和奖励回报,在算法中加入优先经验回放(priority experience replay, PER)机制,并搭建了基于优先经验回放机制的深度确定性策略梯度(PER-DDPG)ADN在线调度框架。最后,在修改的IEEE-34节点配电系统上进行仿真,算例结果表明,PER-DDPG方法通过高效的经验学习,能够为ADN提供安全、经济的调度策略。     

基于网络等效的配电网快速供电恢复策略并行化实现

现代智能配电网在故障后可以调度需求侧的"灵活源"实现快速供电恢复。针对智能配电网的特点,提出了一种基于网络等效和并行化实现的快速供电恢复策略,能够灵活地利用电网资源以应对不同的失电情况。算法将支援线路等效为电源节点(称为等效源点),采用离线等效源点预存储与实时等效源点并行计算相结合的模式:保存并优先使用离线数据;在失电负荷较大时,调取实时数据对不同的调度可能进行并行计算。为进一步提升算法的时效性,利用改进邻接矩阵记录和维护电网拓扑结构,实现网络的高效重构。通过若干个算例,验证了该供电恢复策略在面对不同程度失电时均能合理高效地运用电网的各类支援资源,实现快速供电恢复。     

基于分层供电树的配电网供电恢复算法

充分利用配电网辐射运行的特点,将问题转化为供电树分层问题。通过对供电树进行分层,减少了搜索空间,从而大大降低了问题复杂度。为提高供电恢复速度,将问题分为离线计算和在线计算两部分,通过离线计算所得到的数据可以减少在线计算时的搜索空间,提高了在线计算的搜索速度,有效满足了供电恢复的实时性。算例计算说明该算法是高效可行的。     

计及故障供电恢复策略的主动配电网电源规划

主动配电网的核心在于主动管理,在规划阶段综合考虑运行管理策略的影响,有利于提高主动配电网规划结果的适用性。为此,考虑到主动配电网具有分层分布管理的特性,采用故障下游静态分区划分孤岛运行以实现故障供电恢复。同时提出了基于蒙特卡洛模拟计算停电损失费用的方法,以衡量主动配电网是否具有故障供电恢复能力对其可靠性的影响。考虑正常与故障状态下的两种控制策略,提出一种主动配电网电源规划双层优化模型。上层以综合成本净现值最小为目标,其中包含了停电损失计算,下层模拟正常运行状态下全局优化控制获得最优潮流。经仿真实例验证,引入停电损失费用并且考虑供电故障恢复策略的规划模型能保证规划后主动配电网的可靠性,进而整体地提升了主动配电网规划方案的经济性,具有较强的实用性及可推广性。     

基于强化学习的灾后配电网应急抢修决策方法

灾后故障配电网的应急抢修及重构需求,面临着灾情的不确定性、多抢修队调配特性、抢修与重构耦合等多个挑战。本文基于强化学习构建了灾后多抢修队的抢修调配模型,设计了状态粗筛机制以固定强化学习状态及动作空间大小,搭建了配电网抢修恢复测试环境。在不同恢复模式、多个故障场景下的测试结果表明：强化学习在提出的多个评价指标下综合表现稳定,可以作为灾后动态抢修的可选方案。     

智能配电网条件下的网络重构与供电恢复探讨

配电网络重构和供电恢复是配电网运行控制的重要技术手段。分析了智能配电网条件下网络重构和供电恢复面临的主要技术挑战,提出6项重点技术需求,对各项技术需求的研究思路和重点研究方向进行了分析,以期为今后相关研究提供一定参考。     

计及可控负荷参与的主动配电网动态恢复供电策略

针对传统基于单时间断面的恢复供电策略难以长时间保持负荷恢复期间的电气孤岛稳定运行问题,提出了一种主动配网多时段动态恢复供电策略。通过引入可控负荷,提高了电网重建的效率和恢复期间负荷的运行稳定性。此外,针对主动配电网负荷动态恢复模型变量过多、难以求解的问题,提出一种启发式孤岛动态调整算法。仿真结果验证了所提策略的可行性和优越性。     

多时间尺度的配电网深度强化学习无功优化策略

随着高比例分布式电源的接入,配电网在应对源荷不确定性和协调多种无功补偿设备等方面面临较大挑战。该文提出一种基于优化数学模型与数据驱动方法相结合的配电网多时间尺度电压调节策略。该策略首先针对长时间尺度调节的有载调压变压器和电容器组,以最小化有功功率损耗为目标,建立基于混合整数二阶锥规划的日前无功电压优化模型。其次,为满足短时间尺度调度对于实时性的要求,提出一种基于多智能体强化学习的日内实时调度方法,将实时无功优化问题转化为马尔科夫博弈过程,并采用集中训练、分散执行框架。与传统方法相比,该方法通信开销低、实时性强并且不依赖于精确的潮流模型。最后,通过IEEE 33节点算例验证所提策略的有效性。     

基于深度确定性策略梯度算法的风光储系统联合调度策略

针对风光储联合系统的调度问题,提出了一种基于深度强化学习的风光储系统联合调度模型。首先,以计划跟踪、弃风弃光以及储能运行成本最小为目标,建立了充分考虑风光储各个场站约束下的联合调度模型。然后,定义该调度模型在强化学习框架下的系统状态变量、动作变量以及奖励函数等,引入了深度确定性策略梯度算法,利用其环境交互、策略探索的机制,学习风光储系统的联合调度策略,以实现对联合系统功率跟踪,减少弃风弃光以及储能充放电。最后,借用西北某地区风电、光伏、跟踪计划的历史数据对模型进行了训练和算例分析,结果表明所提方法可以较好地适应不同时期的风光变化,得到在给定风光下联合系统的调度策略。     

基于约束型深度强化学习的主动配电网电压控制策略

随着分布式电源与随机性负荷的大量接入,配电网的电压波动问题变得愈发严重。主动配电网能通过各种电压无功控制器平抑电压波动,但通常需要求解一个复杂的混合整数二阶锥规划问题,难以做到实时控制。文中利用深度强化学习建立了一个主动配电网实时电压控制模型,能快速得到满足潮流约束的控制策略。采集节点有功、节点无功、设备档位、时间步作为环境状态变量;以和网损及设备操作相关的费用作为回报函数来协调三个控制设备;通过基于长短时记忆网络的约束型强化学习来求解,从而建立主动配电网实时电压控制模型。基于4节点测试系统和IEEE-33节点测试系统进行了仿真,仿真结果表明,所提的深度强化学习方法能确保潮流约束,电压控制模型能实时控制电压无功控制器,以保证配电网的电压质量。     

基于图注意力网络的配电网故障定位方法

基于人工智能的电网故障诊断技术已经有了大量的研究成果,但配电网拓扑变化频繁,而传统人工智能方法高度依赖训练数据,给配电网的故障定位问题带来了困难.提出了一种基于图注意力网络(graph attention network,GAT)的配电网故障定位方法.将配电网的电气节点和线路映射为图注意力网络中图的顶点和边,根据相邻顶...     

计及供电—供水系统耦合关系的配电网故障恢复优化决策方法

在大停电事故后,协同利用本地分布式电源为关键负荷恢复供电是提升配电网韧性的有效措施.供电系统与供水系统是城市中2种具有密切耦合关系的生命线设施,若在制定恢复策略时对上述耦合关系考虑不足,会影响生命线设施的正常运转.首先挖掘了极端事件下配电网与配水网的耦合关系,在此基础上,以最大化电、水关键负荷恢复数目为目标,考虑配电网...