基于深度强化学习组合优化的配电网拓扑控制研究

基于深度强化学习的配电网故障恢复拓扑控制策略,文章首先设计配电网拓扑状态表征和决策动作规则支撑组合优化求解;其次,利用改进指针网络结构配合深度强化学习算法实现适用于多类故障恢复策略的模型自学习和端到端计算;最后,通过改进掩码机制降低探索求解复杂度进而提升训练学习效率。通过在预设条线路上随机设置故障组合,在单一和混合初始状态样本集上验证文章提出的改进机制和模型计算有效性,以期为深度学习技术在配电网运行方式优化研究提供有效参考。     

基于负荷恢复价值折算的主动配电网电力-通信故障统一修复策略

极端灾害下,先修复电力网络的传统配电网修复策略,难以发挥信息物理融合主动配电网（ADN）的调度自动化功能,导致系统弹性低。针对该问题,提出一种电力-通信故障统一修复策略。首先,定义度量弹性的故障恢复力指标,并基于信息盲区分析通信系统对故障恢复过程的影响;然后,提出基于故障概率的负荷恢复价值折算方法,量化电力和通信故障修复带来的负荷恢复;在此基础上,建立含负荷恢复价值折算值和故障恢复时间的抢修任务分配目标函数,生成统一修复任务分配方案。算例仿真结果表明,与先修复电力网络相比,在极端灾害情况下所提策略可有效提升ADN弹性。     

基于深度强化学习的城市配电网多级动态重构优化运行方法

随着配电网分布式电源的大量接入以及城市区域负荷的快速发展,使得配电网运行环境愈发复杂。同时由于配电网重构涉及大量的开关状态二进制零散变量,现有优化方法很难求解大规模城市配电网重构问题。基于此,提出一种基于深度强化学习的城市配电网多级动态重构方法。首先,建立基于深度学习的配电网多级重构快速判断模型,通过该模型实现对重构级别在线决策,并对智能体动作空间进行降维。其次,使用含参数冻结和经验回放机制的深度Q网络对预测负荷、光伏能源输出功率等环境信息进行学习。以运行成本、电压偏移度以及负荷均衡度最优为目标,通过习得的策略集对配电网进行动态重构与运行优化。建立多智能体强化学习模型,对各个时段的不同重构主体进行联合优化。最后,通过算例分析验证了所提方法的有效性。     

考虑通信影响的配网恢复力评估及提升措施研究

配电网恢复力是指系统应对极端灾害时受扰后的恢复能力,是评估弹性配电网的重要指标之一。为了加强极端灾害下对配电网恢复力的正确评估,探讨了考虑通信故障影响的配电网恢复力评估技术及提升措施。首先,确定了以缺失面积作为配电网恢复力的评价指标,并以通信正常和通信故障两种状态下恢复力的差异定义为通信系统对配电网恢复力的影响,针对通信系统故障场景,分别从考虑负荷重要程度和随机选择修复路径两种极端灾后配电网恢复措施评估配电网的恢复力;其次,从灾前预防、网架重构和灾后抢修3方面提出了配电网恢复力的提升措施。以IEEE 33节点系统为例验证了本文所提评价指标的合理性及配电网恢复力提升措施的有效性。     

基于图注意网络与深度确定性策略梯度的三相主动配电网供电恢复方法

配电服务恢复作为一种基本韧性范式，提供了一种优化协调的韧性解决方案，通过极端事件后配电网的供电恢复实现韧性提升。该文根据三相不平衡配电系统的网络特点，利用图注意网络对Actor-Critic架构的深度强化学习进行改造，通过增加网络拓扑特征提高其对不平衡配电系统的学习能力，提出一种基于图深度强化学习的三相不平衡主动配电网供电恢复新方法。该方法将配电网的动态供电恢复问题设计为一种新颖的马尔科夫决策过程，在此过程中不断产生样本数据并根据所提出的图深度强化学习算法对智能体进行训练，通过优化协调多个微电网以实现配电网动态供电恢复，其性能在IEEE37节点和IEEE123节点配电系统中得到了验证。     

电动汽车充电控制的深度增强学习优化方法

随着用电信息采集系统的广泛推广,数据驱动的机器学习方法在电力系统优化运行领域的应用已引起广泛关注。该文基于电网在线运行状态数据采集,采用竞争深度Q网络(dueling deep Q network,DDQN)结构的深度增强学习方法开展电动汽车充电控制优化。首先选取观测状态与执行动作,定义状态动作估值函数,其次针对动作和状态维度上的绝对数值相差过大的问题,采用DDQN的Q函数,引入ε-greedy策略、记忆存储单元以及批量梯度下降法进行神经网络的分层学习,然后基于DDQN训练后的神经网络,开展电动汽车充电控制的深度增强学习优化。最后,结合IEEE33节点扩展算例说明所提电动汽车充电控制优化方法在满足各类用户出行的充电需求条件下,实现合理消纳可再生能源发电。     

基于双状态评估器与深度强化学习的配电网无功优化

本文将“深度强化学习”引入配电网无功优化,提出了基于双状态评估器与深度强化学习的配电网无功优化方法。首先提出了一种配电网融合特征的提取方法,从配电网运行数据中提取统计特征,然后将统计特征与历史控制策略作为输入,网损与电压偏差分别作为输出,训练了网损评估器与电压偏差评估器。将无功优化问题转化为一个多步马尔科夫决策过程,以最小化网损和电压偏差之和为目标函数,以无功补偿设备的动作指令为策略,并采用基于Double DQN的深度强化学习算法进行求解。对改造后的IEEE 37节点配电网进行无功优化控制实验。结果表明,本文方法有效降低了节点电压偏移和网络损耗,他与配电网系统的模型和参数无关,在线决策速度快,可以实现在线无功优化控制,提高配电网运行经济性。     

基于恢复力约束的分布式储能优化规划

提出基于恢复力约束的分布式储能优化规划方法,以保证重要用户的恢复力为前提条件,采用双层耦合规划模型。内层模型在满足电网运行的潮流约束下,灵活地控制重要用户侧分布式储能参与需求侧响应,实现用电成本与动作频次最小的目标,采用竞争深度Q网络（dueling deep Q network, DDQN）结构的深度增强学习方法进行求解,内层模型将分布式储能响应策略传递给外层模型;外层模型进一步基于重要用户的恢复力约束和投资收益校核分布式储能的配置方案,通过双层优化耦合反馈,最终实现基于恢复力约束的分布式储能优化规划。通过分时电价引导分布式储能等重要互动资源参与配电网的优化运行,保证重要用户电力供应连续性的同时给用户明显的投资收益。最后以某10 kV变电站的重要用户储能优化配置为例,分析了所提方法的有效性。     

梯级水库深度强化学习长期随机优化调度研究

梯级水库调度相较于单库调度状态空间呈指数级增大,为解决基于表格的强化学习方法在解决梯级水库长期随机优化调度问题时面临的维数灾问题,提出采用深度强化学习中的深度Q网络算法求解。首先基于Copula函数分析梯级水库随机入库径流的联合分布函数;再根据时序差分思想分别建立目标神经网络和主神经网络,分别逼近当前和下一状态对应的动作状态价值,并采用ε-贪婪探索利用策略获取最优调度策略;最后将主要参数分步调优保障调度效益。算例对比表明,深度Q网络算法相较于Q学习算法及其改进算法提升了优化调度目标值,加快收敛速度,有效解决了梯级水库随机优化调度中的维数灾问题。     

基于图强化学习的配电网故障恢复决策

针对配电网拓扑变化时启发式等算法在配电网故障恢复决策中求解效果与适应性变差的问题,提出了一种基于图强化学习的故障恢复决策方法。首先,利用图数据表征故障恢复中的决策信息,包括配电网拓扑结构与电气特征信息。然后,在图强化学习模型中设置前置图神经网络接收图数据输入,应对故障恢复过程中配电网的拓扑变化。最后,由内嵌图神经网络的强化学习智能体输出最终故障恢复策略以提高决策速度。采用改进的PG&E 69节点配电网算例进行验证,结果表明所提算法求解速度达到毫秒级,较启发式和遗传算法在求解效率上提高了6%～7%,故障恢复策略的负荷恢复率也更高。     

基于约束型深度强化学习的主动配电网 电压控制策略

随着分布式电源与随机性负荷的大量接入,配电网的电压波动问题变得愈发严重。主动配电网能通过各种电压无功控制器平抑电压波动,但通常需要求解一个复杂的混合整数二阶锥规划问题,难以做到实时控制。文中利用深度强化学习建立了一个主动配电网实时电压控制模型,能快速得到满足潮流约束的控制策略。采集节点有功、节点无功、设备档位、时间步作为环境状态变量;以和网损及设备操作相关的费用作为回报函数来协调三个控制设备;通过基于长短时记忆网络的约束型强化学习来求解,从而建立主动配电网实时电压控制模型。基于4节点测试系统和IEEE-33节点测试系统进行了仿真,仿真结果表明,所提的深度强化学习方法能确保潮流约束,电压控制模型能实时控制电压无功控制器,以保证配电网的电压质量。     

基于堆叠自编码网络的风电机组发电机状态监测与故障诊断

为实现风力发电机的异常检测分析,提出了一种基于风电机组发电机正常状态下数据采集与监控(SCADA)样本数据的堆叠自编码网络深度学习方法。首先将多个自编码网络连接构成深度堆叠自编码网络,选取发电机SCADA状态变量数据作为网络的训练输入,使网络逐层智能提取数据间的分布式规则,从而构建发电机的堆叠自编码学习模型。依据故障状态下发电机SCADA数据内部动态平衡规则被破坏,利用发电机深度学习网络的输入与重构值计算重构误差,并作为整体状态的观测量。通过采用自适应阈值检测重构误差的状态趋势变化,并作为异常预警判定准则,从而实现对发电机故障的判定。当发电机发生异常时,变量的实际值与对应模型的重构值发生较大偏差,表现为状态变量的残差趋势将会偏离原有的动态稳定状态。因此利用状态变量的残差趋势变化对异常变量进行隔离,判定可能的故障原因达到故障诊断的目的。通过对发电机故障前后记录数据进行仿真分析,结果验证了堆叠自编码网络深度学习方法对发电机状态监测与故障诊断的有效性。     

极端天气下智能配电网的弹性评估

近年来受极端天气的影响,配电网大范围停电事故率不断上升,能够防御自然灾害、减小停电事故影响的弹性配电网引起了人们的重视。为了更好地评估配电网应对极端灾害的弹性,文中提出了一种智能配电网弹性评估方法。首先,建立了极端天气下的故障模型用以量化极端天气对配电网的影响。其次,针对极端天气的随机性,文中通过蒙特卡洛法模拟极端天气场景并采用K-means聚类算法对场景进行缩减,根据脆弱性曲线可以得到配电网各支路的时变故障率。考虑到负荷、可再生能源出力的不确定性,采用拉丁超立方抽样抽取负荷、可再生能源出力和配电网故障场景对配电网进行弹性评估。然后,为了全面准确地反映含分布式电源的配电网弹性,将配电网遭受自然灾害时分为防灾和减灾2个阶段,并基于此构建了包括配电网防御时间、弹性恢复系数、孤岛可持续时间覆盖率和重要负荷平均中断时间在内的弹性评估指标体系。最后,对一包含2条馈线的实际配电系统的弹性进行仿真评估,并考虑了电力线路类型、光伏渗透率和联络线对配电网弹性的影响,验证了所提评估方法的有效性。     

基于深度强化学习的微能源系统优化调度

微能源系统是城市配网终端的重要聚合部分,其应对源荷随机特性的能力为城市配网稳定运行提供了有效支撑。针对城市工业园微能源系统提出一种考虑源荷随机波动的动态调度方法。考虑工业园多种可调度资源对微能源系统的经济调度构建数学模型,然后将构建的微能源系统经济调度模型表示为具有连读动作调节的深度强化学习（DRL）模型,最后采用双延迟深度确定性策略梯度算法获取DRL模型下的动态连续调度策略。所提方法不仅避免对源荷随机波动的不确定性进行建模,同时也避免了离散Q学习的可调节设备出力不连续性。仿真结果表明所提出的动态调度方法具有更好的经济性和自适应性。     

面向配电网弹性提升的多时间尺度恢复策略协调优化框架

针对小概率、高损失极端灾害事件对配电网安全稳定运行的影响,提出了一种面向配电网弹性提升的多时间尺度恢复策略协调优化框架.首先,针对检修人员调度问题,建立考虑极端灾害下时间不确定性的故障修复模型.其次,在配电网三相不平衡运行条件下,构建结合分布式电源和联络开关进行网络重构的负荷恢复模型.然后,以故障元件修复状态作为耦合变量,基于上述2种不同时间尺度的模型构建协调优化框架,并建立两阶段鲁棒优化模型采用列约束生成方法进行迭代求解.最后,考虑检修人员时间不确定性、多种恢复策略关联性以及求解时间步长等因素构建不同场景,通过算例验证了所提模型及求解方法的有效性.     

灾害全过程配电网弹性评估方法及提升策略

针对极端灾害下配电网的故障特点,提出一种考虑其全过程的配电网弹性评估方法以及针对各阶段的弹性提升策略。首先,提出事故抵御方案、故障抢修与网络重构的故障恢复方案,建立灾害全过程配电网弹性提升策略框架。其次,为能够准确评估灾害全过程中配电网的供电能力,提出考虑时变性的3个弹性评估指标。再次,在事故抵御和故障恢复阶段的弹性提升策略中建立考虑风储及负荷的时变模型,并采用二阶锥松弛技术对所建模型进行转换求解。最后,在改进的PG&E 69节点配电网系统算例中验证了所提方法的有效性。     

基于深度强化学习的多端背靠背柔性直流系统直流电压控制

为了提高互联配电网多端背靠背柔性直流系统的直流电压控制精度,增强抗干扰能力,提出一种基于深度强化学习的直流电压控制方法,将深度学习神经网络与确定策略梯度融合,实现连续动作搜索,自适应调整电压控制策略.首先,建立多端背靠背柔性直流系统数学模型,分析直流电压控制的非线性和不确定性特征;然后,给出了基于深度强化学习的直流电压控制算法框架,设计了动作与状态空间、奖励函数、神经网络和学习流程;最后,通过仿真分析发现,相比传统比例-积分(PI)控制方法,所提方法具有更好的动静态性能,有效提高了直流电压的控制精度,减小了扰动下直流电压波动和功率超调,缩短了直流电压和功率的恢复稳定时间.     

基于多信息交互与深度强化学习的电动汽车充电导航策略

针对电动汽车动态行驶行为和随机充电行为的多信息融合特征以及多系统建模复杂度,提出了一种基于多信息交互与深度强化学习的电动汽车充电导航策略。该策略首先对“电动汽车集群优化储能云平台”采集的电动汽车实际运行数据进行建模与挖掘,通过数据预处理以及数据可视化显示得到电动汽车行驶、充电信息以及城市充电站信息。其次,分析了电动汽车充电调度过程符合马尔科夫决策定义,引入深度强化学习方法建立了充电导航模型。将“车-站-网”实时信息作为深度Q网络算法的状态空间,并将充电站的分配作为智能体的执行动作。通过对充电过程不同时段出行的成本和时间决策目标的评估,确定行驶途中与到站后的奖励函数。执行最高奖励对应的最优动作-值函数,为车主推荐最优充电站和规划行驶路径。最后,设计了多场景仿真算例验证了所提策略的可行性和有效性。