含储能系统的配电网电压调节深度强化学习算法

通过在配电网末端接入用于系统调压等辅助服务的储能系统,能有效应对可再生能源的高度间歇性以及负荷需求波动导致的系统电压运行水平问题。文章将电池储能的运行建模为马尔可夫决策过程,考虑其后续调控能力,提出了一种含储能系统的配电网电压调节深度强化学习(deep reinforcement learning,DRL)算法,通过内嵌一个Q深度神经网络来逼近储能最佳动作价值,以解决状态空间过大的问题。储能荷电状态(state of charge,SOC)、可再生能源预测出力以及负荷水平组成状态特征向量作为Q网络的输入,输出提高电压运行水平的最优离散化充放电动作,并通过回放策略来训练。相比传统方法,所提方案基于学习而无需显式的不确定性模型,且计算效率较高。最后在TensorFlow架构下利用MATPOWER对IEEE 33节点配网系统进行了分析,证明了所提出方法的有效性。     

基于深度强化学习的配电网负荷转供控制方法

随着城市规模的快速扩张以及电能替代的不断推进,配电网节点数大量增加,结构愈加复杂,发生故障后拓扑变化不确定性较大,传统负荷转供方法难以在短时间内给出高质量的解决方案。为此,提出基于深度强化学习的配电网负荷转供控制方法。将负荷转供过程视为一个马尔可夫决策过程,与配电网实时电气、拓扑数据进行交互,对联络开关与分段开关进行控制。为了提高算法的精度与泛化能力,针对算法动作策略加入了预模拟机制,调整了动作与学习的比例并采用自适应优化算法进行求解。算例分析表明,所提方法能够应对不同故障下配电网的拓扑变化,即时给出负荷恢复量、电网损耗、开关动作次数多方面最优的转供控制方案,这对于减小故障后的停电损失与提高用户满意度有着重要意义。     

基于图注意网络与深度确定性策略梯度的三相主动配电网供电恢复方法

配电服务恢复作为一种基本韧性范式，提供了一种优化协调的韧性解决方案，通过极端事件后配电网的供电恢复实现韧性提升。该文根据三相不平衡配电系统的网络特点，利用图注意网络对Actor-Critic架构的深度强化学习进行改造，通过增加网络拓扑特征提高其对不平衡配电系统的学习能力，提出一种基于图深度强化学习的三相不平衡主动配电网供电恢复新方法。该方法将配电网的动态供电恢复问题设计为一种新颖的马尔科夫决策过程，在此过程中不断产生样本数据并根据所提出的图深度强化学习算法对智能体进行训练，通过优化协调多个微电网以实现配电网动态供电恢复，其性能在IEEE37节点和IEEE123节点配电系统中得到了验证。     

基于大数据深度强化学习的交流配电网稳定性控制研究

并网与孤网运行模式下交流配电网易发生电能供应波动,导致电网可靠性降低。以大数据为背景提出基于深度强化学习的稳定性控制方法。采用状态、动作、状态转移概率与状态转移回报组成四元组,构建深度强化学习过程。利用值函数法实现智能体的深度强化学习。根据dq轴旋转坐标系,建立无功功率控制构架,将无功参考值添加到前馈项,优化闭环传递函数,构建配电网稳定性的优化控制模型。搭建交流配电网仿真模型,探讨并网与孤网运行模式下的稳定性控制效果。实验结果表明：并网运行模式下,交流负载的消耗功率突增时,光伏电池板的输出功率由150 kW升高至175 kW,以达到均衡光照强度干扰的目的;孤网运行模式下,负载消耗功率发生突变时,光伏电池板的输出功率由175 k W降低至100 kW。验证了该方法可有效控制交流配电网的供电稳定性。     

基于深度强化学习的配电网实时电压优化控制方法

大规模分布式电源的接入使得配电网电压优化控制策略与传统配电网差异较大。针对就地控制中光伏逆变器调压之间缺乏协同的问题，该文提出了一种基于多智能体深度强化学习的配电网实时电压控制方法。首先根据电压控制模型设计了部分可观测的马尔科夫决策过程，然后采用多智能体双延迟深度确定性策略梯度算法求解，根据中心化训练、分散式执行的框架实现光伏逆变器的无功协同控制。该方法能智能决策各个逆变器的无功调节量，且能够根据源荷的随机变化实时给出电压控制策略，具有较好的实时性和控制经济性。最后通过仿真算例验证了所提方法的有效性。     

基于深度强化学习的配电网多时间尺度在线无功优化

含分布式电源的配电网存在潮流建模不精确、通信条件差、各无功补偿设备难以协调等问题,给配电网在线无功优化带来了挑战.文中采用深度强化学习方法,提出了一种多时间尺度配电网在线无功优化运行方案.该方案将配电网在线无功优化问题转化为马尔可夫决策过程.鉴于不同无功补偿设备的调节速度不同,设计2个时间尺度分别对离散调节设备和连续调...     

基于深度强化学习的暂态稳定紧急控制决策方法

随着广域测量系统在暂态稳定控制中的应用,广域信息的随机性时滞造成了系统受控时状态的不确定性,并且切机和切负荷控制的离散决策变量维度极高,电网在线紧急控制决策面临着挑战。为此,将暂态稳定紧急控制问题建模为马尔可夫决策问题,提出一种深度Q网络(DQN)强化学习与暂态能量函数相结合的紧急控制决策方法,多步序贯决策过程中可应对紧急控制的时滞不确定性影响。奖励函数以考虑控制目标和约束条件的短期奖励函数和考虑稳定性的长期奖励函数构成,并在奖励函数中引入暂态能量函数的势能指数来提高学习效率。以最大化累计奖励为目标,通过DQN算法在离散化动作空间中学习得到最优紧急控制策略,解决暂态稳定紧急控制问题。所提方法通过IEEE 39节点系统验证了模型在紧急控制决策中的有效性。     

基于知识融合和深度强化学习的智能紧急切机决策

紧急控制是在严重故障后维持电力系统暂态安全稳定的重要手段。目前常用的“人在环路”离线紧急控制决策制定方式存在效率不高、严重依赖专家经验等问题,该文提出一种基于知识融合和深度强化学习(deep reinforcement learning,DRL)的智能紧急切机决策制定方法。首先,构建基于DRL的紧急切机决策制定框架。然后,在智能体处理多个发电机决策时,由于产生的高维决策空间使得智能体训练困难,提出决策空间压缩和应用分支竞争Q(branching dueling Q,BDQ)网络的两种解决方法。接着,为了进一步提高智能体的探索效率和决策质量,在智能体训练中融合紧急切机控制相关知识经验。最后,在10机39节点系统中的仿真结果表明,所提方法可以在多发电机决策时快速给出有效的紧急切机决策,应用BDQ网络比决策空间压缩的决策性能更好,知识融合策略可引导智能体减少无效决策探索从而提升决策性能。     

基于深度强化学习的多阶段信息物理协同拓扑攻击方法

随着智能电网的发展及通信设备不断引入到信息物理系统(cyber physical system,CPS)中,CPS正面临一种破坏性更强的新型攻击方式——信息物理协同攻击(coordinated cyber physical attack,CCPA),其隐蔽性与威胁性易导致系统出现级联故障。首先,基于攻击者的视角,提出一种多阶段信息物理协同拓扑攻击模型,单阶段的物理攻击使线路中断,双阶段的网络攻击分别用来掩盖物理攻击的断开线路和制造一条新的虚假断开线路。其次,结合深度强化学习(deep reinforcement learning,DRL)理论,提出一种基于深度Q网络(deep Q-network,DQN)的最小攻击资源确定方法。然后,给出攻击者考虑上层最大化物理攻击效果和下层最小化攻击代价的具体模型及求解方法。最后,以IEEE 30节点系统为例,验证了所提多阶段攻击模型的有效性。仿真结果表明,多阶段信息物理协同拓扑攻击较单一攻击更加隐蔽且有效,对电网的破坏程度更大,为防御此类攻击提供了参考。     

基于恢复力约束的分布式储能优化规划

提出基于恢复力约束的分布式储能优化规划方法,以保证重要用户的恢复力为前提条件,采用双层耦合规划模型。内层模型在满足电网运行的潮流约束下,灵活地控制重要用户侧分布式储能参与需求侧响应,实现用电成本与动作频次最小的目标,采用竞争深度Q网络（dueling deep Q network, DDQN）结构的深度增强学习方法进行求解,内层模型将分布式储能响应策略传递给外层模型;外层模型进一步基于重要用户的恢复力约束和投资收益校核分布式储能的配置方案,通过双层优化耦合反馈,最终实现基于恢复力约束的分布式储能优化规划。通过分时电价引导分布式储能等重要互动资源参与配电网的优化运行,保证重要用户电力供应连续性的同时给用户明显的投资收益。最后以某10 kV变电站的重要用户储能优化配置为例,分析了所提方法的有效性。     

基于深度强化学习的输电网网架规划方法

为解决现有输电网规划方法在多场景情况下存在的灵活性不足的问题,同时进一步提高规划方法的运算效率,文章提出一种基于深度强化学习的输电网规划方法.首先,通过聚类方法,以系统信息熵最小为目标,生成用于规划的电网典型场景,并建立适用于多场景的输电网灵活规划模型.其次,综合运用深度强化学习方法及Actor-Critic方法,提出...     

基于深度强化学习的微能源系统优化调度

微能源系统是城市配网终端的重要聚合部分,其应对源荷随机特性的能力为城市配网稳定运行提供了有效支撑。针对城市工业园微能源系统提出一种考虑源荷随机波动的动态调度方法。考虑工业园多种可调度资源对微能源系统的经济调度构建数学模型,然后将构建的微能源系统经济调度模型表示为具有连读动作调节的深度强化学习(DRL)模型,最后采用双延迟深度确定性策略梯度算法获取DRL模型下的动态连续调度策略。所提方法不仅避免对源荷随机波动的不确定性进行建模,同时也避免了离散Q学习的可调节设备出力不连续性。仿真结果表明所提出的动态调度方法具有更好的经济性和自适应性。     

基于约束型深度强化学习的主动配电网 电压控制策略

随着分布式电源与随机性负荷的大量接入,配电网的电压波动问题变得愈发严重。主动配电网能通过各种电压无功控制器平抑电压波动,但通常需要求解一个复杂的混合整数二阶锥规划问题,难以做到实时控制。文中利用深度强化学习建立了一个主动配电网实时电压控制模型,能快速得到满足潮流约束的控制策略。采集节点有功、节点无功、设备档位、时间步作为环境状态变量;以和网损及设备操作相关的费用作为回报函数来协调三个控制设备;通过基于长短时记忆网络的约束型强化学习来求解,从而建立主动配电网实时电压控制模型。基于4节点测试系统和IEEE-33节点测试系统进行了仿真,仿真结果表明,所提的深度强化学习方法能确保潮流约束,电压控制模型能实时控制电压无功控制器,以保证配电网的电压质量。     

基于深度确定策略梯度算法的主动配电网协调优化

将新一代人工智能在智能电网和能源互联网中进行应用,实现高比例可再生能源及时有效接入电网,文中基于深度学习中的深度确定策略梯度(DDPG)算法实现主动配电网的优化运行。首先,构造了含多微电网的主动配电网优化模型的DDPG回报函数,使主动配电网的节点电压总偏差和线损最小,最大限度地降低微电网功率调节量的变化以减小对微电网运行的影响,同时维持联络线功率平衡以减小对配电网的影响。然后,分析了主动配电网优化控制的DDPG样本数据处理、回报函数设计、模型训练和学习过程。最后,通过改进IEEE 14节点算例仿真验证了DDPG算法的有效性。     

基于深度强化学习的家庭能量管理分层优化策略

为实现需求侧最大效益,提出一种能够应对复杂环境的基于深度强化学习(DRL)的分层能量调度方法.首先,构建家庭能量管理系统(HEMS)双层框架,通过改变第2层储能系统的充放电功率解决第1层因满足用户用电需求和减少电费所造成负荷集中至低电价时段导致的功率越限,而后根据各用电设备的负荷特性对其进行分类和建模.其次,采用马尔可夫决策过程(MDP)对能量管理问题进行建模,利用奖励函数代替目标函数和约束条件.然后,引入Rainbow算法优化策略以最大化长期收益,实现经济且高效的在线调度.最后,对一个包括光伏板、储能系统、各种用电设备以及电动汽车的家庭进行仿真,验证了所提方法在应对不确定性问题上的有效性和优越性.     

基于强化学习的产消用户端对端电能交易决策

强化学习是一种促进智能体在与环境交互过程中通过学习策略达成回报最大化的人工智能方法.在不进行优化计算和不充分了解市场机制的情况下,该方法非常适合处理小规模用户电能交易行为.文中首先建立了包含交易主体、交易电价和交易物理约束的产消用户端对端电能交易模型.其次,将电能交易问题等效为一个马尔可夫决策过程并对各学习要素进行建模...     

基于深度强化学习的两阶段显著性目标检测

为提高复杂场景下的显著性目标检测速度和精度,提出了一种基于深度强化学习的两阶段显著性目标检测方法.该算法由显著性区域定位网络(salient region localization network,SRLN)和显著性目标分割网络(salient object segmentation network,SOSN)组成,分...     

基于深度强化学习的激励型需求响应决策优化模型

随着中国电力市场化改革的推进,售电侧市场逐步开放,售电商可以聚合大量的分散负荷参与电力市场环境下的需求响应.文中提出以售电商和用户综合收益最大化为目标的基于深度强化学习的激励型需求响应建模和求解方法.首先,建立售电商和用户的需求响应模型,通过引入时间-价格弹性,改进现有的用户响应模型,考虑用户对相邻时段补贴价格差的反应...     

基于Q—学习的非线性控制

给出了一种新的激励学习（RL）方法，它能够有效地解决一个状态与动作空间为连续的非线性控制问题。在实际的应用中，离散的RL方法能把许多非线性控制问题分解成几个局部线性控制作业。提供了一种由简单的线性控制器和Q－学习构成的层次性RL算法。连续状态－动作空间被形象地分成为一些格子，并且每个格子都有它自己的局部线性控制器。状态空间的隔离是处理维数问题的一种相当简单的方法，但是经常会引起非Markov效果，而局部线性控制器能弥补这个缺陷。