基于深度强化学习的配电网实时电压优化控制方法

大规模分布式电源的接入使得配电网电压优化控制策略与传统配电网差异较大。针对就地控制中光伏逆变器调压之间缺乏协同的问题,该文提出了一种基于多智能体深度强化学习的配电网实时电压控制方法。首先根据电压控制模型设计了部分可观测的马尔科夫决策过程,然后采用多智能体双延迟深度确定性策略梯度算法求解,根据中心化训练、分散式执行的框架实现光伏逆变器的无功协同控制。该方法能智能决策各个逆变器的无功调节量,且能够根据源荷的随机变化实时给出电压控制策略,具有较好的实时性和控制经济性。最后通过仿真算例验证了所提方法的有效性。     

VSCF-DFIG在电压瞬间跌落情况下的应对策略

变速恒频（VSCF）双馈感应发电机（DFIG）在电网电压跌落的情况下,通过连接在转子绕组上的电阻来为电压跌落期间在转子侧产生的浪涌电流提供一条通路,从而达到限制转子回路最大电流的目的。在电网需要时,快速向电网提供无功功率,调节电网电压和稳定弱电网。通过保持系统稳定性,减少电压崩溃的危险,降低电网解列的影响。所有结果通过了仿真验证。     

基于事件触发的DFIG次同步附加阻尼控制方法

为快速、准确判断和有效抑制双馈感应发电机(double fed induction generator,DFIG)并网经串补输电系统送出发生的次同步控制互作用(sub-synchronous control interaction,SSCI)问题,首先分析了DFIG经串补送出系统SSCI的作用路径,并经数学推导给出了SSCI发生判据。然后,基于该判据,进一步提出了一种基于SSCI事件触发的DFIG次同步附加阻尼控制方法,提出了适用于快速检测需求的次同步频率提取方法;引入了迟滞环节来解决电机参数不确定导致的误判问题,提高方法的鲁棒性;设计了相频特性平滑的带通滤波器,增强了控制方法对频率变化SSCI问题的适用性。最后,进行PSCAD/EMTDC仿真验证,结果表明所提控制方法能够在风速变化、串补度变化及风机参数不确定情况下较好地阻尼SSCI,且由于引入了SSCI事件判断机制,附加控制在未出现SSCI风险时退出运行,不影响风机变流器的主控制功能。与已有的附加阻尼控制方法相比,所提控制方法在较高串补度下仍然具有较好的抑制效果。     

含储能系统的配电网电压调节深度强化学习算法

通过在配电网末端接入用于系统调压等辅助服务的储能系统,能有效应对可再生能源的高度间歇性以及负荷需求波动导致的系统电压运行水平问题。文章将电池储能的运行建模为马尔可夫决策过程,考虑其后续调控能力,提出了一种含储能系统的配电网电压调节深度强化学习(deep reinforcement learning,DRL)算法,通过内嵌一个Q深度神经网络来逼近储能最佳动作价值,以解决状态空间过大的问题。储能荷电状态(state of charge,SOC)、可再生能源预测出力以及负荷水平组成状态特征向量作为Q网络的输入,输出提高电压运行水平的最优离散化充放电动作,并通过回放策略来训练。相比传统方法,所提方案基于学习而无需显式的不确定性模型,且计算效率较高。最后在TensorFlow架构下利用MATPOWER对IEEE 33节点配网系统进行了分析,证明了所提出方法的有效性。     

基于区间估计与深度强化学习的有源配电网多智能体电压滚动控制

光伏高渗透下的配电网电压滚动控制是时序非线性随机优化问题,传统物理建模方法难以满足时效性。为此,提出一种基于区间状态估计的多智能体强化学习有源配电网电压滚动控制方法。首先,考虑光伏与负荷预测不确定性,提出节点电压随机分布的区间状态深度学习方法,并基于电压数值空间特征构建实时安全约束,避免随机采样引入的高维约束集;进而,在电压估计的置信区间满足安全约束条件下以光伏消纳最大为目标,构建不同分区下以变压器、电容和光伏逆变器为控制对象的多智能体边缘协同滚动控制策略。算例验证表明,相比于传统模型的优化控制方法,所提方法能有效减少变压器和电容动作、降低电压越限风险,且决策效率满足时效性。     

基于SVO的双馈发电机的建模和仿真研究

为了避免对双馈型异步发电机(DFIG)使用定子磁链定向控制而可能带来的系统不稳定现象,同时也为了验证DFIG的定子电压定向(SVO)的控制性能,对DFIG的定子电压定向进行了研究.首先介绍了定子电压定向相对于定子磁链定向的优点,然后根据DFIG的数学模型,推导得出了定子电压定向控制的表达式,并给出了其控制框图.最后在Matlab/Simulink仿真环境中对该控制算法进行了验证,结果表明定子电压控制能很好地对DFIG进行控制,是一种性能优良的控制方法.     

基于强化学习算法的双馈感应风力发电机自校正控制

针对双馈感应风力发电系统结构复杂,受参数变化和外部干扰较显著,具有非线性、时变、强耦合的特点,在传统矢量控制的基础上,提出一种基于强化学习的自校正控制方法。引入Q学习算法作为强化学习核心算法,快速自动地在线优化PI控制器的输出。基于MATLAB/Simulink环境,在风速低于额定风速时对系统进行仿真,结果表明,引入强化学习自校正控制后,保持了原系统最大风能捕获的能力,同时改善了其动态性能,增强了鲁棒性和自适应性。     

基于强化学习算法的静止同步补偿电压控制器

将强化学习算法应用于静止同步补偿(STATCOM)电压控制器,克服了常规STATCOM电压控制器对系统数学模型的依赖性,同时根据来自系统的强化学习信号,采用自适应启发评价算法更新其参数.在控制器中采用局部可测信息量,以确保其可实现性.仿真实验结果表明,基于强化学习算法的STATCOM电压控制器可以在紧急情况下对系统电压进行调节,从而在一定程度上确保了系统的安全稳定运行.     

多时间尺度的配电网深度强化学习无功优化策略

随着高比例分布式电源的接入,配电网在应对源荷不确定性和协调多种无功补偿设备等方面面临较大挑战。该文提出一种基于优化数学模型与数据驱动方法相结合的配电网多时间尺度电压调节策略。该策略首先针对长时间尺度调节的有载调压变压器和电容器组,以最小化有功功率损耗为目标,建立基于混合整数二阶锥规划的日前无功电压优化模型。其次,为满足短时间尺度调度对于实时性的要求,提出一种基于多智能体强化学习的日内实时调度方法,将实时无功优化问题转化为马尔科夫博弈过程,并采用集中训练、分散执行框架。与传统方法相比,该方法通信开销低、实时性强并且不依赖于精确的潮流模型。最后,通过IEEE 33节点算例验证所提策略的有效性。     

基于深度强化学习的多端背靠背柔性直流系统直流电压控制

为了提高互联配电网多端背靠背柔性直流系统的直流电压控制精度,增强抗干扰能力,提出一种基于深度强化学习的直流电压控制方法,将深度学习神经网络与确定策略梯度融合,实现连续动作搜索,自适应调整电压控制策略.首先,建立多端背靠背柔性直流系统数学模型,分析直流电压控制的非线性和不确定性特征;然后,给出了基于深度强化学习的直流电压...     

基于强化学习的孤岛微电网多源协调频率控制方法

为了提升孤岛微电网频率抗干扰性,提出一种基于强化学习的孤岛微电网多源协调频率控制方法。针对微电网频率偏差进行Q学习,动态调节多个分布式电源的下垂控制参数以改变其输出功率,实现微电网内多源协调有功频率控制。首先,介绍了Q学习算法的基本原理;其次,提出基于Q学习的频率恢复控制方法,并设计基于Q学习算法的控制器,利用Q学习算法动态修正下垂参数,协调微电网多个分布式电源进行频率恢复控制;最后,利用MATLAB建立典型微电网仿真模型,并基于S-function自定义建立强化学习控制器,从Q学习训练过程、频率控制响应特性多个方面验证了所提方法的有效性和适应性。     

基于改进深度强化学习的智能微电网群控制优化方法

针对微电网群控制的经济效益、负荷波动以及碳排放问题,提出一种基于改进深度强化学习的智能微电网群运行优化方法。首先,计及分布式电源、电动汽车及负荷特性,提出微电网的系统模型。然后,针对微电网群的运行特点,提出4个系统优化目标和5个约束条件,并且引入分时电价机制调控负荷运行。最后,利用改进深度强化学习算法对微电网群进行优化,合理调控多种能源协同出力,调整负荷状态,实现电网经济运行。仿真结果表明了所提方法的有效性,与其他方法相比,其收益较高且碳排放量较小,可实现系统的经济环保运行。     

基于深度强化学习的输电网网架规划方法

为解决现有输电网规划方法在多场景情况下存在的灵活性不足的问题,同时进一步提高规划方法的运算效率,文章提出一种基于深度强化学习的输电网规划方法.首先,通过聚类方法,以系统信息熵最小为目标,生成用于规划的电网典型场景,并建立适用于多场景的输电网灵活规划模型.其次,综合运用深度强化学习方法及Actor-Critic方法,提出...     

基于深度强化学习的馈线-台区两阶段电压优化

分布式电源（distributed generation,DG）在10 kV和400 V配电网中大量接入,给配电网安全运行带来了巨大挑战。由于DG不确定性以及400 V台区实时量测数据不全的问题,基于最优潮流的优化方法难以解决馈线与台区的协同优化问题。为此,该文提出了一种基于电压越限风险和深度强化学习（deep reinforcement learning,DRL）的馈线-台区两阶段优化方法。首先,基于概率最优潮流计算得到10 k V馈线系统的最低电压越限风险下的调控策略,以及节点电压期望值并下发至台区。接着,利用台区调控资源,基于深度强化学习实现台区电压与光伏消纳的多目标优化。最后基于改进的IEEE33节点系统验证了该文方法的有效性。     

强化学习方法在水火混杂AGC系统中的应用

多区域互联系统通常是水火电自动发电控制(AGC)机组并存系统,系统的非线性因素及复杂性使得基于线性理论的比例积分调节方式不能适应智能电网的要求.文中针对水轮机系统的非线性特点,将环境知识转化成强化学习算法的先验知识以加快AGC的调整速度.在此基础上,完整阐述了水火电混杂的多区域系统基于强化学习算法的自动发电智能化控制设计思想.为使模型更具一般性,建立了三区域混杂系统仿真模型,仿真结果验证了该方法的可行性.     

基于深度强化学习的微能源系统优化调度

微能源系统是城市配网终端的重要聚合部分,其应对源荷随机特性的能力为城市配网稳定运行提供了有效支撑。针对城市工业园微能源系统提出一种考虑源荷随机波动的动态调度方法。考虑工业园多种可调度资源对微能源系统的经济调度构建数学模型,然后将构建的微能源系统经济调度模型表示为具有连读动作调节的深度强化学习(DRL)模型,最后采用双延迟深度确定性策略梯度算法获取DRL模型下的动态连续调度策略。所提方法不仅避免对源荷随机波动的不确定性进行建模,同时也避免了离散Q学习的可调节设备出力不连续性。仿真结果表明所提出的动态调度方法具有更好的经济性和自适应性。     

Deep Reinforcement Learning Based AGV Self-navigation Obstacle Avoidance Method

A local path optimization model and obstacle avoidance strategy based on Actor-Critic algorithm is proposed for the local obstacle avoidance problem of automatic guided vehicles in a complex workshop environment. In the complex working environment of the production workshop, we analyze the automatic obstacle avoidance problem of AGV trolley, establish the front and both sides of the AGV tentacle model and Markov decision process, and describe the local obstacle avoidance path in the form of virtual tentacles. And based on deep reinforcement learning to solve the path obstacle avoidance strategy, it is applied to the AGV self-navigation system. The dynamic obstacle avoidance performance of AGV is tested through simulation experiments, and the effectiveness of the proposed algorithm is verified by completing local obstacle avoidance path planning under global path guidance.     

一种基于深度强化学习的电网潮流特征提取方法

为了解决现有特征提取方法存在特征辨识度低的问题,基于深度强化学习设计电网潮流特征提取方法,为了提升潮流特征的辨识度,利用点估计法计算电网潮流,以此为基础,通过模拟退火算法生成电网潮流图,并灰度处理电网潮流图,以灰度处理后的电网潮流图为依据,利用深度强化学习方法提取电网潮流特征,实现了电网潮流特征的提取。实验结果表明：与现有的电网潮流特征提取方法相比,文中电网潮流特征提取方法极大地提升了特征辨识度,证明了基于深度强化学习的电网潮流特征提取方法具备更好的特征提取性能。     

求解多目标协调二级电压控制的简化强化学习方法

以最小化分区内主导节点电压偏差和发电机无功出力比例的方差为目标,建立多目标协调二级电压控制模型,可协调变电站容抗器与发电机自动电压调节器的动作。针对其控制特点和在线优化的要求,提出一种简化强化学习求解方法。为了加快奖励值的传播速度,该方法定义了新的状态函数,并在主循环之前利用全局搜索来实现初始值定位和状态空间的自主压缩,从而极大地提高搜索效率;在主循环的搜索过程中采用基于状态敏感度的自适应学习阶段划分准则,实现学习经验搜索与利用的平衡;将单次动作的变量选择范围扩大到所有控制变量,使得在有限循环次数下的搜索尽可能覆盖到整个状态空间。为了反映系统的当前偏好信息,引入实时权重系数的概念,并在求得帕累托前沿后根据实时权重选出最优控制。算例分析分别从帕累托前沿质量、优化时间、收敛率以及实时权重的控制效果四个方面验证了简化强化学习方法和实时权重系数的优越性。