基于CEQ(λ)强化学习算法的微电网智能发电控制

针对微电网孤岛运行模式下新能源发电强随机性导致的系统频率波动,提出了基于多智能体相关均衡强化学习(Correlated Equilibrium Q(λ),CEQ(λ))的微电网智能发电控制方法。在所搭建含有光伏发电、风力发电、小水电、微型燃气轮机和飞轮储能的微电网负荷频率控制(Load frequency Control,LFC)模型基础上,以频率偏差作为状态输入,提出了一种微电网孤岛运行模式下的CEQ(λ)智能发电控制器。仿真结果显示,与PI控制、单智能体R(λ)控制相比,CEQ(λ)控制器具有更好的在线学习能力,能显著增强孤岛微电网的鲁棒性和适应性,有效提高了频率的考核合格率。     

基于权重双Q-时延更新学习算法的自动发电控制

大规模可再生能源和柔性负荷的接入会给分布式多区域互联电网带来强随机扰动,传统的控制方法无法有效提高由于强随机扰动所导致的电网愈来愈差的控制性能。为此,该文从自动发电控制角度提出一种面向分布式多区域互联电网的多智能体协同控制算法,即权重双Q-时延更新算法。所提算法可通过权重双Q算法来解决传统强化学习中动作探索值高估或低估的问题,并引入时延更新策略进一步提高其更新效率,进而提高其收敛性能。对改进的IEEE标准两区域负荷频率控制模型和融入大规模可再生能源的四区域互联电网模型进行仿真,仿真结果表明,所提算法能够有效提高电网的控制性能,实现分布式多区域互联电网间的协同控制,而且与传统方法相比,具有更优控制性能和更快收敛速度。     

基于深度期望Q网络算法的微电网能量管理策略

随着光伏发电在微电网中的渗透率不断提高,其发电出力的不确定性和时变性为微电网的经济运行带来了挑战.在构建经济调度模型时,就需要适当模拟不确定变量并相应地发展高效求解算法.在此背景下,文中提出能够有效计及不确定性因素的深度强化学习算法,以实时求解微电网的优化运行问题.首先,采用马尔可夫决策过程对微电网优化运行问题进行建模...     

基于多智能体深度强化学习的电热联合系统优化运行

电热联合系统优化调度问题对于实现系统的能源互补、经济运行具有重要意义.电热联合系统优化运行涉及非线性、非凸、多目标问题求解,传统方法在计算实时性与迭代收敛性等方面存在困难.文章首先构建电热联合系统优化数学模型,将电热联合系统按照不同利益主体划分为多智能体,基于多智能体深度确定性策略梯度强化学习算法,建立了适用于电热联合...     

基于自适应强化探索悲观Q的多智能体协同AGC算法

双碳目标下规模化可再生能源和柔性负荷的接入,使得电力系统中新能源占比日益增大。而传统的控制方法无法充分调动源–网–荷–储各部分的能动性,给电网带来愈来愈差的控制性能。因此本文从自动发电控制的角度,提出一种自适应强化探索悲观Q的多智能体协同算法,以提高源网荷储协同系统的控制性能。算法中所采用的悲观Q学习通过选择多个动作值估计器中最小动作值,不仅能够解决传统Q学习在动作探索过程中动作值的估计偏差,而且能够控制动作值估计偏差从正到负的变化,有助于提高算法的控制精度。同时自适应强化探索策略的引入,代替了传统Q学习中ε-贪婪策略,能够避免重复和不平衡的探索。通过对改进的IEEE标准两区域负荷频率控制模型和源网荷储协同系统模型进行仿真,验证了所提算法的有效性,且与传统强化学习相比,具有更高的CPS性能、更小的频率偏差、更小的区域控制误差和更快的收敛速度。     

基于深度Q学习的含电动汽车孤岛微电网负荷频率控制策略

负荷频率控制对维持孤岛微电网的稳定运行有着至关重要的意义.针对微电网受到强随机扰动和网络拓扑参数改变时的频率控制问题,文章提出了基于深度Q学习(deep Q-learning,DQN)的含电动汽车孤岛微电网负荷频率控制策略.首先,建立了考虑用户充电行为随机性的集群电动汽车频率控制模型,从而搭建出包含光伏、风电、微型燃气...     

基于区间估计与深度强化学习的有源配电网多智能体电压滚动控制

光伏高渗透下的配电网电压滚动控制是时序非线性随机优化问题,传统物理建模方法难以满足时效性。为此,提出一种基于区间状态估计的多智能体强化学习有源配电网电压滚动控制方法。首先,考虑光伏与负荷预测不确定性,提出节点电压随机分布的区间状态深度学习方法,并基于电压数值空间特征构建实时安全约束,避免随机采样引入的高维约束集;进而,在电压估计的置信区间满足安全约束条件下以光伏消纳最大为目标,构建不同分区下以变压器、电容和光伏逆变器为控制对象的多智能体边缘协同滚动控制策略。算例验证表明,相比于传统模型的优化控制方法,所提方法能有效减少变压器和电容动作、降低电压越限风险,且决策效率满足时效性。     

基于多智能体深度强化学习的分布式电源优化调度策略

针对分布式电源集中优化调度难以解决隐私保护的问题,提出一种基于多智能体深度强化学习的分布式优化调度方法。该方法可自适应源荷不确定性,在源荷随机波动的情况下实时给出优化调度策略。首先,阐述了基于通信神经网络架构的多智能体深度强化学习方法原理。然后,提出基于多智能体深度强化学习的分区分布式优化调度框架,以日运行成本最低为目标构建日前优化调度模型,并考虑各种运行约束。继而,采用近端策略优化算法对该模型进行离线训练,利用训练好的模型进行在线优化调度决策。最后通过改进IEEE33节点算例进行仿真验证,结果表明,各自治区域在仅利用局部通信的情况下即可计算出各自的近似全局最优解。     

基于拉格朗日松弛强化学习算法的自动发电控制EI北大核心CSCD

“双碳”目标加速了大规模新能源并网的新型电力系统的发展。传统控制方法无法有效解决分布式电网模式下新能源规模化接入所带来的强随机扰动,从而造成频率不稳定、控制性能标准(control performance standards,CPS)越来越差的问题。为此,该文从二次调频的角度提出一种能够保证具有较高的Q值更新学习率,且无论强随机环境亦或平稳环境均具有更稳定的响应特性的拉格朗日松弛强化学习算法,即重复更新Q学习拉格朗日松弛(repeated update Q-Learning using Lagrangian relaxation,RUQL-LR)算法,来获取多区域协同。对改进的IEEE标准两区域模型和以西南电网为基础的三区域模型进行仿真,验证了所提算法的有效性。该算法不仅能够在很大程度上提高Q值估计准确性,还能使弱耦合动态优化问题分散为多个子问题,以快速获取最优策略,且与多种强化学习算法相比,其Q值估计误差更小,能明显提高电网的频率稳定性。     

基于深度Q学习的电热综合能源系统能量管理

能量管理是电热综合能源系统运行优化的重要组成部分.然而,系统中可再生能源出力的波动性以及用户负荷的随机性使得能量优化管理问题充满挑战.针对此问题,文章提出了一种计及可再生能源和负荷需求不确定性的综合能源系统能量管理方法.将电热综合能源系统的能量管理问题表述为转移概率未知的马尔科夫决策过程,定义了系统的状态空间、动作空间...     

基于深度学习的目标检测算法综述

传统的目标检测算法及策略已经难以满足目标检测中数据处理的效率、性能、速度和智能化等各个方面要求.深度学习通过对大脑认知能力的研究和模仿以实现对数据特征的分析处理,具有强大的视觉目标检测能力,成为了当前目标检测的主流算法.首先回顾了传统目标检测的发展以及存在的问题;其次介绍以R-CNN为代表的结合region proposal和卷积神经网络(CNN)分类的目标检测框架(R-CNN、SPP-NET、Fast R-CNN、Faster R-CNN);然后介绍以YOLO算法为代表的将目标检测转换为回归问题的目标检测框架(YOLO、SSD);最后对深度学习的目标检测算法存在的问题做出总结,以及未来的发展方向.     

基于深度学习的人群计数算法综述

人群计数在视频监控、公共安全、智能商业等许多领域都有广泛的应用,近年来,随着深度学习的不断发展,人群计数已经成为计算机视觉领域研究的热点之一。本文根据提取特征方式的不同,将人群计数分为两类一类是传统方法,另一类是基于深度学习的方法,对基于卷积神经网络的方法进行重点分析和介绍;进一步介绍了人群计数领域的基准数据集和其他代表性数据集,实验结果表明,在人群密集和尺度变化较大的场景,基于卷积神经网络的方法优于传统方法,在尺度变化较大、人群较复杂的场景中多列网络比单列网络计数更加准确,效果更好;最后讨论了算法的未来发展方向。     

基于强化学习的异常用电判决方法

目前异常用电检测问题有许多基于分类的方法,但大多都是基于短期用电行为的判决来判断长期用电行为,判决阈值与比例难以确定,且在实际应用中,不同区域、时段的用户用电数据分布差异较大,比例与阈值也会有较大的不同,难以以固定的比例通用于所有的用户数据。针对此问题,文中提出一种基于强化学习的异常用电判决方法,创新地利用强化学习模型来动态生成阈值,以适应差异较大的不同数据集。首先获取分类器输出的数个用户短期行为的异常概率,然后输入到强化学习模型深度递归Q网络（DRQN）中,学习得到动态阈值即判决阈值与判决比例。试验结果表明,相比于人工调参的传统投票法,文中方法在评估指标上有明显提升,面对数据分布差异较大的数据集时也有较好的表现,说明文中方法具有较强的泛化能力,在数据类型复杂的现实环境中也有较好的应用场景。     

基于深度学习的直流配电网分布鲁棒优化调度方法

随着分布式资源的大规模接入,直流配电网能量损耗小、控制灵活的优点凸显。针对直流配电网传统物理优化模型效率低的问题,提出了一种基于深度学习的直流配电网分布鲁棒优化(DRO)调度方法,其采用深度学习方法替代了基于场景的DRO模型的迭代求解过程,通过直接预测典型场景的最恶劣概率分布来提高模型求解效率。构建直流配电网基于场景的DRO物理模型,采用列与约束生成算法迭代求解生成深度学习的训练数据;以光伏出力、负荷、范数置信度为输入,以最恶劣概率分布为输出,构建深度神经网络模型;基于训练好的神经网络预测实时输入的光伏出力、负荷、范数置信度的最恶劣概率分布,构建最恶劣概率分布下的单层随机规划模型,获取等效的基于场景的DRO调度策略;采用33节点直流配电网系统为算例,验证所提方法在求解效率和计算精度方面的有效性。     

基于深度强化学习的城市配电网多级动态重构优化运行方法

随着配电网分布式电源的大量接入以及城市区域负荷的快速发展,使得配电网运行环境愈发复杂。同时由于配电网重构涉及大量的开关状态二进制零散变量,现有优化方法很难求解大规模城市配电网重构问题。基于此,提出一种基于深度强化学习的城市配电网多级动态重构方法。首先,建立基于深度学习的配电网多级重构快速判断模型,通过该模型实现对重构级别在线决策,并对智能体动作空间进行降维。其次,使用含参数冻结和经验回放机制的深度Q网络对预测负荷、光伏能源输出功率等环境信息进行学习。以运行成本、电压偏移度以及负荷均衡度最优为目标,通过习得的策略集对配电网进行动态重构与运行优化。建立多智能体强化学习模型,对各个时段的不同重构主体进行联合优化。最后,通过算例分析验证了所提方法的有效性。     

基于深度学习的三峡水库实时防洪调度模型北大核心CSCD

水库实时调度需要考虑多种约束条件及综合目标,具有较高复杂度。本文以三峡水库实时防洪调度为研究对象,提出一种基于深度学习的水库实时防洪调度模型。研究模拟三峡水库实时调度过程,生成训练样本数据。基于样本数据生成高维张量输入数据,通过网络参数训练提取高维数据特征以学习拟合水库实时调度模式。基于深度卷积神经网络实时调度模型在训练过程中提取闸门数据特征,模型中采用强化学习算法,迭代优化模型参数,随着样本数据不断更新,通过在线学习实现最优调度决策。实例研究表明,水位实时控制和下泄流量实时控制模型模拟的下泄流量与实际数据相对误差分别为1.4%和1.0%左右,该深度学习模型有较好的收敛性,能够应用于水库实时调度。     

基于深度信念网络的光伏电站短期发电量预测

为了解决现有光伏电站短期发电量预测方法存在的预测模型复杂、预测误差较大、泛化能力较低的问题,提出一种基于深度信念网络的短期发电量预测方法。首先综合考虑影响光伏出力的环境因素和光伏板的运行参数以及光伏电站历史发电量数据,对深度信念网络进行训练和学习。在此基础上,采用重构误差的方法确定深度信念网络隐含层层数。最后针对某光伏电站短期发电量进行预测算例分析,验证了该预测模型能主动选择样本抽象特征、自动确定隐含层层数,对短期发电量预测精度较高。对比前馈反向传播(Back Propagation, BP)神经网络预测模型与长短期记忆网络(Long/Short Term Memory, LSTM)预测模型,结果表明所提方法运算量低、预测精度高,且增加神经网络的深度比改进神经网络神经元对预测效果更有效。     

基于知识嵌入和DNN的工商业用户异常用电检测

目前的异常用电检测研究主要以居民用户为对象,相关方法并不适用于工商业用户。针对此问题,本文提出一种融合了电能计量原理的基于深度学习的异常用电检测方法。首先,分析了各类异常用电的数据现象,结果说明单纯采用智能电表数据不足以准确检测异常用电。本文遵循电能计量原理,将描述电气参量内部逻辑关系的指标作为知识嵌入智能电表数据,构建深度学习样本模型。然后,本文提出了一个改进的深度混合残差神经网络,确保从海量智能电表数据中学习用于识别异常用电的高级特征。实验结果表明,相比多个基准算法,本文方法在所有评估指标上均取得了明显的提升。     

基于TensorFlow框架的有源配电网深度学习故障定位方法

随着大规模分布式电源(DG)接入配电网,配电网的结构由传统的辐射型变为多端电源结构,传统的故障定位方法不再完全满足含DG的配电网系统,对此提出一种基于深度学习的有源配电网故障定位方法。首先通过馈线监控终端采集过电流故障数据与节点电压数据,结合各电源出力数据,形成故障数据向量;然后使用Tensorflow构建基于全连接网络的深度神经网络模型,挖掘故障数据向量与故障支路之间的映射联系,形成故障定位模型;最后利用该模型在线定位故障并验证其有效性。模型测试结果表示,与反向传播神经网络、学习向量量化神经网络模型相比,深度学习模型收敛速度更快,故障定位准确率更高,同时在数据畸变或缺失时,模型具有较高的容错性。