基于强化学习的孤岛微电网多源协调频率控制方法

为了提升孤岛微电网频率抗干扰性,提出一种基于强化学习的孤岛微电网多源协调频率控制方法。针对微电网频率偏差进行Q学习,动态调节多个分布式电源的下垂控制参数以改变其输出功率,实现微电网内多源协调有功频率控制。首先,介绍了Q学习算法的基本原理;其次,提出基于Q学习的频率恢复控制方法,并设计基于Q学习算法的控制器,利用Q学习算法动态修正下垂参数,协调微电网多个分布式电源进行频率恢复控制;最后,利用MATLAB建立典型微电网仿真模型,并基于S-function自定义建立强化学习控制器,从Q学习训练过程、频率控制响应特性多个方面验证了所提方法的有效性和适应性。     

孤岛运行模式下的低压微电网控制策略

根据分布式电源的分散性、间歇性等特点以及用电负荷的不同等级,需采用多种分布式电源之间的协同控制策略保障孤岛运行模式下的微电网安全稳定运行。本文采用了主从控制方式对多微源低压微电网进行控制,以提高微电网的供电可靠性。微电网孤岛运行下,源荷平衡策略首先保证重要负荷不断电运行;其次,在微源状态允许的情况下,尽量保证负荷少停电。使用Matlab建立仿真模型,通过对孤岛模式下投切负荷等情况进行仿真分析,验证了低压孤岛微电网下所设计控制策略的可靠性及有效性。     

计及辅助服务的微电网源荷协同调频优化控制策略

针对含高比例新能源微电网中调频资源缺乏且源荷参与调频意愿较低而导致的系统频率稳定性下降问题,通过辅助服务机制激励风电机组与可控负荷提供调频辅助服务,提出一种计及综合经济效益最优的源荷协同调频优化控制策略。该策略根据双馈异步风电机组调频、可控负荷一次调频、柴油机惯量调频以及一次调频计算提供辅助服务的效益和成本,综合考虑微电网的调频经济效益及调频效果,利用深度信念网络优化双馈异步风电机组的减载率、虚拟惯量、下垂控制及可控负荷的控制参数,实现双馈异步风电机组、可控负荷及柴油机多时间尺度的协同调频。通过搭建高比例新能源微电网模型仿真验证了源荷协同调频优化控制策略的有效性,使源荷提供辅助服务后能获得最优经济效益以及较好的调频效果,可有效挖掘源荷提供调频辅助服务的能力。     

基于Sobol’法的孤岛微电网潮流全局灵敏度分析

随着可再生能源发电在微电网中的渗透率不断提高,微电网运行的不确定性显著增加,有必要准确评估输入变量对微电网状态的影响,以提高系统的运行控制水平。计及孤岛微电网中分布式电源和负荷的不确定性,基于有功—频率/无功—电压的下垂控制策略,构建了综合控制下的孤岛微电网概率潮流计算模型,并采用具有鲁棒性的自适应LM(Levenberg-Marquardt)算法进行求解。在此基础上,针对系统状态的不确定性,基于Sobol’全局灵敏度理论,建立了一种考虑源荷不确定性的孤岛微电网概率潮流灵敏度分析法,用于辨识影响系统状态的关键因素。通过对有多台分布式电源接入的33节点孤岛交流微电网系统进行仿真,获得了各输入变量的一阶灵敏度和总灵敏度,分析了输入变量对系统状态的影响,验证了所提方法的有效性。     

基于协同强化学习的微电网分布式两级电压优化控制

由于微电网中分布式电源组成复杂,运行模式多样,孤岛微电网的电压恢复控制面临着不确定性干扰的影响。为此,针对不确定性干扰下微电网的二级电压恢复控制问题,提出了一种基于协同强化学习的微电网分布式两级电压优化控制方法,实现孤岛模式下微电网的电压调节控制。首先构建孤岛微电网分布式一致性协同电压控制算法,并建立李雅普诺夫函数稳定性判定方法。其次根据控制器性能与控制器增益参数的关系,求解孤岛微电网电压控制器增益上界,并根据控制器增益参数上界限制强化学习智能体动作集。随后,采用强化学习算法优化二级控制器增益参数,给出相应的强化学习智能体状态集、协同全局奖励函数。最后在Matlab/Simulink上通过仿真实验验证了所提出的控制方法的有效性和适应性。     

基于深度Q学习的含电动汽车孤岛微电网负荷频率控制策略

负荷频率控制对维持孤岛微电网的稳定运行有着至关重要的意义.针对微电网受到强随机扰动和网络拓扑参数改变时的频率控制问题,文章提出了基于深度Q学习(deep Q-learning,DQN)的含电动汽车孤岛微电网负荷频率控制策略.首先,建立了考虑用户充电行为随机性的集群电动汽车频率控制模型,从而搭建出包含光伏、风电、微型燃气...     

基于自适应强化探索悲观Q的多智能体协同AGC算法

双碳目标下规模化可再生能源和柔性负荷的接入，使得电力系统中新能源占比日益增大。而传统的控制方法无法充分调动源–网–荷–储各部分的能动性，给电网带来愈来愈差的控制性能。因此本文从自动发电控制的角度，提出一种自适应强化探索悲观Q的多智能体协同算法，以提高源网荷储协同系统的控制性能。算法中所采用的悲观Q学习通过选择多个动作值估计器中最小动作值，不仅能够解决传统Q学习在动作探索过程中动作值的估计偏差，而且能够控制动作值估计偏差从正到负的变化，有助于提高算法的控制精度。同时自适应强化探索策略的引入，代替了传统Q学习中ε-贪婪策略，能够避免重复和不平衡的探索。通过对改进的IEEE标准两区域负荷频率控制模型和源网荷储协同系统模型进行仿真，验证了所提算法的有效性，且与传统强化学习相比，具有更高的CPS性能、更小的频率偏差、更小的区域控制误差和更快的收敛速度。     

使用电压-相角下垂控制的微电网控制策略设计

根据微电网的特点,对微电网2种运行模式采取的不同控制策略进行设计。微电网孤岛运行时,分布式发电单元采用电压源逆变器控制,使用电压—相角下垂控制实现按预定比例分配负荷功率,该下垂控制较电压—频率下垂控制可以提供更好的频率支撑。微电网并网运行时,分布式发电单元采用PQ控制,按照功率设定值输出功率。通过设计对应电压—相角下垂控制的同步控制器实现了微电网运行模式的无缝转换。利用MATLAB/Simulink对微电网运行模式转换和微电网孤岛运行时使用的2种下垂控制进行对比仿真分析,验证了电压—相角下垂控制策略的可行性和有效性。     

光储柴微电网运行特性分析

微电网既可以并网运行,也可以孤岛运行,而孤岛模式下主控微源对电压和频率调节作用的强弱对微电网能否稳定运行影响显著。基于已搭建的以储能电池为主控微源的光储柴微电网,分别在蓄电池不同荷电状态、负载不同程度扰动、是否投入柴发微源的情况下进行三组对比实验,用三相电能质量分析仪记录相关波形,分析不同实验条件下微电网的运行特性。实验结果表明,蓄电池的荷电状态、负载的扰动情况对微电网的稳态孤岛运行有重要影响;柴发微源的投入会抢占蓄电池对电压和频率调节的主导作用,需对蓄电池容量进行优化配置。根据实验结果,对蓄电池容量进行了优化,可以保证蓄电池的主导作用。     

基于CEQ(λ)强化学习算法的微电网智能发电控制

针对微电网孤岛运行模式下新能源发电强随机性导致的系统频率波动,提出了基于多智能体相关均衡强化学习(Correlated Equilibrium Q(λ),CEQ(λ))的微电网智能发电控制方法。在所搭建含有光伏发电、风力发电、小水电、微型燃气轮机和飞轮储能的微电网负荷频率控制(Load frequency Control,LFC)模型基础上,以频率偏差作为状态输入,提出了一种微电网孤岛运行模式下的CEQ(λ)智能发电控制器。仿真结果显示,与PI控制、单智能体R(λ)控制相比,CEQ(λ)控制器具有更好的在线学习能力,能显著增强孤岛微电网的鲁棒性和适应性,有效提高了频率的考核合格率。     

函数联接神经网络的实验研究

函数联接神经网络具有结构简单 ,易于实现 ,扩展性和通用性强等许多优点 .利用面向对象方法实现了函数联接神经网络的几种模型 ,探讨了该网络的变结构调整问题 ,并通过实际的例子对网络的不同模型进行了实验研究 ,提出了一个新的学习因子动态调整算法     

A brainlike learning system with supervised,unsupervised, and reinforcement learning

According to Hebb's cell assembly theory, the brain has the capability of function localization. On the other hand, it is suggested that in the brain there are three different learning paradigms: supervised, unsupervised, and reinforcement learning, which are related deeply to the three parts of brain: cerebellum, cerebral cortex, and basal ganglia, respectively. Inspired by the above knowledge of the brain in this paper we present a brainlike learning system consisting of three parts: supervised learning (SL) part, unsupervised learning (UL) part, and reinforcement learning (RL) part. The SL part is a main part learning input–output mapping; the UL part is a competitive network dividing input space into subspaces and realizes the capability of function localization by controlling firing strength of neurons in the SL part based on input patterns; the RL part is a reinforcement learning scheme, which optimizes system performance by adjusting the parameters in the UL part. Numerical simulations have been carried out and the simulation results confirm the effectiveness of the proposed brainlike learning system. © 2007 Wiley Periodicals, Inc. Electr Eng Jpn, 162(1): 32–39, 2008; Published online in Wiley InterScience ( www.interscience.wiley.com ). DOI 10.1002/eej.20600     

论非英语专业英语学习的个体差异(英文)

对两类非英语专业在校学生的英语学习进行探讨,调查表明学生的学习态度、动机、方法、策略及其它因素直接影响学生的成绩,通过列举各种因素并对其加以分析和研究,指出其中的管理策略重要性;同时总结出如果将此学习策略并入日常英语教学中,加强对此策略的训练,非英语专业学生会有较为成功的第二语言学习。     

一类模糊自适应PID迭代学习控制系统的研究

为了提高被控系统的控制精度和收敛速度,提出一种模糊自适应PID迭代学习控制算法,算法充分利用了PID迭代学习律可靠性高、鲁棒性强等优点,运用模糊整定单元对经验PID学习律的参数进行实时校正。针对一类LTI系统,设计了具有针对性的模糊自适应PID学习律,并对本文提出的算法进行了仿真分析。     

融合多类型深度迁移学习的电力系统暂态稳定自适应评估

针对不同类型人工智能网络应用于电力系统暂态稳定评估时精度和泛化能力不稳定、运行方式或拓扑结构发生较大变化时评估精度下降、重新训练新模型费时费力等问题,提出一种融合多类型深度迁移学习模型（tmDLM）的自适应评估方法,该方法融合了深度置信网络、卷积神经网络以及长短期记忆网络3种不同的深度学习模型。将训练好的各类深度学习模型作为源域模型,当运行方式或拓扑结构发生较大变化时,采用少量目标域样本集微调预训练模型,使其快速跟踪系统当前的运行状态,并得到tmDLM。新英格兰10机39节点系统和华中电网的仿真结果表明：所提方法可以充分发挥各类深度学习方法的优势,具有良好的泛化能力;六分类模型能够在判稳的同时进行稳定裕度/失稳程度等级的评估;经过迁移后的深度学习模型具有良好的评估精度和时效性,大幅缩短了模型更新时间,实现了电力系统暂态稳定的自适应评估。     

基于对比学习生成对抗网络的无监督工业品表面异常检测

在工业品表面异常检测中，由于异常的未知性和无规则性，人工标注异常样本难度大、成本高，有监督的深度学习算法在工业品表面异常检测任务中存在局限性。针对上述问题，提出一种基于对比学习生成对抗网络(contrastive learning generative adversarial network, CLGAN)的无监督工业品表面异常检测算法。首先，建立基于无监督学习算法的CLGAN模型；其次，采用对比学习加强潜在特征空间正负例样本约束，使得输入与输出图像对应Patch之间的互信息最大化，增强正负样本特征向量区分度，使模型重构异常样本图像能力得到进一步提升；然后，在检测阶段，利用训练好的模型得到待测工业品的无异常重构图像，并计算得到待测样本与其对应重构图像之间的残差图像；最后，结合双阈值分割的后处理方法和数学形态学处理，实现工业品表面异常区域地快速检测和准确定位。通过在公共数据集MVTec AD上进行实验，与其他的无监督深度学习模型算法相比，所提算法具有更好的识别效果和更强的泛化能力。     

R‐learning with multiple state‐action value tables

We propose a method to improve the performance of R‐learning, a reinforcement learning algorithm, by using multiple state‐action value tables. Unlike Q‐ or Sarsa learning, R‐learning learns a policy to maximize undiscounted rewards. Multiple state‐action value tables cause substantial explorations as needed and make R‐learning work well. Efficiency of the proposed method is verified through experiments in a simulated environment. © 2007 Wiley Periodicals, Inc. Electr Eng Jpn, 159(3): 34– 47, 2007; Published online in Wiley InterScience ( www.interscience. wiley.com ). DOI 10.1002/eej.20473     

基于Bagging集成学习的电力系统暂态稳定在线评估

针对传统机器学习在处理暂态稳定评估时所表现出的稳定性差、精度低等问题以及离线训练的局限性,提出一种基于多模型融合Bagging集成学习方式的电力系统暂态稳定在线评估模型。首先,结合人工智能前沿理论研究,分析了暂态稳定评估中常用的7种机器学习算法的原理及实现方式,通过Bagging方法进行集成,充分发挥各个模型的优势。其次,给出Bagging集成的数学实现方法并进行了仿真实验。当原系统拓扑结构发生改变时,采用Boosting算法和迁移成分分析,分别对原电网历史数据进行样本迁移和特征迁移,完成对所提模型的在线更新。通过采用IEEE10机39节点系统和IEEE16机68节点系统进行分析,结果表明所提方法比传统机器学习模型精度更高。当数据中掺杂噪声时能够保持稳定运行,在系统拓扑改变时能够通过迁移历史数据进行准确的暂态稳定评估。     

含类信息的极限学习机自动编码器特征学习方法

极限学习机自动编码器(ELM-AE)将极限学习机(ELM)技术与自动编码器(AE)结合,可以无监督学习数据特征且克服了参数迭代调整的昂贵时间消耗。然而,以最小化重构误差为目标的ELM-AE并不能有效利用分类问题中的数据类别信息,导致特征的类别可分性较差。针对此现象,本文提出一种面向数据分类的含类信息极限学习机自编码(CELM-AE)特征学习方法,该方法将投影特征向量的类间离散度与类内相似度限制到ELM-AE的目标函数中,且可通过解析算法求得更具类别分辨力的最优数据表示。对6种UCI数据集分别使用基于CELM-AE、ELM-AE和AE的特征表示进行分类实验,结果表明,CELM-AE得到的数据特征在两种分类器(ELM/KNN)下的分类精度与稳定性表现均优于ELM-AE与AE,且时间代价很小,说明了CELM-AE在提取可分性数据特征表示方面的优势。     

Machine learning for power system protection and control

Since the power system is undergoing a transition into a more flexible and complex system, it urges improvements in fault diagnosis techniques for the power system protection to avoid cascading damages at the occurrence of faults. Facing with challenges of massive data, several machine-learning based methods for identifying faults were proposed over the past years. In this paper, an overview of conventional and trending machine learning applications for the fault diagnosis are summarized.