基于分层相关均衡强化学习的CPS指令优化分配算法

提出了一种应用在控制性能标准(CPS)下自动发电控制(AGC)指令(CPS指令)由调度端至各台机组的动态分配过程的分层多智能体相关均衡(HCEQ)算法。根据机组调频时延对其进行聚类分层,有效解决了CPS指令分配过程的维数灾难问题。相比单智能体强化学习算法,HCEQ算法引入了均衡目标函数的求解,有效提高了算法寻优速度。将功率偏差、水电裕度和调节成本目标以线性加权的方法转化为算法奖励函数,研究了不同权值下CPS控制性能和调节成本的变化关系。南方电网模型仿真研究表明,HCEQ算法具有较快的收敛速度,在复杂随机扰动的环境中能有效提高系统CPS考核合格率,并有效降低AGC调节成本。     

基于CEQ(λ)强化学习算法的微电网智能发电控制

针对微电网孤岛运行模式下新能源发电强随机性导致的系统频率波动,提出了基于多智能体相关均衡强化学习(Correlated Equilibrium Q(λ),CEQ(λ))的微电网智能发电控制方法。在所搭建含有光伏发电、风力发电、小水电、微型燃气轮机和飞轮储能的微电网负荷频率控制(Load frequency Control,LFC)模型基础上,以频率偏差作为状态输入,提出了一种微电网孤岛运行模式下的CEQ(λ)智能发电控制器。仿真结果显示,与PI控制、单智能体R(λ)控制相比,CEQ(λ)控制器具有更好的在线学习能力,能显著增强孤岛微电网的鲁棒性和适应性,有效提高了频率的考核合格率。     

基于多智能体相关均衡算法的自动发电控制

提出了一种分散式多智能体均衡算法(decentralized correlated equilibrium Q(?),DCEQ(λ))以解决新能源接入所带来的强随机环境下的互联电网自动发电控制。该算法以相关均衡概率选择机制平衡利用与探索,是一种典型的试错寻优且与模型无关的智能算法。在综合考虑分散式多智能体均衡算法在自动发电控制(automatic generation control,AGC)系统设计适用性的基础上,改进了多智能体算法的奖励函数;以区域控制偏差(area control error,ACE)实时绝对值赋予公平系数的方法设计了均衡选择函数;在分析了3种常用资格迹算法特点的基础上,融入了SARSA(λ)资格迹以有效解决火电机组等大延时环节所带来的时间信度分配问题。IEEE标准两区域频率响应模型与南方电网模型仿真研究表明,所提出的DCEQ(λ)控制器相对于单智能体Q(λ)控制器具有更好的控制性能,在控制过程中能有效消除ACE与控制性能标准(control performance standard,CPS)中的实时毛刺,显著提高互联电力系统的稳定性与鲁棒性。     

基于多智能体相关均衡算法的自动发电控制EI北大核心CSCD

提出了一种分散式多智能体均衡算法(decentralized correlated equilibrium Q(?),DCEQ(λ))以解决新能源接入所带来的强随机环境下的互联电网自动发电控制。该算法以相关均衡概率选择机制平衡利用与探索,是一种典型的试错寻优且与模型无关的智能算法。在综合考虑分散式多智能体均衡算法在自动发电控制(automatic generation control,AGC)系统设计适用性的基础上,改进了多智能体算法的奖励函数;以区域控制偏差(area control error,ACE)实时绝对值赋予公平系数的方法设计了均衡选择函数;在分析了3种常用资格迹算法特点的基础上,融入了SARSA(λ)资格迹以有效解决火电机组等大延时环节所带来的时间信度分配问题。IEEE标准两区域频率响应模型与南方电网模型仿真研究表明,所提出的DCEQ(λ)控制器相对于单智能体Q(λ)控制器具有更好的控制性能,在控制过程中能有效消除ACE与控制性能标准(control performance standard,CPS)中的实时毛刺,显著提高互联电力系统的稳定性与鲁棒性。     

基于改进分层强化学习的CPS指令多目标动态优化分配算法

应用经典强化学习方法的控制性能标准(control performance standard,CPS)下自动发电控制(automatic generation control,AGC)指令(CPS指令)由调度端至电网各台机组的分配过程不可避免出现维数灾难问题。提出应用分层强化学习的方法,将全网机组按调频时延做初次分类,CPS指令逐层分配形成任务分层结构。在分层Q学习算法层与层之间引入一个时变协调因子,改进的分层Q学习算法有效提高原算法收敛速度。奖励函数中设计不同的权值线性组合,展示保守及乐观控制下系统CPS控制水平和调节成本的变化关系。南方电网统计性仿真分析表明,改进分层Q学习算法较分层Q学习算法平均收敛时间缩短47％,在复杂随机扰动的环境中改进算法能有效提高系统CPS考核合格率,并降低调节成本约5％。     

互联电网CPS调节指令动态最优分配Q–学习算法

控制性能标准(control performance standard,CPS)下互联电网调度端的自动发电控制(automatic generation control,AGC)指令(简称CPS指令)到各类型AGC机组的动态优化分配是随机最优问题。将CPS指令分配的连续控制过程离散化,并可将其看作是一个离散时间马尔可夫决策过程,提出应用基于Q–学习的动态控制方法。根据优化目标的差异,设计不同的奖励函数,并将其引入到算法当中,有效结合水、火电机组的调节特性,并考虑水电机组的调节裕度,提高AGC系统调节能力。遗传算法和工程实用方法在标准两区域模型及南方电网模型的仿真研究显示,Q–学习有效提高了系统的适应性、鲁棒性和CPS考核合格率。     

基于平均报酬模型全过程R(λ)学习的互联电网CPS最优控制

提出了一种新颖的基于平均报酬模型的全过程R(λ)学习互联电力系统CPS最优控制方法。该方法与电网自动发电控制(AGC)追求较高的考核时间段内的10min平均控制性能标准(CPS)指标合格率的目标相吻合,且所提出的基于平均报酬模型的R(λ)学习算法与基于折扣报酬模型的Q(λ)学习算法相比,在线学习收敛速度更快,可获得更佳的CPS指标。此外,所提出的改进的R(λ)控制器具有全过程在线学习的特点,其预学习过程被一种新型的在线"模仿学习"所代替,克服了以往强化学习控制需要另外搭建仿真模型来进行预学习收敛的严重缺陷,提高了R(λ)控制器的学习效率及其在实际电力系统中的应用性。     

基于强化学习理论的输电网扩展规划方法

该文将人工智能扩展至传统输电网规划中,提出基于强化学习理论的输电网扩展规划方法,以带自适应学习因子的多步回溯α-Q(λ)算法进行求解。基于数据库与蒙特卡洛法,并计及输电可靠性成本建立了扩展规划模型,设计自适应学习因子的多步回溯Q(λ)算法,利用强化学习智能体以最大累积奖励为目标,结合输电网扩展规划特性,将混合整数规划模型转换为算法的智能体与环境,用以模拟规划人员对电网的规划过程。在Garver-6与IEEE 24-RTS系统中验证该文所提方法的有效性,并与其他智能算法进行比较。     

基于深度Q学习的强鲁棒性智能发电控制器设计

在现代互联大电网背景下,研究了多区域强鲁棒性的智能发电控制策略。在Q学习的架构下,将深度神经网络的预测机制作为强化学习的动作选择机制,提出了一种具有强鲁棒性的深度Q学习算法,设计了基于该算法的智能发电控制器。针对智能电网下的智能发电控制问题,在多智能体系统的框架下采用所提深度Q学习算法进行控制,并与传统的PID、Q学习和Q(λ)算法进行对比。在IEEE标准2区域和以南方电网4区域为背景的仿真模型(采用了23 328种不同模型参数)中进行数值仿真,仿真结果验证了所提深度Q学习算法的可行性和有效性,也验证了所设计控制器的强鲁棒性。     

基于多智能体深度强化学习的电热联合系统优化运行

电热联合系统优化调度问题对于实现系统的能源互补、经济运行具有重要意义.电热联合系统优化运行涉及非线性、非凸、多目标问题求解,传统方法在计算实时性与迭代收敛性等方面存在困难.文章首先构建电热联合系统优化数学模型,将电热联合系统按照不同利益主体划分为多智能体,基于多智能体深度确定性策略梯度强化学习算法,建立了适用于电热联合系统的行动器-评判器框架,将优化模型转化为强化学习模型.其次对智能体进行了状态与动作空间的划分,搭建多智能体强化学习环境并设计相应的奖励函数.最后进行电热联合系统算例验证,表明所提方法可以有效解决电热联合系统优化问题.训练后的多智能体强化学习模型可实时生成优化策略,克服传统方法运算时间长、难以满足在线计算要求的问题;和单智能体算法相比,模型训练过程更易稳定收敛,执行过程中各智能体仅依赖局部信息完成计算,解决不同利益主体的数据共享问题.     

函数联接神经网络的实验研究

函数联接神经网络具有结构简单 ,易于实现 ,扩展性和通用性强等许多优点 .利用面向对象方法实现了函数联接神经网络的几种模型 ,探讨了该网络的变结构调整问题 ,并通过实际的例子对网络的不同模型进行了实验研究 ,提出了一个新的学习因子动态调整算法     

A brainlike learning system with supervised,unsupervised, and reinforcement learning

According to Hebb's cell assembly theory, the brain has the capability of function localization. On the other hand, it is suggested that in the brain there are three different learning paradigms: supervised, unsupervised, and reinforcement learning, which are related deeply to the three parts of brain: cerebellum, cerebral cortex, and basal ganglia, respectively. Inspired by the above knowledge of the brain in this paper we present a brainlike learning system consisting of three parts: supervised learning (SL) part, unsupervised learning (UL) part, and reinforcement learning (RL) part. The SL part is a main part learning input–output mapping; the UL part is a competitive network dividing input space into subspaces and realizes the capability of function localization by controlling firing strength of neurons in the SL part based on input patterns; the RL part is a reinforcement learning scheme, which optimizes system performance by adjusting the parameters in the UL part. Numerical simulations have been carried out and the simulation results confirm the effectiveness of the proposed brainlike learning system. © 2007 Wiley Periodicals, Inc. Electr Eng Jpn, 162(1): 32–39, 2008; Published online in Wiley InterScience ( www.interscience.wiley.com ). DOI 10.1002/eej.20600     

论非英语专业英语学习的个体差异(英文)

对两类非英语专业在校学生的英语学习进行探讨,调查表明学生的学习态度、动机、方法、策略及其它因素直接影响学生的成绩,通过列举各种因素并对其加以分析和研究,指出其中的管理策略重要性;同时总结出如果将此学习策略并入日常英语教学中,加强对此策略的训练,非英语专业学生会有较为成功的第二语言学习。     

一类模糊自适应PID迭代学习控制系统的研究

为了提高被控系统的控制精度和收敛速度,提出一种模糊自适应PID迭代学习控制算法,算法充分利用了PID迭代学习律可靠性高、鲁棒性强等优点,运用模糊整定单元对经验PID学习律的参数进行实时校正。针对一类LTI系统,设计了具有针对性的模糊自适应PID学习律,并对本文提出的算法进行了仿真分析。     

融合多类型深度迁移学习的电力系统暂态稳定自适应评估

针对不同类型人工智能网络应用于电力系统暂态稳定评估时精度和泛化能力不稳定、运行方式或拓扑结构发生较大变化时评估精度下降、重新训练新模型费时费力等问题,提出一种融合多类型深度迁移学习模型（tmDLM）的自适应评估方法,该方法融合了深度置信网络、卷积神经网络以及长短期记忆网络3种不同的深度学习模型。将训练好的各类深度学习模型作为源域模型,当运行方式或拓扑结构发生较大变化时,采用少量目标域样本集微调预训练模型,使其快速跟踪系统当前的运行状态,并得到tmDLM。新英格兰10机39节点系统和华中电网的仿真结果表明：所提方法可以充分发挥各类深度学习方法的优势,具有良好的泛化能力;六分类模型能够在判稳的同时进行稳定裕度/失稳程度等级的评估;经过迁移后的深度学习模型具有良好的评估精度和时效性,大幅缩短了模型更新时间,实现了电力系统暂态稳定的自适应评估。     

基于对比学习生成对抗网络的无监督工业品表面异常检测

在工业品表面异常检测中，由于异常的未知性和无规则性，人工标注异常样本难度大、成本高，有监督的深度学习算法在工业品表面异常检测任务中存在局限性。针对上述问题，提出一种基于对比学习生成对抗网络(contrastive learning generative adversarial network, CLGAN)的无监督工业品表面异常检测算法。首先，建立基于无监督学习算法的CLGAN模型；其次，采用对比学习加强潜在特征空间正负例样本约束，使得输入与输出图像对应Patch之间的互信息最大化，增强正负样本特征向量区分度，使模型重构异常样本图像能力得到进一步提升；然后，在检测阶段，利用训练好的模型得到待测工业品的无异常重构图像，并计算得到待测样本与其对应重构图像之间的残差图像；最后，结合双阈值分割的后处理方法和数学形态学处理，实现工业品表面异常区域地快速检测和准确定位。通过在公共数据集MVTec AD上进行实验，与其他的无监督深度学习模型算法相比，所提算法具有更好的识别效果和更强的泛化能力。     

R‐learning with multiple state‐action value tables

We propose a method to improve the performance of R‐learning, a reinforcement learning algorithm, by using multiple state‐action value tables. Unlike Q‐ or Sarsa learning, R‐learning learns a policy to maximize undiscounted rewards. Multiple state‐action value tables cause substantial explorations as needed and make R‐learning work well. Efficiency of the proposed method is verified through experiments in a simulated environment. © 2007 Wiley Periodicals, Inc. Electr Eng Jpn, 159(3): 34– 47, 2007; Published online in Wiley InterScience ( www.interscience. wiley.com ). DOI 10.1002/eej.20473     

基于Bagging集成学习的电力系统暂态稳定在线评估

针对传统机器学习在处理暂态稳定评估时所表现出的稳定性差、精度低等问题以及离线训练的局限性,提出一种基于多模型融合Bagging集成学习方式的电力系统暂态稳定在线评估模型。首先,结合人工智能前沿理论研究,分析了暂态稳定评估中常用的7种机器学习算法的原理及实现方式,通过Bagging方法进行集成,充分发挥各个模型的优势。其次,给出Bagging集成的数学实现方法并进行了仿真实验。当原系统拓扑结构发生改变时,采用Boosting算法和迁移成分分析,分别对原电网历史数据进行样本迁移和特征迁移,完成对所提模型的在线更新。通过采用IEEE10机39节点系统和IEEE16机68节点系统进行分析,结果表明所提方法比传统机器学习模型精度更高。当数据中掺杂噪声时能够保持稳定运行,在系统拓扑改变时能够通过迁移历史数据进行准确的暂态稳定评估。     

Machine learning for power system protection and control

Since the power system is undergoing a transition into a more flexible and complex system, it urges improvements in fault diagnosis techniques for the power system protection to avoid cascading damages at the occurrence of faults. Facing with challenges of massive data, several machine-learning based methods for identifying faults were proposed over the past years. In this paper, an overview of conventional and trending machine learning applications for the fault diagnosis are summarized.     

含类信息的极限学习机自动编码器特征学习方法

极限学习机自动编码器(ELM-AE)将极限学习机(ELM)技术与自动编码器(AE)结合,可以无监督学习数据特征且克服了参数迭代调整的昂贵时间消耗。然而,以最小化重构误差为目标的ELM-AE并不能有效利用分类问题中的数据类别信息,导致特征的类别可分性较差。针对此现象,本文提出一种面向数据分类的含类信息极限学习机自编码(CELM-AE)特征学习方法,该方法将投影特征向量的类间离散度与类内相似度限制到ELM-AE的目标函数中,且可通过解析算法求得更具类别分辨力的最优数据表示。对6种UCI数据集分别使用基于CELM-AE、ELM-AE和AE的特征表示进行分类实验,结果表明,CELM-AE得到的数据特征在两种分类器(ELM/KNN)下的分类精度与稳定性表现均优于ELM-AE与AE,且时间代价很小,说明了CELM-AE在提取可分性数据特征表示方面的优势。