基于分布式协作Q学习的信道与功率分配算法

为提高分布式认知无线网络认知用户信道与功率分配算法的能量效率和收敛速度,将单位能量的平均比特数作为通信效率指标,平衡用户通信质量和系统能量消耗,提出一种基于多Agent协作强化学习的分布式信道与功率分配算法。在多Agent独立Q学习的基础上引入协作学习,各用户通过独立Q学习后,共享Q值并进行融合再学习。仿真结果表明,与基于能效的独立Q学习算法、独立Q学习算法以及随机功率分配算法相比,该算法能够有效提高认知用户发射功率和信道分配时的收敛速度。     

基于Q—learning的一种多Agent系统结构模型

多Agent系统是近年来比较热门的一个研究领域,而Q-learning算法是强化学习算法中比较著名的算法,也是应用最广泛的一种强化学习算法。以单Agent强化学习Qlearning算法为基础,提出了一种新的学习协作算法,并根据此算法提出了一种新的多Agent系统体系结构模型,该结构的最大特点是提出了知识共享机制、团队结构思想和引入了服务商概念,最后通过仿真实验说明了该结构体系的优越性。     

基于Nearest-Biclusters协作过滤技术的效用图结构学习算法

在多议题协商研究中,议题之间的依赖关系增加了协商Agent效用函数的复杂性,从而使得多议题协商变得更加困难.基于效用图的多议题依赖协商模型是体现议题间依赖关系的多议题协商模型.在该协商模型中,协商双方仅需要较少的协商步数就能够找到满足Pareto效率的协商结局.如何有效地学习买方Agent的效用图结构是该协商模型的关键.文中基于Nearest-Biclusters协作过滤技术的思想提出了一种新的效用图结构学习算法(NBCFL算法).该算法首先利用Nearest-Biclusters协作过滤技术发现买方偏好的局部匹配特性,提取与当前买方Agent类型相同的买方Agent所产生的协商历史记录,然后通过计算各议题间的依赖度学习买方Agent的效用图结构.实验表明在参与协商的买方Agent类型不同的条件下,NBCFL算法比IBCFL算法能更好地学习买方Agent的效用图结构.     

基于多Agent的微电网电压无功控制系统

将多Agent技术引入微电网的电压无功控制中,并给出了基于多Agent的三级电压无功控制系统结构,重点分析了微网级(二级)电压无功控制。受电气距离思想的启发,提出了以操作优劣距离最短来确定最优操作动作的控制策略。以IEEE—39系统为基础的仿真说明了多Agent电压无功控制对微电网系统的电压无功能起到良好的调节控制作用。     

基于改进蚁群算法的Q学习算法研究

文中以围捕问题作为研究平台,以提高多Agent系统中Q学习算法的学习效率作为研究目标,提出了一种基于改进蚁群算法的Q学习算法。该算法将信息素的概念引入到Q学习中,结合采用动态自适应调整信息素挥发因子的蚁群算法,使Agent在进行行为决策时不再只以Q值作为参考标准,而是考量Q值与信息素的综合效应,加强了Agent彼此间的信息共享,增强了交互性。并且对于复杂变化的周围环境,根据具体环境条件,设立分阶段的多奖惩标准,使算法对于环境和状态有更好的适应性。仿真实验证明了改进后的Q学习算法提高了学习系统的效率,高效地实现了多Agent系统的目标任务。     

基于强化学习的多移动Agent学习算法

结合强化学习技术讨论了单移动Agent学习的过程,然后扩展到多移动Agent学习领域,提出一个多移动Agent学习算法MMAL(MultiMobileAgentLearning)。算法充分考虑了移动Agent学习的特点,使得移动Agent能够在不确定和有冲突目标的上下文中进行决策,解决在学习过程中Agent对移动时机的选择,并且能够大大降低计算代价。目的是使Agent能在随机动态的环境中进行自主、协作的学习。最后,通过仿真试验表明这种学习算法是一种高效、快速的学习方法。     

基于联合博弈的多Agent学习

在研究Q-Learning算法的基础上,将博弈论中的团队协作理论引入到强化学习中,提出了一种基于联合博弈的多Agent学习算法。该算法通过建立多个阶段博弈,根据回报矩阵对阶段博弈的结果进行评估,为其提供一种有效的A-gent行为决策策略,使每个Agent通过最优均衡解或观察协作Agent的历史动作和自身当前情况来预测其所要执行的动作。对任务调度问题进行仿真实验,验证了该算法的收敛性。     

基于多Agent的应急协同Petri网建模及协同检测

针对应急事件处置过程中的多组织协同问题,提出多Agent应急协同的Petri网模型定义,研究Agent内部Petri网基本结构及多Agent的协同交互Petri网建模,并给出了应急协同Petri网模型的协同检测算法。最后以某单位氯气泄漏应急事件处置过程为例,建立了应急协同Petri网模型,并进行协同检测及分析,验证方法有效性和实用性。     

多Agent协作的强化学习模型和算法

结合强化学习技术讨论了多Agent协作学习的过程,构造了一个新的多Agent协作学习模型。在这个模型的基础上,提出一个多Agent协作学习算法。算法充分考虑了多Agent共同学习的特点,使得Agent基于对动作长期利益的估计来预测其动作策略,并做出相应的决策,进而达成最优的联合动作策略。最后,通过对猎人。猎物追逐问题的仿真试验验证了该算法的收敛性,表明这种学习算法是一种高效、快速的学习方法。     

基于协进化机制的Multi-agent分布式智能控制体系

提出了一种基于协进化机制的多Agent分布式智能控制体系结构，采用划分基本行为模块的方法，将复杂、分布的控制系统构造成基于行为的、行为活性状态可调控的多Agent系统，并设计了基于协进化机制的分布式并行协进化学习机构及其协进化算法，使系统能分布并行地协进化各基本行为规则库和全局行为协调规则库。该体系结构能简单而有效地使系统的局部控制及全局行为协调协作具有较好的在线学习、自适应特性，系统可扩展性强，有较好的实用性，能应用于资源受限的嵌入式控制系统。     

Intelligent-controlled doubly fed induction generator system using PFNN

An intelligent-controlled doubly fed induction generator (DFIG) system using probabilistic fuzzy neural network (PFNN) is proposed in this study. This system can be applied as a stand-alone power supply system or as the emergency power system when the electricity grid fails for all sub-synchronous, synchronous, and super-synchronous conditions. The rotor side converter is controlled using the field-oriented control to produce three-phase stator voltages with constant magnitude and frequency at different rotor speeds. Moreover, the grid side converter, which is also controlled using field-oriented control, is primarily implemented to maintain the magnitude of the DC-link voltage. Furthermore, an intelligent PFNN controller is proposed for both the rotor and grid side converters to improve the transient and steady-state responses of the DFIG system at different operating conditions. The network structure, online learning algorithm, and convergence analyses of the PFNN are introduced in detail. Finally, the feasibility of the proposed control scheme is verified using some experimental results.     

基于Isolation Forest和Random Forest相结合的智能电网时间序列数据异常检测算法

智能电网的信息系统是保障电力行业正常运行的基础,而智能电网中各种时间序列数据的分析结果是衡量信息系统稳定运行的重要依据。传统的时间序列数据异常检测算法很难同时兼顾准确性和实时性。本文引入基于Isolation Forest和Random Forest相结合的智能电网时间序列数据异常检测算法,结合无监督学习算法和有监督学习算法的优点,实现机器自动标注和自动学习阈值,人工标注少量特征值,从一定程度上提高了时间序列数据异常检查准确性和实时性,可以满足智能电网时间序列数据异常检测需求,从而达到提升智能电网信息安全的目的。     

Intelligent control of doubly‐fed induction generator systems using PIDNNs

An intelligent control for a stand‐alone doubly‐fed induction generator (DFIG) system using a proportional‐integral‐derivative neural network (PIDNN) is proposed in this study. This system can be applied as a stand‐alone power supply system or as the emergency power system when the electricity grid fails for all sub‐synchronous, synchronous, and super‐synchronous conditions. The rotor side converter is controlled using field‐oriented control to produce 3‐phase stator voltages with constant magnitude and frequency at different rotor speeds. Moreover, the grid side converter, which is also controlled using field‐oriented control, is primarily implemented to maintain the magnitude of the DC‐link voltage. Furthermore, the intelligent PIDNN controller is proposed for both the rotor and grid side converters to improve the transient and steady‐state responses of the DFIG system for different operating conditions. Both the network structure and online learning algorithm are introduced in detail. Finally, the feasibility of the proposed control scheme is verified through experimentation. Copyright © 2011 John Wiley and Sons Asia Pte Ltd and Chinese Automatic Control Society     

MPPT算法与输入输出反馈线性化控制技术在光伏发电系统中的应用

针对目前光伏发电系统采用的固定电压法、增量电导法等最大功率点跟踪控制技术跟踪速度慢、精度不佳的问题,提出采用变步长电导增量法进行最大功率点跟踪控制;为了控制光伏系统中电网电流和直流母线电压,采用输入输出反馈线性化控制技术,使得系统的功率因数和直流母线电压可用相同的算法进行控制。在Matlab/Simulink环境下对基于变步长电导增量法算法与输入输出反馈线性化控制技术的光伏发电系统进行了建模仿真,结果表明,采用反馈线性化技术控制逆变器后,日照强度和温度变化不会对电网功率因数产生影响;变步长电导增量法提高了光伏发电系统的动态和稳态性能,且降低了电网电流的总谐波失真率。     

基于拉普拉斯特征映射学习的隐匿FDI攻击检测

智能电网中的隐匿虚假数据入侵(False data injection, FDI)攻击能够绕过坏数据检测机制, 导致控制中心做出错误的状态估计, 进而干扰电力系统的正常运行. 由于电网系统具有复杂的拓扑结构, 故基于传统机器学习的攻击信号检测方法存在维度过高带来的过拟合问题, 而深度学习检测方法则存在训练时间长、占用大量计算资源的问题. 为此, 针对智能电网中的隐匿FDI攻击信号, 提出了基于拉普拉斯特征映射降维的神经网络检测学习算法, 不仅降低了陷入过拟合的风险, 同时也提高了隐匿FDI攻击检测学习算法的泛化能力. 最后, 在IEEE57-Bus电力系统模型中验证了所提方法的优点和有效性.     

基于机器学习的电网关键断面安全运行自动控制系统设计

输电断面稳定超限问题日益突出,为此提出基于机器学习的电网关键断面安全运行自动控制系统.根据极限学习机理论使预测误差最小化,引入核函数获得关键断面精度.设计符合电网在线运行要求的电网关键断面安全运行自动控制网络框架,采用潮流法对断面输电极限功率实施运算,依据调度策略确定控制支路并实施约束,保证系统运行的安全性.控制电网负...     

融合MLP和DBN的光伏发电预测算法

精确的光伏发电预测对提高电力系统稳定性、保证电能质量、优化电网运行具有重大意义。为了解决现存光伏预测算法精度较低、性能较差的问题,同时为了综合利用多层感知器（MLP）解决非线性问题的能力以及深度信念网络（DBN）有效处理大量复杂数据的优势,构建了一种融合MLP和DBN的光伏预测算法（MLP-DBN）,其基本思想是先利用MLP模型进行初步预测,再将观测值与预测值的残差输入DBN预测模型进行预测,最后用残差预测值对MLP模型的预测值进行修正。利用光伏发电实测数据仿真,探究了不同学习率下模型的预测性能,并对模型的各参数进行了寻找优化设置。使用均方根误差、平均绝对误差以及决定系数等性能指标评估结果表明,与传统的预测算法支持向量机（SVM）以及具有较高预测精度的深度学习算法长短期记忆网络（LSTM）相比,MLP-DBN算法性能有明显的提升,为光伏发电提供了一种高精度高性能的预测算法,可以有效解决光伏发电预测问题。     

认知智能电网中基于能效优化的频谱分配策略

针对智能电网的无线通信环境存在频谱短缺、资源利用效率低等问题,将认知无线电技术应用于智能电网的邻域网络通信中.引入认知智能电网概念以保证业务传输的公平性和有效性,提出一种基于改进二进制蝴蝶优化算法(BOA)的频谱分配策略,此方案考虑了通信过程中的信噪比和路径损耗,选择系统能量效率作为信道效益,并且在拓扑结构固定的城市居民小区进行建模仿真.首先,使用基于改进时变转换函数和扰动策略的二进制蝴蝶优化算法(IBBOA)为认知智能电网用户进行频谱分配;然后,采用基于接收信噪比的闭环功率控制算法动态调整用户的传输功率,减少认知智能电网用户和主要用户之间存在的干扰;最后,以系统能量效率和两个用户公平性指数为优化目标,与遗传算法(GA)和二进制粒子群算法(BPSO)进行对比实验.仿真实验表明,联合闭环功率控制的IBBOA算法所获得的系统能量效率比未联合闭环功率控制的NBOA算法高33.2%,IBBOA算法最终的系统能量效率和用户公平性指数fair比GA算法分别高出47.8%和62.6%,比BBOA算法分别高出17.6%和26.7%.结果表明所提方案能够有效抑制认知智能电网中用户间的干扰,大大提高频谱利用率和系统能量效率.     

一种基于遗传算法的智能电网调度方法

随着智慧电网的发展,调度控制系统中的数据规模和种类呈指数型上升并且处理复杂度较高。为了更好地进行电力调度,给予电力系统相应的决策支持和更好地为客户服务,满足用户在不同时段的电力需求,本文基于遗传算法提出一种多种类型可控电器的G-DSM算法,将负荷调度问题定义为成本最小化问题,并用遗传算法求解;结合从用户侧获取的电力大数据对用户的电力需求进行规划,降低了用户的花销以及峰值电力负荷,从而避免电力资源的浪费,提高了电网的工作效率。实验结果表明,该算法具有较好的可行性,并在实际操作中易于实现。     

计及负荷不确定性的强化学习实时定价策略

面对当前电力系统的负荷不确定、新能源并网与双碳目标等现状,在充分考虑供需双方福利前提下,建立了智能电网背景下考虑负荷不确定与碳交易的实时定价模型,并基于强化学习能够处理变量复杂性、非凸非线性问题优点,采用强化学习中Q学习算法对模型进行迭代求解。首先,将用户与供电商实时交互过程转换为强化学习框架对应的马尔可夫决策过程;其次,通过智能体在动态环境中的反复探索表示用户与供电商的信息交互;最后,通过强化学习中的Q学习算法寻找最优值即最大社会福利值。仿真结果表明,所提实时定价策略能够有效提升社会福利,降低碳排放总量,这验证了所提模型和算法的有效性。