基于超松弛双Q学习的源荷储协同频率稳定算法研究

具有强随机特性的新能源规模化接入将给电网带来强随机扰动,传统控制方法无法有效解决分布式电网模式下由强随机扰动引起的频率失衡、控制性能标准变差的问题。该文从二次调频角度提出一种多区域互联电网的智能发电控制算法,即超松弛双Q学习算法,来获取多区域协同控制。所提算法在快速Q学习基础上引入超松弛因子ω来加速最优值函数的计算,同时引入双Q学习策略来解决强化学习Q算法体系中的动作探索值过高估计问题,以提升算法的收敛性与更新效率。在改进的IEEE标准两区负荷频率控制模型以及云南互联电网模型中进行仿真分析,结果可知,所提算法表现出更佳的控制性能与收敛速度。     

基于多智能体相关均衡算法的自动发电控制

提出了一种分散式多智能体均衡算法(decentralized correlated equilibrium Q(?),DCEQ(λ))以解决新能源接入所带来的强随机环境下的互联电网自动发电控制。该算法以相关均衡概率选择机制平衡利用与探索,是一种典型的试错寻优且与模型无关的智能算法。在综合考虑分散式多智能体均衡算法在自动发电控制(automatic generation control,AGC)系统设计适用性的基础上,改进了多智能体算法的奖励函数;以区域控制偏差(area control error,ACE)实时绝对值赋予公平系数的方法设计了均衡选择函数;在分析了3种常用资格迹算法特点的基础上,融入了SARSA(λ)资格迹以有效解决火电机组等大延时环节所带来的时间信度分配问题。IEEE标准两区域频率响应模型与南方电网模型仿真研究表明,所提出的DCEQ(λ)控制器相对于单智能体Q(λ)控制器具有更好的控制性能,在控制过程中能有效消除ACE与控制性能标准(control performance standard,CPS)中的实时毛刺,显著提高互联电力系统的稳定性与鲁棒性。     

基于多智能体相关均衡算法的自动发电控制EI北大核心CSCD

提出了一种分散式多智能体均衡算法(decentralized correlated equilibrium Q(?),DCEQ(λ))以解决新能源接入所带来的强随机环境下的互联电网自动发电控制。该算法以相关均衡概率选择机制平衡利用与探索,是一种典型的试错寻优且与模型无关的智能算法。在综合考虑分散式多智能体均衡算法在自动发电控制(automatic generation control,AGC)系统设计适用性的基础上,改进了多智能体算法的奖励函数;以区域控制偏差(area control error,ACE)实时绝对值赋予公平系数的方法设计了均衡选择函数;在分析了3种常用资格迹算法特点的基础上,融入了SARSA(λ)资格迹以有效解决火电机组等大延时环节所带来的时间信度分配问题。IEEE标准两区域频率响应模型与南方电网模型仿真研究表明,所提出的DCEQ(λ)控制器相对于单智能体Q(λ)控制器具有更好的控制性能,在控制过程中能有效消除ACE与控制性能标准(control performance standard,CPS)中的实时毛刺,显著提高互联电力系统的稳定性与鲁棒性。     

基于权重双Q-时延更新学习算法的自动发电控制

大规模可再生能源和柔性负荷的接入会给分布式多区域互联电网带来强随机扰动,传统的控制方法无法有效提高由于强随机扰动所导致的电网愈来愈差的控制性能。为此,该文从自动发电控制角度提出一种面向分布式多区域互联电网的多智能体协同控制算法,即权重双Q-时延更新算法。所提算法可通过权重双Q算法来解决传统强化学习中动作探索值高估或低估的问题,并引入时延更新策略进一步提高其更新效率,进而提高其收敛性能。对改进的IEEE标准两区域负荷频率控制模型和融入大规模可再生能源的四区域互联电网模型进行仿真,仿真结果表明,所提算法能够有效提高电网的控制性能,实现分布式多区域互联电网间的协同控制,而且与传统方法相比,具有更优控制性能和更快收敛速度。     

基于深度置信网络状态最优反馈的智能发电控制策略

针对自动发电控制问题中的状态信息测取和最优发电控制策略的难题,结合深度置信网络与最优控制理论,提出了一种应用于自动发电控制领域的深度置信网络状态最优反馈算法。首先,设计了一种适用于发电控制问题的全状态最优反馈控制策略,并引入了深度置信网络学习全状态最优反馈控制特性,以深度置信网络的非线性表达能力弥补传统线性控制的不足,进而实现了非全状态信息反馈下的近似最优发电控制,有效解决了最优发电控制问题中的状态信息测取难题,同时提升了自动发电控制性能。在IEEE标准两区域系统的算例仿真结果表明,所提算法可以实现由自区域频率偏差与传输功率偏差组合反馈下的系统近似最优发电控制,验证了所提方法的有效性、可行性和强鲁棒性。     

基于CEQ(λ)强化学习算法的微电网智能发电控制

针对微电网孤岛运行模式下新能源发电强随机性导致的系统频率波动,提出了基于多智能体相关均衡强化学习(Correlated Equilibrium Q(λ),CEQ(λ))的微电网智能发电控制方法。在所搭建含有光伏发电、风力发电、小水电、微型燃气轮机和飞轮储能的微电网负荷频率控制(Load frequency Control,LFC)模型基础上,以频率偏差作为状态输入,提出了一种微电网孤岛运行模式下的CEQ(λ)智能发电控制器。仿真结果显示,与PI控制、单智能体R(λ)控制相比,CEQ(λ)控制器具有更好的在线学习能力,能显著增强孤岛微电网的鲁棒性和适应性,有效提高了频率的考核合格率。     

基于智能优化算法的互联电网负荷频率控制器设计及其控制性能分析

互联电网负荷频率控制对保障电网安全可靠运行具有重要作用,适宜的控制器参数整定使得电网在各种随机扰动下维持系统频率稳定和联络线功率交换值恒定。针对两区域互联电网的负荷频率控制器参数优化整定问题,提出一种基于智能优化算法的控制器参数整定设计方案。该方案采用最小化时间乘误差绝对值积分作为目标函数,运用灰狼优化算法搜索获得最优化的负荷频率控制器参数。灰狼优化算法模拟了狼群的社会分层机制和群体狩猎行为,使得控制器参数优化整定过程具有快速、高效、自适应和精度高等优点。此外,重点考虑了控制器参数不确定性可能导致的控制器性能衰减,讨论了控制器的脆弱性问题。建立了两区域互联电网负荷频率控制系统仿真模型,采用所提优化算法获取PI/PID型负荷频率控制器参数,仿真结果显示所提算法设计PI/PID控制器相比于传统方法和其他的智能优化算法具有更好的寻优能力和控制性能,并且优化获得的控制器在系统参数和控制器参数不确定性下具有鲁棒性和非脆弱性。     

面向综合能源系统的多智能体协同AGC策略

针对大规模可再生能源接入电网所带来的强随机扰动问题,从自动发电控制的角度提出感知历史经验的多智能体深度强化学习算法,即具有置信区间上界的深度强化学习(DQN-UCB).所提方法通过置信区间上界(UCB)策略来解决传统启发式方法在平衡"探索-利用"过程中,面对随机低质量样本带来的当前和目标Q值误差较大的问题;同时,基于置...     

基于R(λ)学习的孤岛微电网智能发电控制

通过研究各种分布式电源的发电特性,搭建了含风电、光伏发电、飞轮储能、小水电、微型燃气轮机与负荷的微电网负荷频率控制(Load Frequency Control, LFC)模型,其中小水电和微型燃气轮机为调频机组。将大型互联电网中的集中式自动发电控制(Automatic Generation Control, AGC)原理引入微电网,并结合基于平均报酬模型的多步R(?)学习算法,提出了一种孤岛运行模式下基于强化学习的AGC控制器,以实现对微网的智能发电控制与频率调整。仿真试验分析表明,与PI控制、Q学习和Q(?)学习相比,所提出的R(?)控制器具有快速收敛特性和良好的动态性能以及较强的模型适应性。     

基于拉格朗日松弛强化学习算法的自动发电控制EI北大核心CSCD

“双碳”目标加速了大规模新能源并网的新型电力系统的发展。传统控制方法无法有效解决分布式电网模式下新能源规模化接入所带来的强随机扰动,从而造成频率不稳定、控制性能标准(control performance standards,CPS)越来越差的问题。为此,该文从二次调频的角度提出一种能够保证具有较高的Q值更新学习率,且无论强随机环境亦或平稳环境均具有更稳定的响应特性的拉格朗日松弛强化学习算法,即重复更新Q学习拉格朗日松弛(repeated update Q-Learning using Lagrangian relaxation,RUQL-LR)算法,来获取多区域协同。对改进的IEEE标准两区域模型和以西南电网为基础的三区域模型进行仿真,验证了所提算法的有效性。该算法不仅能够在很大程度上提高Q值估计准确性,还能使弱耦合动态优化问题分散为多个子问题,以快速获取最优策略,且与多种强化学习算法相比,其Q值估计误差更小,能明显提高电网的频率稳定性。     

基于深度森林的电力系统暂态稳定评估方法

快速准确地实现暂态稳定评估,是电力系统安全运行的重要保障.近年来迅速发展的深度学习技术已经成为解决这一问题的有效手段,然而基于神经网络的深度学习模型存在着调参困难、训练时间长和样本需求量大等缺点.文中将故障切除时刻系统的物理量作为输入特征,以系统的暂态稳定状态作为输出结果,采用集成决策树方法,构建了基于深度森林的电力系统暂态稳定评估模型.新英格兰39节点系统的算例分析表明,所提方法与深度神经网络相比,参数设置简单、训练速度更快,即使在训练样本数量较少时也能有效避免过拟合,具有良好的泛化能力.     

一种基于DBN的高光谱遥感图像分类方法

高光谱遥感数据越来越普及并为人们广泛使用,基于高光谱数据的地面物体精确分类是高光谱遥感技术的核心应用之一。对高光谱数据进行提特征提取是进行地物分类的有效方法。深度学习是机器学习研究中的新领域,它多隐层的多层感知器结构使其能够学习到对数据有更本质的刻画的特征,在图像分类和可视化领域取得了更好的成绩。深度置信网（deep belief network ,DBN）是深度学习网络中常见的模型。利用高光谱数据的高维特性,搭建基于DBN的高光谱图像分类模型,结合高光谱数据的空间结构对地物进行分类。实验表明,基于DBN的高光谱图像分类方法可以得到更好的分类效果。     

基于改进深度置信网络的电力系统暂态稳定评估研究

为了提高深度置信网络的评估性能,提出一种基于稀疏降噪自动编码器和深度置信网络相结合的暂态稳定评估方法。首先,构建一组对系统暂态变化敏感且维数与系统规模无关的原始输入特征;其次,通过稀疏降噪自动编码器的无监督学习过程提取输入特征,用得到的权值和偏置初始化深度置信网络;最后,采用“预训练－微调”2种学习方法训练深度置信网络,获得原始输入特征与系统暂态稳定结果之间的映射关系。与采用随机初始化受限玻尔兹曼机的传统深度置信网络相比,本文提出的改进评估方法在一定程度上克服了由于随机初始化导致评估准确率无法达到最优的弊端。在新英格兰10机39节点系统上的仿真结果表明,该方法比常用的机器学习算法和深度置信网络有更好的评估性能,仿真结果还证明了本文所提方法具有良好的特征提取能力。     

考虑拓扑变化的电力系统暂态稳定评估

针对电力系统拓扑频繁变化导致暂态稳定评估（TSA）困难的问题,提出一种新颖的基于深度学习的TSA方案。基于深度森林（DF）构建暂态稳定评估模型,创新性地提出考虑主动学习技术和分级策略的DF更新方案。该方案从样本生成和模型训练两方面最大限度节省更新时间,并在电力系统拓扑变化后快速更新DF模型,有较强实用性。最后,在新英格兰39节点系统中对所提TSA方案进行验证,结果表明该方案对拓扑频繁变化的电力系统有更强的适应性与鲁棒性。     

基于性能改善深度置信网络的风电机组主轴承状态分析

针对风电机组数据采集与监视控制系统采集的状态数据具有大容量、多样性的特点,充分利用该数据研究风电机组主轴承的状态分析方法成为了重要问题。采用深度学习方法分析风电机组主轴承变量间的特征规则,提取反映主轴承状态的特征变量;通过指数加权移动平均法设定阈值检测特征变量的变化趋势,判定异常状态的发生;根据深度置信网络的特点,从数据集变量的异常数据剔除、训练数据批次的选择、参数调优的迭代周期以及在线学习训练等方面对模型性能进行优化和改善,从而使得深度置信网络能够充分挖掘数据集的信息特征,达到有效地反映主轴承状态的目的。通过对主轴承发生故障前、后记录的数据进行仿真分析,结果验证了深度置信网络方法对主轴承状态监测的有效性。     

基于深度强化学习的激励型需求响应决策优化模型

随着中国电力市场化改革的推进,售电侧市场逐步开放,售电商可以聚合大量的分散负荷参与电力市场环境下的需求响应.文中提出以售电商和用户综合收益最大化为目标的基于深度强化学习的激励型需求响应建模和求解方法.首先,建立售电商和用户的需求响应模型,通过引入时间-价格弹性,改进现有的用户响应模型,考虑用户对相邻时段补贴价格差的反应.然后,基于马尔可夫决策过程框架构建补贴价格决策优化模型,并设计基于深度Q学习网络的求解算法.最后,以1个售电商和3个不同类型的用户为例进行仿真计算,通过分析算法收敛性和对比不同模型及参数下的优化结果,验证了改进模型的合理性和生成策略的有效性,并分析了激励型需求响应对售电商以及用户的影响.     

基于深度确定策略梯度算法的主动配电网协调优化

将新一代人工智能在智能电网和能源互联网中进行应用,实现高比例可再生能源及时有效接入电网,文中基于深度学习中的深度确定策略梯度(DDPG)算法实现主动配电网的优化运行。首先,构造了含多微电网的主动配电网优化模型的DDPG回报函数,使主动配电网的节点电压总偏差和线损最小,最大限度地降低微电网功率调节量的变化以减小对微电网运行的影响,同时维持联络线功率平衡以减小对配电网的影响。然后,分析了主动配电网优化控制的DDPG样本数据处理、回报函数设计、模型训练和学习过程。最后,通过改进IEEE 14节点算例仿真验证了DDPG算法的有效性。     

深放电对阀控式铅酸电池性能的影响

通过阀控铅酸电池不同程度深放电的实验 ,研究了深放电对电池初期容量、荷电保持率、深循环寿命等性能的影响 ,并对影响性能的原因作了分析。研究表明 :由于电池深放电后进行再充电 ,α PbO2 与 β PbO2 相对含量的改变 ,从而引起了深放电后电池性能的改变。电池经过深放电有利于提高电池的初期容量但大大地缩短了电池的深循环寿命。     

基于深度置信网络的电压暂降特征提取及源辨识方法

提出一种基于深度置信网络(DBN)的电压暂降特征提取与暂降源辨识方法,利用DBN的特征提取能力对实测波形数据进行特征自提取,解决了人工提取特征过度依赖专家经验,受未知特征影响较大不具备一般性的问题。采用多隐层结构网络学习特征最终实现暂降源辨识。该模型集特征提取器与分类器于一体,优化了模型结构框架,提高了暂降源辨识效率。对模型最优参数进行选择,建立适用于电压暂降实测数据类型的DBN模型,对电网实测暂降数据进行特征提取与暂降源辨识,通过对比验证了DBN方法在特征提取与暂降源识别上的优越性,适用于实际工程。     

深孔加工工艺在普通车床上的应用

利用现有普通车床，采用两种方案进行深孔加工。不仅满足了新产品开发需要，也可节约大量资金。