基于分层强化学习的电动汽车充电引导方法

为了有效解决电动汽车充电目的地优化和充电路径规划问题,以及充电引导的在线实时决策问题,建立了考虑多种不确定因素的电动汽车充电引导双层优化模型,提出了一种基于分层增强深度Q网络强化学习(HEDQN)的电动汽车充电引导方法。所提HEDQN算法采用基于Huber损失函数的双竞争型深度Q网络算法,并包含2层增强深度Q网络(eDQN)算法。上层eDQN用于对电动汽车充电目的地的优化;在此基础上,下层eDQN用于对电动汽车充电路径的实时优化。最后,在某城市交通网络中对所提HEDQN算法进行仿真验证,仿真结果表明相比基于Dijkstra最短路径的就近推荐算法、单层深度Q网络强化学习算法和传统的分层深度Q网络强化学习算法,所提HEDQN算法能够有效降低电动汽车充电费用,实现电动汽车在线实时的充电引导。此外还验证了所提HEDQN算法在仿真环境变化后的适应性。     

基于关键帧定位的人体异常行为识别

近年来,基于视频的人体异常行为识别算法取得了一定的研究成果,但由于监控视频中存储的数据量庞大且视频时间跨度较长,在进行长视频或多行人异常动作检测与识别时,现有的识别方法并不适用。为此,提出了一种基于关键帧定位的人体异常行为识别模型,首先,通过基于标准化流和注意力增强时空图卷积的关键帧定位网络学习正常帧的概率分布,筛选和提取出长视频中的异常帧（关键帧）序列,并将其作为后续网络模型的输入。然后,为了更好地捕捉人体姿势的运动特征和异常情况,提出一种融合注意力和增强残差的时空图卷积异常行为识别算法,将关键帧序列输入到该模型网络中以实现对监控视频中的人体异常行为的高效准确识别。使用公开数据集和自建数据集对该方法的有效性进行验证,实验结果表明,在公开数据集ShanghaiTech Campus上人体异常行为识别的TOP-1准确率达到82.86%,TOP-5准确率达到98.10%,该方法可以更好的完成监控视频中的人体异常行为识别。     

基于智能图像分析的变电设备状态识别技术研究∗

从变电站监控系统的应用概况出发,提出了一种基于深度学习技术的变电站视频监控隐患排查方法,通过训练深度学习网络模型以实现对监控视频中安全隐患的智能识别,具体包含视频质量检测、违章行为识别、安全风险识别、变电站设备故障识别、隔离开关设备状态识别等.另外,通过构建安全隐患数据集并进行实验初步验证了该方法的可行性,为智能图像识别技术在电力系统的应用提供参考.     

基于深度学习的电容器介损角在线辨识

当前电容器介质损耗因素的计算方法为正向求解过程,即先对电容器工作电流和电压进行采样,再使用谐波分析等方法计算介损值,实践中算法稳定性不佳。为此提出了一种基于深度学习的电容器介损角辨识方法,采用一段时间的监测值训练深度学习网络,再使用该深度学习网络对新采样的信号进行辨识,判断介损角变化量(分辨率为0.001%)。给出了用于深度学习的介损角表示信号Dδ(t)的计算过程,证明了在讨论域内该信号的幅值即是介损角δ,且其波形形状包含监测装置受到的干扰。仿真实验证明该方法有效,比加汉宁窗的谐波分析法具有更好的抗噪能力。实际在线监测样本的计算结果表明其稳定性优于加汉宁窗的谐波分析法,且辨识结果不受电压互感器角差的影响。     

基于改进SAC的倒立摆控制算法研究

针对倒立摆系统控制过程中易受外界干扰和自然不稳定的特点,以及深度强化学习SAC算法采样数据利用率较低和随机离线策略网络收敛较慢的问题,提出了一种结合近端经验采样和优化策略网络结构的改进算法PRER＿SAC。构建神经网络拟合函数,策略网络使用性能更优的Mish函数作为激活函数,设置自调节温度系数以增强智能体的探索能力;设计远、近两个经验池,及一种改变数据存放频率的训练策略,提高数据样本的利用率。通过仿真实验对比,所提方法在同等训练次数下所得回报值和算法收敛速度优于DDPG和SAC算法,同传统控制方法PID和LQR相比,有更好的控制效果。最后,对训练好的智能体加入角度扰动,可在2 s内被消除抑制,证明提出的算法具有较强的适用性。     

基于主动迁移学习的电力系统拓扑自适应暂态稳定评估

在基于深度学习的数据驱动型电力系统暂态稳定评估技术中,需要解决的一个关键应用挑战是对系统拓扑结构变化和电网扩展的适用性问题。该文首先提出一种考虑电气属性的互注意力图池化方法,基于注意力机制,按照电网节点的属性和距离执行差异化的特征综合,提升图深度学习特征聚合对拓扑结构变化的适用性。在此基础上,提出一种基于主动迁移学习的暂态稳定评估方案,在电网结构大幅变化或扩展时可以利用少量新系统标注样本完成模型的学习。提出梯度加权距离评价样本相似性,从原系统中获取新系统样本伪标签以实现新系统模型的初始训练。设计考虑不确定性和多样性的主动采样策略从新系统中持续挑选高价值样本进行标注,大幅减少样本标注成本。在IEEE 39、300节点系统上的测试结果验证了该文方案的优越性。     

基于深度强化学习的同步发电机最优励磁控制方法

常规的同步发电机最优励磁控制方法主要使用ARX(AutoRegressive with eXternal input)自回归各态经历模型生成控制传递函数,易受采样周期离散化作用影响,导致控制扰动过高,因此提出基于深度强化学习设计一种全新的同步发电机最优励磁控制方法。构建了同步发电机最优励磁控制模型,利用深度强化学习设计了同步发电机励磁模糊控制器,优化了同步发电机最优励磁控制参数,从而实现了同步发电机最优励磁控制。实验结果表明,同步发电机深度强化学习最优励磁控制方法在不同状态下的控制扰动均较低,说明控制效果较好,具有可靠性,有一定的应用价值。     

CNN 集成机器学习的金属缺陷少样本分类方法

针对金属缺陷分类,以深度学习为代表的分类方法主要是基于大规模数据的统计学习方法,一方面需要大量优质的标注样本,另一方面对数据中未能涵盖的样本泛化性能差。提出了一种利用集成学习思想,将人类分类知识嵌入到深度学习的少样本分类方法。首先搭建了一个卷积神经网络作为分类模型的骨干网络,并设计了一个利用机器学习的类人学习模块,利用人类分类所用特征进行分类。此外,为了提高模型的泛化性、鲁棒性和更好的融合效果,设计了一种以对数函数为核心的数学集成模型,模块中的数学集成模型利用集成学习思想将骨干网络和类人学习模块的输出进行耦合。实验结果表明,对于小训练集大测试集的金属缺陷数据在分类性能和训练参数量方面优于深度学习方法。此外,类人学习模块和数学集成模型嵌入到不同的骨干网络上均取得了很好的性能,表明所提出的方法适用于多种深度卷积神经网络。     

基于深度置信网络的电能质量扰动检测与分类

为准确识别各类电能质量扰动,提出一种新型的、基于深度置信网络(deep belief network, DBN)的电能质量(power quality, PQ)扰动检测和分类方法。该方法为纯数据驱动方法,通过使用DBN对数据样本进行深度学习,从而形成稳定模型用于检测与分类。为了获得足够的样本进行训练,搭建1个周期内的PQ扰动数学模型,进行数据采集;然后对DBN的结构及参数进行设计和选取。为验证该方法的有效性,使用训练好的DBN对常见的PQ扰动信号进行检测和分类,并与现有的常规检测分类方法进行比较。对比仿真结果表明,与现有的检测分类方法相比,该方法具有更高的精度和较强的鲁棒性。     

基于约束性循环一致生成对抗网络的人脸表情识别方法

深度神经网络在表情分类识别中会由于样本数量不均衡,样本相似度高出现过拟合,导致识别结果不理想,而通过旋转变换、添加噪声等数据增强方法不能解决相似度较高的问题。为此,对循环一致生成对抗网络(Cycle-GAN)进行改进,通过引入类别约束性条件,构建一种基于约束性循环一致生成对抗网络(CCycle-GAN),实现了一对多的数据类别映射,减少了模型训练开销;同时,为了提高人脸表情识别效率,对Cycle-GAN判别器进行改进,用一个辅助表情分类器替换循环一致生成对抗网络的判别器,不仅可以判断输入图像的真假,而且可以对表情进行分类。在CK+和FER2013数据集上的实验结果表明,该方法可以有效地解决神经网络中的过拟合和样本不均问题,提高了表情样本生成质量,进而提高了人脸表情识别率。     

基于改进深度强化学习的移动机器人路径规划

针对传统深度强化学习中移动机器人在稀疏奖励环境下只有在规定时间步内到达目标位置才能得到积极奖励,中间过程的每一步都是负面奖励的路径规划问题.提出了基于改进深度Q网络的路径规划方法,在移动机器人在探索过程中,对以真实目标为条件的轨迹进行采样,在经验回放过程中,把移动机器人已经到达的状态来代替真正的目标,这样移动机器人可以获得足够的积极奖励信号来开始学习.通过深度卷积神经网络模型,将原始RGB图像作为输入,通过端对端的方法训练,利用置信区间上界探索策略和小批量样本的方法训练神经网络参数,最后得到上、下、左、右4个动作的Q值.在相同的仿真环境中结果表明,该算法提升了采样效率,训练迭代更快,并且更容易收敛,避开障碍物到达终点的成功率增加40％左右,一定程度上解决了稀疏奖励带来的问题.     

钢板表面缺陷深度主动学习高效分类方法

针对钢板表面缺陷图像分类传统深度学习算法中需要大量标签数据的问题,提出一种基于主动学习的高效分类方法。 该方法包含一个轻量级的卷积神经网络和一个基于不确定性的主动学习样本筛选策略。 神经网络采用简化的 convolutional base 进行特征提取,然后用全局池化层替换掉传统密集连接分类器中的隐藏层来减轻过拟合。 为了更好的衡量模型对未标签 图像样本所属类别的不确定性,首先将未标签图像样本传入到用标签图像样本训练好的模型,得到模型对每一个未标签样本关 于标签的概率分布(probability distribution over classes,PDC),然后用此模型对标签样本进行预测并得到模型对每个标签的平均 PDC。 将两类分布的 KL-divergence 值作为不确定性指标来筛选未标签图像进行人工标注。 根据在 NEU-CLS 开源缺陷数据集 上的对比实验,该方法可以通过 44%的标签数据实现 97%的准确率,极大降低标注成本。     

基于约束型深度强化学习的主动配电网 电压控制策略

随着分布式电源与随机性负荷的大量接入,配电网的电压波动问题变得愈发严重。主动配电网能通过各种电压无功控制器平抑电压波动,但通常需要求解一个复杂的混合整数二阶锥规划问题,难以做到实时控制。文中利用深度强化学习建立了一个主动配电网实时电压控制模型,能快速得到满足潮流约束的控制策略。采集节点有功、节点无功、设备档位、时间步作为环境状态变量;以和网损及设备操作相关的费用作为回报函数来协调三个控制设备;通过基于长短时记忆网络的约束型强化学习来求解,从而建立主动配电网实时电压控制模型。基于4节点测试系统和IEEE-33节点测试系统进行了仿真,仿真结果表明,所提的深度强化学习方法能确保潮流约束,电压控制模型能实时控制电压无功控制器,以保证配电网的电压质量。     

Deep Reinforcement Learning Solves Job-shop Scheduling Problems

To solve the sparse reward problem of job-shop scheduling by deep reinforcement learning, a deep reinforcement learning framework considering sparse reward problem is proposed. The job shop scheduling problem is transformed into Markov decision process, and six state features are designed to improve the state feature representation by using two-way scheduling method, including four state features that distinguish the optimal action and two state features that are related to the learning goal. An extended variant of graph isomorphic network GIN++ is used to encode disjunction graphs to improve the performance and generalization ability of the model. Through iterative greedy algorithm, random strategy is generated as the initial strategy, and the action with the maximum information gain is selected to expand it to optimize the exploration ability of Actor-Critic algorithm. Through validation of the trained policy model on multiple public test data sets and comparison with other advanced DRL methods and scheduling rules, the proposed method reduces the minimum average gap by 3.49%, 5.31% and 4.16%, respectively, compared with the priority rule-based method, and 5.34% compared with the learning-based method. 11.97% and 5.02%, effectively improving the accuracy of DRL to solve the approximate solution of JSSP minimum completion time.     

基于价值分解深度强化学习的分布式光伏主动电压控制方法

针对主动电压控制问题,深度强化学习能够有效地解决数学优化方法在精确性和实时性方面的不足。但传统多智能体深度强化学习方法存在信用分配、过度泛化等问题,难以学习到全局最优的协调策略,控制效果较差。为此,提出了一种基于价值分解深度强化学习的分布式光伏主动电压控制方法。将主动电压控制问题建模为分布式部分可观测马尔可夫决策过程,然后基于中心化训练和去中心化执行框架,提出分解式价值网络、集中式策略梯度2项改进措施：将全局价值网络分解为个体价值网络和混合网络,并采用所有智能体的当前策略进行集中参数更新。改进的IEEE 33节点配电网系统的算例结果表明,所提方法表现出了优越的稳压减损控制性能,且在训练速度、场景鲁棒性等方面具备一定的优势。     

基于知识嵌入和DNN的工商业用户异常用电检测

目前的异常用电检测研究主要以居民用户为对象,相关方法并不适用于工商业用户。针对此问题,本文提出一种融合了电能计量原理的基于深度学习的异常用电检测方法。首先,分析了各类异常用电的数据现象,结果说明单纯采用智能电表数据不足以准确检测异常用电。本文遵循电能计量原理,将描述电气参量内部逻辑关系的指标作为知识嵌入智能电表数据,构建深度学习样本模型。然后,本文提出了一个改进的深度混合残差神经网络,确保从海量智能电表数据中学习用于识别异常用电的高级特征。实验结果表明,相比多个基准算法,本文方法在所有评估指标上均取得了明显的提升。     

基于深度强化学习的微电网在线优化

针对微电网的随机优化调度问题,提出了一种基于深度强化学习的微电网在线优化算法。利用深度神经网络近似状态-动作值函数,把蓄电池的动作离散化作为神经网络输出,然后利用非线性规划求解剩余决策变量并计算立即回报,通过Q学习算法,获取最优策略。为使得神经网络适应风光负荷的随机性,根据风电、光伏和负荷功率预测曲线及其预测误差,利用蒙特卡洛抽样生成多组训练曲线来训练神经网络;训练完成后,保存权重,根据微电网实时输入状态,神经网络能实时输出蓄电池的动作,实现微电网的在线优化调度。在风电、光伏和负荷功率发生波动的情况下与日前优化结果进行对比,验证了该算法相比于日前优化在微电网在线优化中的有效性和优越性。     

基于自编码网络的局部放电信号特征提取与识别

气体绝缘金属封闭开关设备(GIS)的状态影响电力系统运行的可靠性,而局部放电是设备潜伏性绝缘故障的重要表现之一。传统局部放电模式识别方法依赖专家经验选取局部放电特征,主观性强且不确定度高。针对这一问题,文中提出将深度学习技术引入局部放电模式识别领域,运用卷积神经网络及其扩展自编码网络提取局部放电信号特征,充分发挥自编码网络的特征抽取能力。同时,将所提取的特征与经典分类器进行衔接,有机结合传统机器学习方法与深度学习方法,实现局部放电信号的基本参数提取、统计特征计算与放电类型识别。实验结果表明,文中所提方法提取的特征相较传统的人工特征可明显提高局部放电的分类准确率和分类效率,具有广阔的工程应用前景。     

Deep attention and generative neural networks for nonintrusive load monitoring

In recent years, Nonintrusive Load Monitoring (NILM) has been considered a crucial problem for energy monitoring and management, especially in the residential sector. In this area, deep learning has shown state-of-the-art performance due to its many tunable parameters that help its generalization power extract highly nonlinear patterns from the residential load. This paper reviews the recent discriminative deep neural networks proposed for NILM and develops attention-based deep neural architectures to improve the accuracy of current studies. In this context, we present a novel attention-based variational autoencoder and sparse coding model which uses the long short-term memory (LSTM) network and a dictionary learning module for generative disaggregation of residential loads. We show how the attention mechanisms can help deep learning better understand the correlations between NILM features and how generative pattern recognition can help capture the underlying probability densities of the features thereby improving the NILM accuracy for cutting-edge deep learning solutions. Our numerical results on the real-world Reference Energy Disaggregation Dataset (REDD) show remarkable improvements compared to the state-of-the-art using disaggregation accuracy and F-score metrics.     

基于改进深度置信网络的电力系统暂态稳定评估研究

为了提高深度置信网络的评估性能,提出一种基于稀疏降噪自动编码器和深度置信网络相结合的暂态稳定评估方法。首先,构建一组对系统暂态变化敏感且维数与系统规模无关的原始输入特征;其次,通过稀疏降噪自动编码器的无监督学习过程提取输入特征,用得到的权值和偏置初始化深度置信网络;最后,采用“预训练－微调”2种学习方法训练深度置信网络,获得原始输入特征与系统暂态稳定结果之间的映射关系。与采用随机初始化受限玻尔兹曼机的传统深度置信网络相比,本文提出的改进评估方法在一定程度上克服了由于随机初始化导致评估准确率无法达到最优的弊端。在新英格兰10机39节点系统上的仿真结果表明,该方法比常用的机器学习算法和深度置信网络有更好的评估性能,仿真结果还证明了本文所提方法具有良好的特征提取能力。