基于2D CNN和Transformer的人体动作识别

人体动作识别是计算机视觉领域的研究热点之一,在人机交互、视频监控等方面具有深远的理论研究意义。为了解决2D CNN无法有效获取时间关系等问题,利用Transformer在建模长期依赖关系上的优势,引入Transformer架构并将其与2D CNN相结合用于人体动作识别,以更好地捕获上下文时间信息。首先使用融合通道-空间注意力模块的2D CNN提取强化的帧内空间特征,其次利用Transformer捕捉帧间的时间特征,最后应用MLP Head进行动作分类。实验结果表明在HMDB-51数据集和UCF-101数据集上分别达到了69.4%和95.5%的识别准确度。     

宽卷积局部特征扩展的 Transformer 网络故障诊断模型

视觉Transformer网络的高精度诊断性能依赖于充分的训练数据,利用卷积网络在提取局部特征上的优势,构造能同时描述故障局部和全局特征的提取层,提高诊断模型的抗噪声干扰能力。首先,引入卷积网络模块将原始振动信号转换为Transformer网络可以直接接收的特征向量,提取故障局部特征,并通过增加卷积网络的感受野。然后,结合Transformer网络多头自注意力机制生成的全局信息,构建能同时描述故障局部和全局特征的特征向量。最后,在Transformer网络的预测层,利用高效通道注意力机制对特征向量的贡献度进行自动筛选。在西储大学(CWRU)轴承数据集上的故障诊断结果表明,在信噪比-4 dB的噪声干扰下,改进后的Transformer网络轴承故障诊断模型的准确率达90.21%,与原始Transformer模型相比,准确率提高了13.2%,在噪声环境下表现出优异的诊断性能。     

基于MSTAGNN模型的可解释海上风电场多风机出力预测

现有海上风电场出力预测研究对复杂时空关系考虑不足,且多为“黑盒”模型,缺乏可解释能力。为充分挖掘时空关联并实现模型可解释,提出一种基于多重时空注意力图神经网络(MSTAGNN)的海上风电场出力预测模型。首先,构建了一种考虑空间关联的海上风电场图拓扑,并引入空间注意力机制实现图拓扑的动态变化;其次,分别利用图卷积网络和时间门控卷积网络有效提取空间和时间特征;接着,对所提模型引入多维多头注意力机制,使其获得多重可解释能力;最后,基于中国东海大桥风电场真实数据进行仿真验证。结果表明,所提模型相比传统预测模型具有更高的预测精度,同时在空间、特征、时间多个维度具有合理的可解释性。     

基于分割注意力的特征融合 CNN-Bi-LSTM 人体行为识别算法

针对传统人体行为识别算法不能有效抑制空间背景信息,网络间缺乏信息交互,以及无法对全局时间相关性进行建模的问题,提出一种基于分割注意力的特征融合卷积神经网络-双向长短时记忆网络(CNN-Bi-LSTM)人体行为识别算法。首先以一定采样率采样30帧图像,通过分割注意力网络提取图像的深度特征,并引入特征融合机制增强不同卷积层间的信息交互;然后将深度特征输入到Bi-LSTM网络对人体动作的长时时间信息建模,最后使用Softmax分类器对识别结果进行分类。相较于传统双流卷积网络,该算法在UCF101和HMDB51数据集上的准确率分别提高了6.6%和10.2%,有效提高了识别准确率。     

基于时空注意力卷积模型的超短期风电功率预测

随着风电利用率的不断提高,风电输出功率的准确预测对电力系统的调度和稳定运行具有重要意义。然而,风力发电的随机性和波动性容易影响功率预测结果的准确性。该文提出一种基于时空相关性的风电功率预测方法,由时空注意力模块和时空卷积模块组成。首先,利用空间注意力层和时间注意力层对不同风机之间的时空相关性进行聚合提取。其次,通过空间卷积层和时间卷积层有效捕捉风电数据之间的空间特征和时间演变规律。最后,采用中国两处实际风电场运行数据对预测方法进行实验验证。结果表明,相比于传统预测方法,时空注意力和时空卷积的融合使该文所提出的预测方法具有较高的预测精度和较好的稳定性。     

基于MGAT-TCN模型的可解释电网虚假数据注入攻击检测方法

新型电力系统背景下,快速、准确的虚假数据注入攻击(FDIA)检测对电网安全运行至关重要。但现有深度学习方法未能充分挖掘电网量测数据的时序和空间特征信息,影响了模型的检测性能;同时,深度神经网络的“黑盒”属性降低了检测模型的可解释性,导致检测结果缺乏可信度。针对上述问题,提出了一种基于多头图注意力网络和时间卷积网络(MGAT-TCN)模型的可解释电网FDIA检测方法。首先,考虑电网拓扑连接关系与量测数据的空间相关性,引入空间拓扑感知注意力机制,建立多头图注意力网络(MGAT)提取量测数据的空间特征;接着,利用时间卷积网络(TCN)并行提取量测数据的时序特征;最后,在IEEE 14节点系统和IEEE 39节点系统中对所提MGAT-TCN模型进行仿真验证。结果表明,所提模型相比于现有检测模型具有更高的检测准确率和效率,且通过拓扑热力图对注意力权值可视化,实现了模型在空间维度的可解释性。     

基于优化 CBAM 改进 ResNet50 的异常 行为识别方法

在自动视频监控应用中,准确地识别出人类的异常行为是非常困难的任务。为了解决监测系统中异常人类活动的高 效识别问题,提出了一种加强局部以及全局特征信息融合的异常行为识别模型 ICBAM-ResNet50 。在 UTI 和 CASIA 两个数 据集上进行实验,结果表明该研究比ResNet50 模型准确率分别提高了7%和8%。ICBAM 模块引入一维卷积替换了原始 CBAM 中通道注意力的 MLP 操作,将局部的时间特征整合到通道描述符中,缓解了通道维度由于全局处理产生的忽略信息 交互的问题;其次引入时空注意力机制替换 CBAM 中的单一空间注意力机制,来提高模型的时空表征能力。最后,将优化的 CBAM 模块嵌入到 ResNet50 中,通过在 ImageNet 上对其进行预训练,在两个基准数据集上该模型分别达到了98.8%和97.9%的准确率。使用相同的数据集,将实验结果与原始识别方法进行了比较,结果表明该模型优于所比较的其他方法。     

基于改进条件生成对抗网络的可控场景生成方法

可再生能源发电具有较强的随机性和波动性,为实现高效可靠的场景建模,提出一种基于改进条件生成对抗网络的可控场景生成方法。提出基于条件生成对抗网络的场景生成框架,结合Transformer的全局注意力机制以及常规卷积和深度可分离卷积的局部泛化机制,设计适用于提取可再生能源发电不同维度特征的网络结构;利用条件生成对抗网络模型建立低维气象特征隐空间和高维可再生能源发电数据之间的映射关系,提出一种可控场景生成方法,并建立随机场景生成、场景约减、极端场景生成和连续日场景生成4种生成策略。基于实际光伏、风电数据和气象数据的仿真结果表明,所提模型与方法能够有效学习可再生能源发电的随机性、时序性、波动性及空间相关性,实现对不同策略下场景的可控生成。     

无人化起重装卸的目标物实例分割模型研究

不确定目标物自动识别是研发无人化智能起重装卸系统的关键，目前有效的技术是基于深度学习的实例分割。设计了一个融合CNN和Transformer的异构特征信息的模块，以解决当前实例分割主干网络存在的提取图像全局上下文特征信息的能力有限、卷积算子难以对感受野的长程相关性进行建模、以及识别纹理特征单一目标时缺乏足够的深度线索等问题。通过利用Transformer建模全局依赖关系，并与CNN提取局部信息的能力相融合；然后通过引入Dense RepPoints检测网络构建了针对不确定目标物的实例分割网络，实现准确分割且能分割其不同表面。应用实验结果表明本方法具有达到很好的实例分割效果，AP达到9882%、mIoU达到9189%，分别比目前同类的研究成果提升了495%和542%。     

基于深度混合注意力网络的窃电检测

窃电检测旨在识别和检测非法或未经授权的电力使用行为。在智能电网技术高速发展的背景下,如何实现准确的窃电行为检测,是学术界和工业界广泛关注的一个重要问题。针对已有方法依赖人工特征设计以及低层特征提取能力不足的问题,提出了一种基于深度混合注意力网络的窃电检测方法,将通道注意力和自相关注意力机制相结合,在不同层次和空间范围内捕捉数据中的时间依赖性和周期性等复杂特征。所提模型在低层使用通道注意力网络来增强低层特征的表达能力,在中间层使用自相关注意力来捕捉全局上下文信息,并利用自监督方法来学习注意力参数,从而提取出更具表达力和判别力的特征表示。在中国国家电网数据集上进行实验所获得的结果表明,所提出的方法在AUC以及F1等性能指标上取得了更好的效果。     

融合 Transformer 和语义图卷积的三维人体 姿态估计方法

为了进一步提升从单目二维人体姿态预测三维人体姿态的方法性能,提出一种融合 Transformer 和语义图卷积的三 维人体姿态估计模型,模型由4个部分组成,Transformer 编码网络、语义图卷积编码网络、姿态坐标预测模块和姿态坐标错 误回归模块。首先,Transformer编码网络对关节特征进行全局特征编码,以增强人体姿态的全局关联性。其次,语义图卷积 编码网络专注于局部关节特征提取,以加强局部关节特征之间的关联性。接下来,姿态坐标预测模块和姿态坐标错误回归模 块将关节全局和局部编码特征融合,以增强对三维姿态的准确建模能力。通过在 Human3.6M 数据集上进行实验表明,方法 在估计性能方面取得了较好的改进,以真实的二维人体姿态作为输入,在 MPJPE 和 PA-MPJPE 值分别为32.7和25.9 mm, 与实验对照方法相比,性能分别提升了3.82%和1.14%。     

基于图卷积网络改进的人体动作识别模型

针对双流自适应图卷积动作识别网络2S-AGCN模型忽略了人体动作识别中特征的长距离信息以及通道之间的依赖的缺点，设计了一种双重注意力机制对2S-AGCN模型的图卷积模块进行改进，实现精度的提升。双重注意力机制包含了空间注意力机制以及通道注意力机制，其中空间注意力机制有选择性地聚集上下文，通道注意力机制分为两个并行的模块，第1部分提高了特征的可辨性，第2部分在捕获特征远程依赖的同时，保留了精准的位置信息。结果表明，以双流自适应图卷积动作识别网络2S-AGCN模型为基础网络，融入了双重注意力机制模块的模型在Kinetics数据集上的Top-1和Top-5分别提升了0.6%和1.3%,在NTURGB+D120数据集的CS和CV上的Top-1分别提升了1.2%和0.5%,在NTURGB+D数据集的CS和CV上的Top-1分别提了0.2%和0.1%。     

基于深层图卷积的EEG情绪识别方法研究

针对浅层图卷积提取的局部脑区空间关联信息对情感脑电表征不足的问题,本文提出了一种深层图卷积网络模型。该模型利用深层图卷积学习情绪脑电全局通道间的内在关系,在卷积传播过程中应用残差连接和权重自映射解决深层图卷积网络面临的节点特征收敛到固定空间无法学习到有效特征的问题,并在卷积层后加入PN正则化扩大不同情绪特征间的距离,提高情绪识别的性能。在SEED数据集上进行实验,与浅层图卷积网络相比准确率提高了0.7%,标准差下降了3.15。结果表明该模型提取的全局脑区空间关联信息对情绪识别的有效性。     

融合 CNN 和 Transformer 的机器人室内场景识别

为了提高机器人在复杂的室内环境中场景识别的准确率，本文提出一种融合卷积神经网络(convolutional neural network, CNN)和视觉Transformer结构的机器人室内场景识别模型。本文模型利用CNN提取场景局部特征，然后使用视觉Transformer结构捕捉特征中远距离依赖关系，其中提出的视觉Transformer结构包括3个部分，分别是特征编码结构(Attention Embedding)、Encoder结构和一个将高层语义特征转化成像素级特征的结构(Attention Project)。本文研究的机器人场景识别模型利用CNN提高视觉Transformer局部细节特征的描述能力，同时通过视觉Transformer帮助CNN构建远距离特征的依赖关系，从而能够有效的表征和利用机器人工作场景图像的视觉特征。最后，通过机器人在实际工作环境中采集的数据集和开源的COLD数据集进行实验，验证了本文研究模型的有效性，场景识别精度更高。     

注意力增强的视觉Transformer图像检索算法

基于深度哈希的图像检索方法往往利用卷积和池化技术去提取图像局部信息,并且需要不断加深网络层次来获得全局长依赖关系,这些方法一般具有较高的复杂度和计算量。本文提出了一种注意力增强的视觉Transformer图像检索算法,算法使用预训练的视觉Transformer作为基准模型,提升模型收敛速度,通过对骨干网络的改进和哈希函数的设计,实现了高效的图像检索。一方面,本文设计了一个注意力增强模块,来捕获输入特征图的局部显著信息和视觉细节,学习相应的权重以突出重要特征,并增强输入到Transformer编码器的图像特征的表征力。另一方面,为了提高图像检索的效率,设计了一种对比哈希损失函数,生成具有判别力的二进制哈希码,从而降低了内存需求与计算复杂度。在CIFAR-10和NUS-WIDE数据集上的实验结果表明,本文提出的方法,在两个不同数据集上使用不同哈希码长度的平均精度均值达到了96.8%和86.8%,性能超过多种经典的深度哈希算法和其他两种基于Transformer架构的图像检索算法。