基于残差融合双流图卷积网络的手势识别方法

针对传统图卷积网络易忽略空间特征与时间特征之间关联的问题,设计了一种基于残差结构和图卷积网络相融合的双流网络模型。首先网络包括空间流和时间流两个通道,将手势骨骼数据构建成空间图和时序图作为两通道的输入,通过分离时间维度和空间维度极大地提高了训练速度。然后为了增加网络深度,避免梯度消失等问题,嵌入残差结构并对其进行改进,更加有效利用时间特征,保证了特征的多样性。最后将两通道输出的空间点集序列和时间边集序列串联转化,输入Softmax分类器进行分类,得到识别结果。将新提出的方法在CSL和DEVISIGN-L手势数据集上进行实验,结果表明在两个数据集上识别精度分别达到了96.2%和69.3%,证明该方法具有一定的先进性。     

深度嵌套注意力下的SlowFast信息融合动作识别网络

视频动作识别在视频监控、自动驾驶等多个领域都有着广泛的应用。SlowFast网络是视频动作识别领域经常使用的网络。目前SlowFast相关网络中使用注意力进行相关信息增强,注意力机制与网络的结合方式是将注意力机制嵌套到网络的各个卷积块之间,如果将注意力机制深层嵌套到卷积块的具体卷积层中,SlowFast网络的信息提取能力将更进一步。首先提出了一种深度嵌套注意力机制,该深度嵌套机制内部包含一种可以提取时空与通道信息的注意力SCTM,使SlowFast网络的3种信息提取能力得到了进一步加强。此外,目前多流网络融合的信息并没有充分的交互与处理。提出了一种基于交叉注意力与ConvLSTM的多流时空信息融合网络,使多流网络中每个流的信息充分交互。改进后的SlowFast网络在UCF101数据集上的Top-1准确率已达到98.5%,在HMDB51数据集中的准确率达到了80.1%。均优于目前已有的模型,比原始SlowFast网络提高了2.64%,且鉴于上述数据,深度嵌套注意力的 SlowFast 时空信息融合网络在信息提取与融合方面具有优越性能。     

基于优化 CBAM 改进 ResNet50 的异常 行为识别方法

在自动视频监控应用中,准确地识别出人类的异常行为是非常困难的任务。为了解决监测系统中异常人类活动的高 效识别问题,提出了一种加强局部以及全局特征信息融合的异常行为识别模型 ICBAM-ResNet50 。在 UTI 和 CASIA 两个数 据集上进行实验,结果表明该研究比ResNet50 模型准确率分别提高了7%和8%。ICBAM 模块引入一维卷积替换了原始 CBAM 中通道注意力的 MLP 操作,将局部的时间特征整合到通道描述符中,缓解了通道维度由于全局处理产生的忽略信息 交互的问题;其次引入时空注意力机制替换 CBAM 中的单一空间注意力机制,来提高模型的时空表征能力。最后,将优化的 CBAM 模块嵌入到 ResNet50 中,通过在 ImageNet 上对其进行预训练,在两个基准数据集上该模型分别达到了98.8%和97.9%的准确率。使用相同的数据集,将实验结果与原始识别方法进行了比较,结果表明该模型优于所比较的其他方法。     

基于深层图卷积的EEG情绪识别方法研究

针对浅层图卷积提取的局部脑区空间关联信息对情感脑电表征不足的问题,本文提出了一种深层图卷积网络模型。该模型利用深层图卷积学习情绪脑电全局通道间的内在关系,在卷积传播过程中应用残差连接和权重自映射解决深层图卷积网络面临的节点特征收敛到固定空间无法学习到有效特征的问题,并在卷积层后加入PN正则化扩大不同情绪特征间的距离,提高情绪识别的性能。在SEED数据集上进行实验,与浅层图卷积网络相比准确率提高了0.7%,标准差下降了3.15。结果表明该模型提取的全局脑区空间关联信息对情绪识别的有效性。     

基于2D CNN和Transformer的人体动作识别

人体动作识别是计算机视觉领域的研究热点之一,在人机交互、视频监控等方面具有深远的理论研究意义。为了解决2D CNN无法有效获取时间关系等问题,利用Transformer在建模长期依赖关系上的优势,引入Transformer架构并将其与2D CNN相结合用于人体动作识别,以更好地捕获上下文时间信息。首先使用融合通道-空间注意力模块的2D CNN提取强化的帧内空间特征,其次利用Transformer捕捉帧间的时间特征,最后应用MLP Head进行动作分类。实验结果表明在HMDB-51数据集和UCF-101数据集上分别达到了69.4%和95.5%的识别准确度。     

基于分割注意力的特征融合 CNN-Bi-LSTM 人体行为识别算法

针对传统人体行为识别算法不能有效抑制空间背景信息,网络间缺乏信息交互,以及无法对全局时间相关性进行建模的问题,提出一种基于分割注意力的特征融合卷积神经网络-双向长短时记忆网络(CNN-Bi-LSTM)人体行为识别算法。首先以一定采样率采样30帧图像,通过分割注意力网络提取图像的深度特征,并引入特征融合机制增强不同卷积层间的信息交互;然后将深度特征输入到Bi-LSTM网络对人体动作的长时时间信息建模,最后使用Softmax分类器对识别结果进行分类。相较于传统双流卷积网络,该算法在UCF101和HMDB51数据集上的准确率分别提高了6.6%和10.2%,有效提高了识别准确率。     

基于颜色随机化和全相关注意力的跨模态行人重识别

针对跨模态行人重识别过程中,模态差异导致难以提取充分的辨别性身份特征的问题,提出一种颜色随机化数据增强算法,并设计了基于全相关注意力的双流多分支网络模型。模型以ResNet-50为骨干网络,首先,对输入样本进行颜色随机化处理,提高模型的颜色风格鲁棒性;采用双流网络,在网络浅层设置权重参数非共享模式,分别用于处理可见光图像和红外图像;其次,提出全相关注意力,从空间和通道维度获得不同像素的关联程度,提高模型对于结构信息的提取能力;最后,采用多分支结构提取多尺度全局特征和局部特征增强提取特征的判别性。实验结果表明,所提方法在SYSU-MM01数据集的全搜素测试模式下,Rank-1和平均精度均值(mAP)分别达到70.01%和67.40%,优于其他方法。     

基于改进的残差网络面部表情识别

为了解决人脸表情识别中存在的对关键信息获取能力不足、识别率偏低、模型容易出现过拟合等问题，以ResNet18作为基本网络进行改进得到一个新的表情识别模型(IERNet)。IERNet通过引入ECA注意力机制构建出两种不同的注意力残差单元，并组成注意力残差模块，从而增强对深层的表情关键特征的提取能力；又引入Iception模块来提取图像的多尺度浅层信息，通过同时引入这两个模块的方式增强了网络的鲁棒性、提升了模型的识别率；最后使用全局平均池化结合Dropout技术取代全连接层，可以有效防止模型的过拟合问题同时还能简化模型。通过实验数据可知，在公开表情数据集CK+和FER2013上取得了不错的成绩，准确率分别达到了97.778%和73.558%。     

基于改进U-Net的街景图像语义分割方法

为提升多尺度目标的分割效果,增强特征提取能力,提出了一种基于双重注意力机制的改进U-Net街景图像语义分割方法。在U-Net编码阶段的第5个卷积块之后,添加特征金字塔注意力模块,提取多尺度特征,融合上下文信息,增强目标语义特征。在解码阶段不再采用U-Net的特征拼接方法,而是设计了一个空间域-通道域联合注意力模块,接收来自跳跃连接的低层特征图和来自前一个注意力模块的高层特征图。在Cityscapes数据集上的实验结果表明,引入的注意力模块可有效提升街景图像分割精度,与PSPNet、FCN等方法相比,分割性能指标mIoU提升了2.0%～9.6%。     

基于时空自适应图卷积网络的跌倒检测算法

针对现有图卷积网络(GCN)需要预先定义人体骨架拓扑图和模型较大的问题，提出了基于时空自适应图卷积网络(ST-AGCN)的跌倒检测算法。该网络包括3个部分：利用HRNet姿态估计算法从视频中提取人体骨架点序列，并预处理成四维张量；引入归一化嵌入式高斯函数通过学习(无需人工预定义)得到人体拓扑图，利用空间自适应图卷积获取人体关联特征；利用多尺度卷积提取时间运动特征，提高模型获取动态信息的能力。在公开数据集和自建数据集上分别进行仿真，准确率分别达95.45%和99.55%。结果表明，该算法优于目前GCN方法，参数量只有后者的1/4甚至更少。本文算法还可以适用于不同的数据集。     

用于骨架行为识别的时空卷积Transformer网络

针对基于图卷积的骨架行为识别方法在建模关节特征时严重依赖手工设计图形拓扑,缺乏建模全局关节间依赖关系的缺点,设计了一种时空卷积Transformer实现对空间和时间关节特征的建模。空间关节特征建模中,提出一种动态分组解耦Transformer,通过将输入骨架序列在通道维度进行分组并为每个组动态生成不同的注意力矩阵,允许建模关节之间的全局空间依赖关系,无需事先知道人体拓扑结构。时间关节特征建模中,通过多尺度时间卷积实现对不同时间尺度行为特征的提取。最后,提出一种时空-通道联合注意力模块,进一步对所提取到的时空特征进行修正。在NTU-RGB+D和NTU-RGB+D 120数据集的跨主体评估标准上达到了92.5%和89.3%的Top1识别准确率,实验结果表明了所提方法的有效性。     

基于动态自适应图神经网络的电动汽车充电负荷预测

电动汽车充电站负荷波动的不确定性与长时间预测任务给提升充电负荷预测精度带来巨大的挑战。文中提出一种基于动态自适应图神经网络的电动汽车充电负荷预测算法。首先,构建了一个充电负荷信息时空关联特征提取层,将多头注意力机制与自适应相关图结合生成具有时空关联性的综合特征表达式,以捕获充电站负荷的波动性;然后,将提取的特征输入到时空卷积层,捕获时间和空间之间的耦合关系;最后,通过切比雪夫多项式图卷积与多尺度时间卷积提升模型耦合长时间序列之间的能力。以Palo Alto数据集为例,与现有方法相比,所提算法在4种波动情况下的平均预测误差大幅降低。     

融合坐标注意力和自适应特征的YOLOv5陶瓷膜缺陷检测方法

针对平板陶瓷膜表面缺陷实时检测时存在检测准确率较低的问题,本文提出了一种融合坐标注意力和自适应特征的YOLOv5陶瓷膜缺陷检测方法。通过在原有YOLOv5模型的主干网络中加入坐标注意力机制,建立位置信息和通道之间的关系,从而更准确地获取感兴趣区域。在原始网络的预测网络中融入自适应特征融合机制,提高模型对多尺度缺陷的检测能力。将空洞空间卷积池化金字塔模块替换原始网络中的空间金字塔池化模块,提高卷积核视野获取更多的有用信息。实验结果表明：本文模型平均精度为97.8%,检测帧数为32 FPS,平均精度与原始YOLOv5模型相比提高了5.5%。本文提出的模型在满足平板陶瓷膜缺陷的实时检测条件下,提高了模型的检测准确率,对推动平板陶瓷膜缺陷检测的发展具有一定的参考价值。     

宽卷积局部特征扩展的 Transformer 网络故障诊断模型

视觉Transformer网络的高精度诊断性能依赖于充分的训练数据,利用卷积网络在提取局部特征上的优势,构造能同时描述故障局部和全局特征的提取层,提高诊断模型的抗噪声干扰能力。首先,引入卷积网络模块将原始振动信号转换为Transformer网络可以直接接收的特征向量,提取故障局部特征,并通过增加卷积网络的感受野。然后,结合Transformer网络多头自注意力机制生成的全局信息,构建能同时描述故障局部和全局特征的特征向量。最后,在Transformer网络的预测层,利用高效通道注意力机制对特征向量的贡献度进行自动筛选。在西储大学(CWRU)轴承数据集上的故障诊断结果表明,在信噪比-4 dB的噪声干扰下,改进后的Transformer网络轴承故障诊断模型的准确率达90.21%,与原始Transformer模型相比,准确率提高了13.2%,在噪声环境下表现出优异的诊断性能。     

基于双谱与双流卷积神经网络的断路器故障诊断

高压断路器操动机构的振动信号包含了断路器运行状态的重要信息,对操动机构工作状态的诊断辨识十分重要。针对振动信号随机、非平稳的复杂特性,提出了一种基于双谱分析和双通道流浅层卷积神经网络的断路器故障诊断方法。对振动信号进行双谱分析和小波分析,分别提取2D双谱矩阵以及1D小波频带能量作为双流卷积神经网络的双通道特征;对断路器模拟实验采集到的五种工况下的振动信号进行有监督训练。结果表明,双谱分析能够抑制高斯噪声、保留操动机构不同工况下主要峰值形态特征并融合小波频带能量特征,所提模型训练迭代5次即可达到98.33%的高识别精度,实现断路器操动机构的故障诊断辨识。     

融合 Transformer 和语义图卷积的三维人体 姿态估计方法

为了进一步提升从单目二维人体姿态预测三维人体姿态的方法性能,提出一种融合 Transformer 和语义图卷积的三 维人体姿态估计模型,模型由4个部分组成,Transformer 编码网络、语义图卷积编码网络、姿态坐标预测模块和姿态坐标错 误回归模块。首先,Transformer编码网络对关节特征进行全局特征编码,以增强人体姿态的全局关联性。其次,语义图卷积 编码网络专注于局部关节特征提取,以加强局部关节特征之间的关联性。接下来,姿态坐标预测模块和姿态坐标错误回归模 块将关节全局和局部编码特征融合,以增强对三维姿态的准确建模能力。通过在 Human3.6M 数据集上进行实验表明,方法 在估计性能方面取得了较好的改进,以真实的二维人体姿态作为输入,在 MPJPE 和 PA-MPJPE 值分别为32.7和25.9 mm, 与实验对照方法相比,性能分别提升了3.82%和1.14%。