用于骨架行为识别的时空卷积Transformer网络

针对基于图卷积的骨架行为识别方法在建模关节特征时严重依赖手工设计图形拓扑,缺乏建模全局关节间依赖关系的缺点,设计了一种时空卷积Transformer实现对空间和时间关节特征的建模。空间关节特征建模中,提出一种动态分组解耦Transformer,通过将输入骨架序列在通道维度进行分组并为每个组动态生成不同的注意力矩阵,允许建模关节之间的全局空间依赖关系,无需事先知道人体拓扑结构。时间关节特征建模中,通过多尺度时间卷积实现对不同时间尺度行为特征的提取。最后,提出一种时空-通道联合注意力模块,进一步对所提取到的时空特征进行修正。在NTU-RGB+D和NTU-RGB+D 120数据集的跨主体评估标准上达到了92.5%和89.3%的Top1识别准确率,实验结果表明了所提方法的有效性。     

宽卷积局部特征扩展的 Transformer 网络故障诊断模型

视觉Transformer网络的高精度诊断性能依赖于充分的训练数据,利用卷积网络在提取局部特征上的优势,构造能同时描述故障局部和全局特征的提取层,提高诊断模型的抗噪声干扰能力。首先,引入卷积网络模块将原始振动信号转换为Transformer网络可以直接接收的特征向量,提取故障局部特征,并通过增加卷积网络的感受野。然后,结合Transformer网络多头自注意力机制生成的全局信息,构建能同时描述故障局部和全局特征的特征向量。最后,在Transformer网络的预测层,利用高效通道注意力机制对特征向量的贡献度进行自动筛选。在西储大学(CWRU)轴承数据集上的故障诊断结果表明,在信噪比-4 dB的噪声干扰下,改进后的Transformer网络轴承故障诊断模型的准确率达90.21%,与原始Transformer模型相比,准确率提高了13.2%,在噪声环境下表现出优异的诊断性能。     

基于深层图卷积的EEG情绪识别方法研究

针对浅层图卷积提取的局部脑区空间关联信息对情感脑电表征不足的问题,本文提出了一种深层图卷积网络模型。该模型利用深层图卷积学习情绪脑电全局通道间的内在关系,在卷积传播过程中应用残差连接和权重自映射解决深层图卷积网络面临的节点特征收敛到固定空间无法学习到有效特征的问题,并在卷积层后加入PN正则化扩大不同情绪特征间的距离,提高情绪识别的性能。在SEED数据集上进行实验,与浅层图卷积网络相比准确率提高了0.7%,标准差下降了3.15。结果表明该模型提取的全局脑区空间关联信息对情绪识别的有效性。     

基于时空自适应图卷积网络的跌倒检测算法

针对现有图卷积网络(GCN)需要预先定义人体骨架拓扑图和模型较大的问题，提出了基于时空自适应图卷积网络(ST-AGCN)的跌倒检测算法。该网络包括3个部分：利用HRNet姿态估计算法从视频中提取人体骨架点序列，并预处理成四维张量；引入归一化嵌入式高斯函数通过学习(无需人工预定义)得到人体拓扑图，利用空间自适应图卷积获取人体关联特征；利用多尺度卷积提取时间运动特征，提高模型获取动态信息的能力。在公开数据集和自建数据集上分别进行仿真，准确率分别达95.45%和99.55%。结果表明，该算法优于目前GCN方法，参数量只有后者的1/4甚至更少。本文算法还可以适用于不同的数据集。     

基于时空特征图卷积网络的配电网实时状态估计方法

为了在考虑负荷时空特性以及不健全量测的场景下实现配电网的实时、高容错状态估计,本文从时空图的角度提出一种基于时空特征图卷积网络的动态状态估计算法。首先将配电网量测数据组成三维张量;然后利用时空特征图卷积网络分别提取量测数据的空间拓扑、时间序列和节点属性上的特征信息,通过特征融合得到实时状态估计结果;最后根据状态估计结果生成虚拟量测以消除不良数据的影响。实验结果表明,本状态估计方法具有较高的鲁棒性,且准确性和计算速度均优于传统方法。研究结果可为基于机器学习的电力系统状态估计方法提供参考。     

基于时空一致性约束视频目标车辆的 检测与跟踪算法研究

复杂场景中的目标感知是深度学习在计算机视觉中最重要的研究领域之一,而复杂交通场景中的车辆检测与跟踪是当今众多学者研究的热点问题。在视频目标检测过程中由于运动物体的时间维度特征信息利用不充分,导致在长序列之间的时间特征极其容易被忽略,本文提出一种时空一致性的视频车辆的检测跟踪算法。该算法由双分支网络结构组成：分支一是由基于空间相关性的Transformer网络模块组成,该分支网络主要用于判断前后帧的相关性、感知相邻帧之间的一致性,预测目标车辆时空一致性的关联度;另一网络分支是由基于交叉特征金字塔融合的网络模块组成,该模块主要是提取检测对象的局部信息结合浅层的空间边缘信息和深层的语义特征信息,提取对象空间位置的特征信息。该网络结构将Transformer机制和交叉特征金字塔模块相结合,利用Transformer对长序列之间时间关联性敏感和特征金字塔网络模块对边缘信息敏感的特性,对视频帧对象进行检测和跟踪,确保相邻帧的长程相关性以及边缘和深层的特征信息深度融合。实验结果表明,本文设计的双分支网络结构在视频目标跟踪和检测中取得更好精度和更快的收敛速度;同时在显著性视频目标检测中,实验表明算法的...     

基于CNN-SAEDN-Res的短期电力负荷预测方法

基于深度学习的序列模型难以处理混有非时序因素的负荷数据,这导致预测精度不足。提出一种基于卷积神经网络(CNN)、自注意力编码解码网络(SAEDN)和残差优化(Res)的短期电力负荷预测方法。特征提取模块由二维卷积神经网络组成,用于挖掘数据间的局部相关性,获取高维特征。初始负荷预测模块由自注意力编码解码网络和前馈神经网络构成,利用自注意力机制对高维特征进行自注意力编码,获取数据间的全局相关性,从而模型能根据数据间的耦合关系保留混有非时序因素数据中的重要信息,通过解码模块进行自注意力解码,并利用前馈神经网络回归初始负荷。引入残差机制构建负荷优化模块,生成负荷残差,优化初始负荷。算例结果表明,所提方法在预测精度和预测稳定性方面具有优势。     

基于特征增强的高分辨率人体姿态估计网络

在轻量级卷积神经网络进行高分辨率人体姿态估计时存在提取特征不充分,针对该问题,提出了一种基于特征增强的高分辨率人体姿态估计网络。首先利用空洞卷积补全操作提取图像特征,以避免特征信息丢失且保持模型参数基本不变;接着利用池化增强模块进行卷积提取特征的选择,以保留重要特征且减轻传统池化模块对提取特征造成的破坏;最后利用加强通道信息交互的深度可分离卷积模块进行特征提取,以保持该模块的参数量较少且能够提高其特征提取能力。在COCO2017数据集进行性能测试,本文算法和DiteHRNet30算法的AR值分别为77.9%和77.2%;在MPII数据集进行性能测试,本文算法和DiteHRNet30算法的PCKh值分别为32.6%和31.7%。实验结果表明,本文算法在人体姿态估计精度和算法复杂度之间能够达到较好的平衡。     

基于Transformer与增强信息融合的双源情感识别

为解决当前多模态情感识别效果不佳的问题,提出了一种基于Transformer与增强信息融合的双源情感识别模型,模型由音视频编码分支网络和双源增强特征融合模块组成。其中,视频编码分支利用MobileViTv2提取每帧视频的空间特征,并通过在Transformer编码器结构中内嵌残差结构,强化各帧短期关联语义信息的提取能力。在音频特征提取部分构建了维度匹配器,避免了潜在异构鸿沟,提高了模型训练的鲁棒性。在音视频特征融合处引入低参数量跨模态注意力机制,从两个角度同时增强特征融合能力。通过对比和消融实验证明了方法在多模态情感识别任务中的有效性。     

改进 KAPAO 的人体关键点检测

针对人体关键点检测存在检测精确度低的不足,在KAPAO(keypoints and pose as objects)网络的基础上进行改进。使用PoseTrans(pose transformation)进行数据增强,提高网络的泛化性;针对特征融合能力的不足,设计融合注意力机制的BiFPN(Bi-directional feature network)模块充分融合不同语义特征,提高网络对深层语义信息和浅层语义信息的融合能力;在网络输出阶段设计自适应扩张卷积模块,将不同扩张率的输出分支进行自适应融合,有效获得图像的全局信息;在网络的后处理部分设计SDR-NMS(soft DIOU relocation non-maximum suppression)替代传统的NMS,保留最优的关键点预测框。实验结果表明,网络的AP分数提高了4.8%,AP为68.6%,检测速度为19.1 ms。网络精确度和检测速度均具有较好的表现性。     

融合 CNN 和 Transformer 的机器人室内场景识别

为了提高机器人在复杂的室内环境中场景识别的准确率，本文提出一种融合卷积神经网络(convolutional neural network, CNN)和视觉Transformer结构的机器人室内场景识别模型。本文模型利用CNN提取场景局部特征，然后使用视觉Transformer结构捕捉特征中远距离依赖关系，其中提出的视觉Transformer结构包括3个部分，分别是特征编码结构(Attention Embedding)、Encoder结构和一个将高层语义特征转化成像素级特征的结构(Attention Project)。本文研究的机器人场景识别模型利用CNN提高视觉Transformer局部细节特征的描述能力，同时通过视觉Transformer帮助CNN构建远距离特征的依赖关系，从而能够有效的表征和利用机器人工作场景图像的视觉特征。最后，通过机器人在实际工作环境中采集的数据集和开源的COLD数据集进行实验，验证了本文研究模型的有效性，场景识别精度更高。     

基于自适应权重的CNN-LSTM&GRU组合风电功率预测方法

准确预测风电功率可以提高电网运行的安全性和可靠性.为进一步提高短期风电功率预测精度,针对目前单一模型难以获得最优预测结果的问题,提出一种CNN-LSTM&GRU多模型组合短期风电功率预测方法.首先,利用卷积神经网络(convolutional neural network,CNN)提取数据局部特征,并结合长短期记忆(l...     

基于改进 Deeplabv3+的电力线分割方法研究

针对已有的分割算法存在的复杂场景干扰大、分割不准确的问题,提出一种用于电力线分割任务的改进 Deeplabv3+ 模型。将原始主干网络替换为轻量级 Mobilenetv 2 网络,增加低水平特征,获得5路输入特征,充分提取特征信息;添加空洞 空间金字塔池化(atrous spatial pyramid pooling , ASPP )的卷积分支数量,调整空洞率,提升图像的特征抓取能力,进一步在每 个空洞卷积后加入1×1卷积操作,加快计算速度;提出一种基于坐标注意力机制的语义嵌入分支模块(coordinate attention semantic embedding branch , CASEB ),融合第2、3路特征,增强目标特征的表示;引入卷积注意力机制模块(convolution block attention module , CBAM )抑制无用信息的传递,提高模型识别效率。实验结果表明,相对于原 Deeplabv 3+模型,改进模型在 平均像素精度(mean pixel attention , MPA )和平均交并比(mean intersection over union , mloU )上分别提升2 . 37%和3 .42%, 该方法可提供更加精确的电力线分割结果。     

结合速度控制的时空图网络行人轨迹预测模型

行人轨迹预测中最重要的任务是建立行人轨迹交互模型,针对在模型中缺乏关于时间和速度等信息的建模,提出了一种结合速度控制的时空图网络算法来建立行人交互模型并对轨迹进行预测.整体模型采用条件生成对抗网络架构,其中采用速度预测模块预测行人未来速度并作为条件生成对抗网络的控制条件,显式地将速度信息引入行人轨迹预测,避免较大偏差速度对轨迹的影响。在生成器中设计了基于图卷积注意力机制的时空信息融合模块,在提取行人轨迹序列运动特征并关注其空间上相互作用关系的同时,显式地编码行人序列的时间相关性。最后,将结合时空信息和速度信息的轨迹交互特征解码,完成轨迹的预测。此外,考虑到现有评价方法的不足,采用平均碰撞次数作为轨迹合理性的评判。在公开数据集ETH和UCY上进行验证,实验结果表明,该文所提出的算法能更好地完成行人轨迹预测,平均位移误差为0.40 m和最终位移误差为0.79 m。     

基于三维点云的植株联合任务分割框架

传统的植株器官分割方法依赖经验选择阈值参数,而当前的深度学习浅层框架可能会导致植株重要的几何特征丢 失,并难以有效整合植株的局部和全局特征。因此,提出了一个基于三维点云的植株器官分割网络(local global feature fusion segmentation network,LGF-SegNet)模型,通过引入双权重注意力机制模块和位置编码,更适合在植株点云数据中表达几何 特征。在提出的框架的解码层引入特征聚合模块,融合植株点云的局部和全局特征,使得该框架能够关注植株的整体特征轮 廓同时保留细节植物纹理(如茎和叶)。实验结果表明,提出的架构在语义分割的交并比、精确率和F1 分数的平均值分别达 到85.76%、93.18%、91.08%,在实例分割的平均精确率、平均实例覆盖率以及平均实例加权覆盖率达到85.27%、78.46%、 79.63%,优于当前流行的植株点云分割任务中使用的深度学习网络架构,并适用于植株语义分割和实例分割的双重任务。 这为后续的植株生长预测等研究奠定基础。     

A Novel Supercapacitor Degradation Prediction Using a 1D Convolutional Neural Network and Improved Informer Model

Safety and reliability are crucial for the next-generation supercapacitors used in energy storage systems, while accurate prediction of the degradation trajectory and remaining useful life (RUL) is essential for analyzing degradation and evaluating performance in energy storage systems. This study proposes a novel data processing and improved one-dimensional convolutional neural network (1D CNN)-informer framework for robust RUL prediction. In data preprocessing, all data from two structures are adjusted to a unified format, and cross-entropy loss is used to couple the 1D CNN and informer. Then, the minimum-maximum feature scaling method is used for normalization to accelerate the training process in reaching the minimum cost function. A relative position encoding algorithm is introduced to improve the Informer model, enabling it to better learn the sequence relationships between data and effectively reduce prediction variability. Supercapacitor data in different working conditions are used to validate the proposed method. Compared with other existing methods, the maximum root mean square error is reduced by 32.71%, the mean absolute error is reduced by 28.50%, and R2 is increased by 4.79%. The strategy considers the complementarity between two single models, which can extract features and enrich local details, as well as enhance the model''s global perception ability. The experimental results demonstrate that the proposed model achieves high-precision and robust RUL prediction, thereby promoting the industrial application of supercapacitors.     

注意力增强的视觉Transformer图像检索算法

基于深度哈希的图像检索方法往往利用卷积和池化技术去提取图像局部信息,并且需要不断加深网络层次来获得全局长依赖关系,这些方法一般具有较高的复杂度和计算量。本文提出了一种注意力增强的视觉Transformer图像检索算法,算法使用预训练的视觉Transformer作为基准模型,提升模型收敛速度,通过对骨干网络的改进和哈希函数的设计,实现了高效的图像检索。一方面,本文设计了一个注意力增强模块,来捕获输入特征图的局部显著信息和视觉细节,学习相应的权重以突出重要特征,并增强输入到Transformer编码器的图像特征的表征力。另一方面,为了提高图像检索的效率,设计了一种对比哈希损失函数,生成具有判别力的二进制哈希码,从而降低了内存需求与计算复杂度。在CIFAR-10和NUS-WIDE数据集上的实验结果表明,本文提出的方法,在两个不同数据集上使用不同哈希码长度的平均精度均值达到了96.8%和86.8%,性能超过多种经典的深度哈希算法和其他两种基于Transformer架构的图像检索算法。