基于三维图卷积与注意力增强的行为识别模型

针对当前行为识别方法无法有效提取非欧式3维骨架序列的时空信息与缺乏针对特定关节关注的问题,该文提出了一种基于3维图卷积与注意力增强的行为识别模型。首先,介绍了3维卷积与图卷积的具体工作原理;其次,基于图卷积中可处理变长邻居节点的图卷积核,引入3维卷积的3维采样空间将2维图卷积核改进为具有3维采样空间的3维图卷积核,提出一种3维图卷积方法。针对3维采样空间内的邻居节点,通过3维图卷积核,实现了对骨架序列中时空信息的有效提取;然后,为增强对于特定关节的关注,聚焦重要的动作信息,设计了一种注意力增强结构;再者,结合3维图卷积方法与注意力增强结构,构建了基于3维图卷积与注意力增强的行为识别模型;最后,基于NTU-RGBD和MSR Action 3D骨架动作数据集开展了骨架行为识别的研究。研究结果进一步验证了基于3维图卷积与注意力增强的行为识别模型针对时空信息的有效提取能力及识别准确率。     

结合时空注意力机制和自适应图卷积网络的骨架行为识别

针对骨架行为识别对时空特征提取不充分以及难以捕捉全局上下文信息的问题,研究了一种将时空注意力机制和自适应图卷积网络相结合的人体骨架行为识别方案。首先,构建基于非局部操作的时空注意力模块,辅助模型关注骨架序列中最具判别性的帧和区域;其次,利用高斯嵌入函数和轻量级卷积神经网络的特征学习能力,并考虑人体先验知识在不同时期的影响,构建自适应图卷积网络;最后,将自适应图卷积网络作为基本框架,并嵌入时空注意力模块,与关节信息、骨骼信息以及各自的运动信息构建双流融合模型。该算法在NTU RGB+D数据集的两种评价标准下分别达到了90.2%和96.2%的准确率,在大规模的数据集Kinetics上体现出模型的通用性,验证了该算法在提取时空特征和捕捉全局上下文信息上的优越性。      

基于轻量级图卷积网络的校园暴力行为识别

针对卷积神经网络和图卷积网络的两类算法在校园暴力行为识别中识别速度和识别率不高的问题,本文提出一种结合多信息流数据融合和时空注意力机制的轻量级图卷积网络.以人体骨架为研究对象,首先融合关节点和骨架相关的多信息流数据,通过减少网络参数量来提高运算速度;其次构建基于非局部运算的时空注意力模块关注最具动作判别性的关节点,通过...     

基于骨架动作识别的协作卷积Transformer网络

近年来,基于骨架的人体动作识别任务因骨架数据的鲁棒性和泛化能力而受到了广泛关注。其中,将人体骨骼建模为时空图的图卷积网络取得了显著的性能。然而图卷积主要通过一系列3D卷积来学习长期交互联系,这种联系偏向于局部并且受到卷积核大小的限制,无法有效地捕获远程依赖关系。该文提出一种协作卷积Transformer网络(Co-ConvT),通过引入Transformer中的自注意力机制建立远程依赖关系,并将其与图卷积神经网络(GCNs)相结合进行动作识别,使模型既能通过图卷积神经网络提取局部信息,也能通过Transformer捕获丰富的远程依赖项。另外,Transformer的自注意力机制在像素级进行计算,因此产生了极大的计算代价,该模型通过将整个网络分为两个阶段,第1阶段使用纯卷积来提取浅层空间特征,第2阶段使用所提出的ConvT块捕获高层语义信息,降低了计算复杂度。此外,原始Transformer中的线性嵌入被替换为卷积嵌入,获得局部空间信息增强,并由此去除了原始模型中的位置编码,使模型更轻量。在两个大规模权威数据集NTU-RGB+D和Kinetics-Skeleton上进行实验验证,该模型分...     

基于密集残差移位图卷积的骨架行为识别

针对人体骨架行为识别中因时空特征提取不充分、网络计算量大和计算效率低导致相似行为识别结果不理想的问题，提出一种基于密集残差移位图卷积网络的骨架行为识别算法。使用姿态估计算法提取人体骨架信息，经坐标向量计算得到骨架的关节、骨骼以及各自的运动信息，并分别输入网络中。在移位图卷积模块间引入密集残差结构，提高网络性能和提取时空特征的效率。所提算法可应用于日常行为场景，例如：行走、坐下、站起、脱衣服、穿衣服、扔以及摔倒等。其在自制数据集上的识别准确率达到81.7%，在NTU60 RGB+D数据集两种评估标准下的准确率也分别达88.1%和95.3%，验证了算法具有优秀的识别精度。     

基于HGCN的序列手势骨架生成方法研究

手势是交流互动中一种重要的非语言媒介，手势序列生成作为手势表达行为建模的重要任务，在手势分类、手势识别和虚拟人手语驱动等场景有大量应用需求。针对序列手势骨架生成问题，提出了基于Hand-Gesture Graph Convolution Neural Network(HGCN)的手势骨架序列生成方法，采用生成对抗训练框架，在图卷积骨架序列生成方法基础上针对手势骨架序列数据特点，提出图卷积的手部特征增强和基于时空位置编码的自注意力结构的改进方法。实验结果表明，提出的HGCN方法相比基准图卷积骨架生成方法在手势骨架序列生成问题中有更好的结果。     

基于注意力机制和时空信息的群组行为识别

群组行为识别是对个体的共同行为进行识别。群组行为与群组状态密不可分,也与群组内个体时空特征息息相关,时空信息既能描述空间语义信息,更能反映行为的动态变化情况。针对有效精细的时空特征提取问题,本文提出了一种基于注意力机制和深度时空信息的群组行为识别方法。首先将ShuffleAttention引入双流特征提取网络中,有效提取个体外观和运动信息。其次使用改进Non-Local网络提取深度时序信息。最后将个体特征送到图卷积网络中进行空间交互信息建模,得到群组行为识别结果。在CAD和CAED数据集上的准确率达到了93.6%和97.8%,在CAD数据集上与凝聚群组搜索算法(CCS)和成员关系图(ARG)方法相比,准确率提高了1.2%和2.6%,这表明本文方法能有效提取深度时空特征,提升群组行为识别准确率。     

基于多维动态拓扑学习图卷积的骨架动作识别

图卷积由于其对图数据的强大表示能力被广泛应用于基于骨架的动作识别任务中.但是现有的图卷积方法在所有帧或通道上都使用共享的图拓扑进行特征聚合,这极大限制了图卷积网络的表示能力.为了解决这些问题,本文提出多维动态拓扑学习图卷积用于动态建模具有时序与通道特异性的拓扑结构.多维动态拓扑学习图卷积主要包含三个组成部分：纯粹节点拓扑学习图卷积（pure Joint topology learning Graph Convolution, J-GC）、动态时序特异性拓扑学习图卷积（Dynamic Temporal-Wise topology learning Graph Convolution, DTW-GC）和通道特异性拓扑学习图卷积（Channel-Wise topology learning Graph Convolution, CW-GC）.特别地,在DTW-GC中使用了动态骨架拓扑建模方法（Dynamic Skeleton Topology Learning, DSTL）,以高效地建模富含全局时空拓扑特征的动态骨架拓扑.将多维动态拓扑学习图卷积与多尺度时间卷积（Multi-Scale Te...     

基于时空图卷积网络的学生在线课堂行为识别

为了有效地识别学生在线课堂行为,提出了一种融合全局注意力机制和时空图卷积 网络的人体骨架行为识别模型。首先在时空图卷积网络的空间图卷积网络和时间卷积网络之 间加入全局注意力模块,空间图卷积网络输出的空间特征图作为注意力模块的输入。其次引 入按时间维度的平均池化和最大池化操作,以增加模型学习全局特征信息的能力。最后用三 个加入注意力机制的时空图卷积神经网络和类激活图(class activation map,CAM),构造对遮挡数据识别能力更强 的丰富激活图卷积网络(RA-GCNv2-A)模型,并通过迁移学习实现学生在线课堂行为识别功 能。 在NTU-RGB+D和NTU-RGB+D120数据集上进行实验验证,与RA-GCNv2模型相比,在NTU-RGB +D 和NTU-RGB+D120数据集上的识别准确率分别提高了(cross-subject,CS)1.3%、(cross-view,CV)1.2%和(cross-subject,CSub)1.6%、 (cross-setup,CSet)1.4%。实验结果表明,提出的方法是一种有效的学生在线课堂 行为识别方法。     

基于通道注意力机制的视频人体行为识别

本文针对人体行为识别模型中鉴别能力有限的问题,同时避免双流中计算光流的较大时间成本,提出基于通道注意力机制和三维卷积时空注意力模型的行为识别方法。首先,该卷积网络模型使用ResNeXt残差模块,利用三维卷积核有效地提取视频帧时空特征。然后,在此基础上给每个残差模块增加通道注意力机制学习不同特征图的权重,进而形成基于通道域的注意力权重,增强网络结构对人体行为的表征能力。最后,在UCF-101和HMDB-51数据集上,通过交叉熵损失函数训练不同网络深度的行为分类模型。实验结果表明,该模型可以有效提取视频中的时空特征,并在人体行为识别任务中有着较高效率和优秀的准确度。