基于时空特征增强图卷积网络的骨架行为识别

针对骨架行为识别不能充分挖掘时空特征的问题,该文提出一种基于时空特征增强的图卷积行为识别模型(STFE-GCN)。首先,介绍表征人体拓扑结构邻接矩阵的定义及双流自适应图卷积网络模型的结构,其次,采用空域上的图注意力机制,根据邻居节点的重要性程度分配不同的权重系数,生成可充分挖掘空域结构特征的注意力系数矩阵,并结合非局部网络生成的全局邻接矩阵,提出一种新的空域自适应邻接矩阵,以期增强对人体空域结构特征的提取;然后,时域上采用混合池化模型以提取时域关键动作特征和全局上下文特征,并结合时域卷积提取的特征,以期增强对行为信息中时域特征的提取。再者,在模型中引入改进通道注意力网络(ECA-Net)进行通道注意力增强,更有利于模型提取样本的时空特征,同时结合空域特征增强、时域特征增强和通道注意力,构建时空特征增强图卷积网络模型在多流网络下实现端到端的训练,以期实现时空特征的充分挖掘。最后,在NTU-RGB+D和NTU-RGB+D120两个大型数据集上开展骨架行为识别研究,实验结果表明该模型具有优秀的识别准确率和泛化能力,也进一步验证了该模型充分挖掘时空特征的有效性。     

基于注意力机制和时空信息的群组行为识别

群组行为识别是对个体的共同行为进行识别。群组行为与群组状态密不可分,也与群组内个体时空特征息息相关,时空信息既能描述空间语义信息,更能反映行为的动态变化情况。针对有效精细的时空特征提取问题,本文提出了一种基于注意力机制和深度时空信息的群组行为识别方法。首先将ShuffleAttention引入双流特征提取网络中,有效提取个体外观和运动信息。其次使用改进Non-Local网络提取深度时序信息。最后将个体特征送到图卷积网络中进行空间交互信息建模,得到群组行为识别结果。在CAD和CAED数据集上的准确率达到了93.6%和97.8%,在CAD数据集上与凝聚群组搜索算法(CCS)和成员关系图(ARG)方法相比,准确率提高了1.2%和2.6%,这表明本文方法能有效提取深度时空特征,提升群组行为识别准确率。     

双路注意力引导图卷积网络的关系抽取

为了更好地学习节点依赖并利用结构信息,本文提出一种以完全依赖树作为直接输入的新方法,利用图卷积网络并结合两个并行的注意力模块,自主学习如何有选择地关注对关系抽取任务有用的信息.该方法将样本表示成图上的各节点,一个模块用于计算节点特征位置之间的影响,使特征向量可以包含更广范围的语义信息,另一个用于计算节点依赖的关系特征,...     

基于轻量级图卷积网络的校园暴力行为识别

针对卷积神经网络和图卷积网络的两类算法在校园暴力行为识别中识别速度和识别率不高的问题,本文提出一种结合多信息流数据融合和时空注意力机制的轻量级图卷积网络。以人体骨架为研究对象,首先融合关节点和骨架相关的多信息流数据,通过减少网络参数量来提高运算速度;其次构建基于非局部运算的时空注意力模块关注最具动作判别性的关节点,通过减少冗余信息提高识别准确率;接着构建时空特征提取模块获得关注关节点时空关联信息;最终由Softmax层实现动作识别。实验结果表明：在校园安防实景中对拳打、脚踢、倒地、推搡、打耳光和跪地6种典型动作识别准确率分别为94.5%,97.0%,98.5%,95.0%,94.5%,95.5%,识别速度最大为20.6 fps。在UCF101数据集上对比两类基准网络,识别速度和准确率均有提升,验证了方法对其他动作的通用性,可以满足对校园典型暴力行为识别的实时性和可靠性要求。     

基于图卷积的手势骨架生成

目前手势生成的工作多用于从语音或文本中产生协同的手势以及实现手势数据增强.前者作为非语言信号辅助交流,却难以单独表达语义.对于后者,大多数都是将骨骼关节点当作图像的一个像素,整体当作图像处理,而没有考虑到关节点间丰富的人体结构信息,从而可能导致生成的结果是扭曲的、不自然的.本文提出了基于图卷积的生成式模型,以有效地编码...     

基于多维动态拓扑学习图卷积的骨架动作识别

图卷积由于其对图数据的强大表示能力被广泛应用于基于骨架的动作识别任务中.但是现有的图卷积方法在所有帧或通道上都使用共享的图拓扑进行特征聚合,这极大限制了图卷积网络的表示能力.为了解决这些问题,本文提出多维动态拓扑学习图卷积用于动态建模具有时序与通道特异性的拓扑结构.多维动态拓扑学习图卷积主要包含三个组成部分：纯粹节点拓扑学习图卷积（pure Joint topology learning Graph Convolution, J-GC）、动态时序特异性拓扑学习图卷积（Dynamic Temporal-Wise topology learning Graph Convolution, DTW-GC）和通道特异性拓扑学习图卷积（Channel-Wise topology learning Graph Convolution, CW-GC）.特别地,在DTW-GC中使用了动态骨架拓扑建模方法（Dynamic Skeleton Topology Learning, DSTL）,以高效地建模富含全局时空拓扑特征的动态骨架拓扑.将多维动态拓扑学习图卷积与多尺度时间卷积（Multi-Scale Te...     

基于骨架动作识别的协作卷积Transformer网络

近年来,基于骨架的人体动作识别任务因骨架数据的鲁棒性和泛化能力而受到了广泛关注。其中,将人体骨骼建模为时空图的图卷积网络取得了显著的性能。然而图卷积主要通过一系列3D卷积来学习长期交互联系,这种联系偏向于局部并且受到卷积核大小的限制,无法有效地捕获远程依赖关系。该文提出一种协作卷积Transformer网络(Co-ConvT),通过引入Transformer中的自注意力机制建立远程依赖关系,并将其与图卷积神经网络(GCNs)相结合进行动作识别,使模型既能通过图卷积神经网络提取局部信息,也能通过Transformer捕获丰富的远程依赖项。另外,Transformer的自注意力机制在像素级进行计算,因此产生了极大的计算代价,该模型通过将整个网络分为两个阶段,第1阶段使用纯卷积来提取浅层空间特征,第2阶段使用所提出的ConvT块捕获高层语义信息,降低了计算复杂度。此外,原始Transformer中的线性嵌入被替换为卷积嵌入,获得局部空间信息增强,并由此去除了原始模型中的位置编码,使模型更轻量。在两个大规模权威数据集NTU-RGB+D和Kinetics-Skeleton上进行实验验证,该模型分别达到了88.1%和36.6%的Top-1精度。实验结果表明,该模型的性能有了很大的提高。     

基于BERT和注意力引导图卷积网络的关系抽取

针对现有图卷积网络在关系抽取任务中存在文本语义,语法表征不准确和在不同树结构上并行化计算较难等问题,本文提出一种基于BERT和注意力引导图卷积网络的关系抽取模型。首先,在模型的输入层使用BERT和Bi-LSTM编码出适应于上下文语境的词向量;其次,对输入的树结构采用最短路径为中心的修剪方式,减少树中的无关信息;最后,在模型中引入多头注意力机制,自动学习不同子空间内对关系提取有用的相关子结构,并在TACRED数据集上进行验证。实验结果表明,相对于基线模型,本文提出的模型显著提高了实体关系抽取的F₁值。     

基于多分区时空图卷积网络的骨骼动作识别

人体骨骼点数据相对于RGB视频数据具有更好的环境适应性和动作表达能力,因此基于骨骼点数据的动作识别算法得到越来越广泛的关注和研究.近年来,基于图卷积网络(GCN)的骨骼点动作识别模型表现出了很好的性能,但多数基于GCN的模型往往使用固定空间配置分区策略且手动设定各骨骼点之间的连接关系,无法更好适应不同动作的变化特征.针...     

改进通道注意力机制下的人体行为识别网络

针对现有通道注意力机制对各通道信息直接全局平均池化而忽略其局部空间信息的问题,该文结合人体行为识别研究提出了两种改进通道注意力模块,即矩阵操作的时空(ST)交互模块和深度可分离卷积(DS)模块。ST模块通过卷积和维度转换操作提取各通道时空加权信息数列,经卷积得到各通道的注意权重;DS模块首先利用深度可分离卷积获取各通道局部空间信息,然后压缩通道尺寸使其具有全局的感受野,接着通过卷积操作得到各通道注意权重,进而完成通道注意力机制下的特征重标定。将改进后的注意力模块插入基础网络并在常见的人体行为识别数据集UCF101和HDBM51上进行实验分析,实现了准确率的提升。     

Skeleton-Based Human Action Recognition via Screw Matrices

With the recent advent of low-cost acqui-sition depth cameras, extracting 3D body skeleton has be-come relatively easier, which significantly lighten many dif-ficulties in 2D videos including occlusions, shadows and background extraction, etc. Directly perceived features, for example points, lines and planes, can be easily ex-tracted from 3D videos such that we can employ rigid motions to represent skeletal motions in a geometric way. We apply screw matrices, acquired by using rotations and translations in 3D space, to model single and multi-body rigid motion. Since screw matrices are members of the special Euclidean group SE(3), an action can be repre-sented as a point on a Lie group, which is a differen-tiable manifold. Using Lie-algebraic properties of screw al-gebra, isomorphic to se(3), the classical algorithms of ma-chine learning in vector space can be expanded to man-ifold space. We evaluate our approached on three public 3D action datasets: MSR Action3D dataset, UCF Kinect dataset and Florence3D-Action Dataset. The experimental results show that our approaches either match or exceed state-of-the-art skeleton-based human action recognition approaches.     

基于光谱注意力图卷积网络的高光谱图像分类

近年来,图卷积网络因其特征聚合的机制,能够同时对单个节点以及近邻节点的特征进行表示,被广泛应用于高光谱图像的分类任务。然而,高光谱图像(HSI)中常存在波段冗余、同物异谱等问题,使得直接利用原始光谱特征构建的初始图可靠性不足,从而导致高光谱图像的分类精度低。为此,该文提出一种基于光谱注意力图卷积网络(SAGCN)的高光谱图像半监督分类方法。首先,利用注意力模块对光谱的局部与全局信息进行交互,以增加重要光谱的权重、减小冗余波段以及噪声波段的权重,从而实现光谱的自适应加权;然后,针对光谱加权处理后的高光谱图像,通过空间-光谱相似性度量构建更为准确的近邻矩阵;最后,通过图卷积对标记和无标记样本进行有效的特征聚合,并使用标记样本的聚合特征训练网络。在Indian Pines, Kennedy Space Center和Botswana 3个真实高光谱图像数据集上的实验结果验证了所提方法的有效性。     

基于卷积网络通道注意力的人脸表情识别

针对目前人脸表情识别(Facial Expression Recognition, FER)方法准确率低、模型大和识别时间长的问题,提出了一种基于卷积神经网络的通道注意力FER算法,在普通的卷积层中加入Xception网络中的可分离卷积网络,减少参数量和运算成本。在可分离卷积层的输出加入通道注意力Senet,实现对输出通道的权值按重要程度进行重新分配。引入Resnet网络中残差机制,减轻梯度消失现象。对设计的模型分别在CK+,RAF-DB数据集和FER2013数据集进行训练。实验结果显示,在CK+,RAF-DB数据集和FER2013数据集准确率分别提高至99.45%,78.10%和62.65%。模型参数量仅有1.8 MB,识别时间1.24 s。实现了更准、更快、更轻的FER。     

用于行为识别的通道可分离卷积神经网络

三维卷积神经网络比二维卷积神经网络具有更优越的时空特征提取能力,但运算量却显著增加。针对如何有效减少模型参数量、解决准确率随着计算复杂度降低而降低的问题,提出基于端到端的通道可分离卷积神经网络。通过分离通道交互作用和时空交互作用来分解三维卷积,其中分别利用3×3×3 Depthwise卷积和1×1×1常规卷积进行分离通道交互作用和时空交互作用。与传统三维卷积神经网络相比,通道可分离卷积神经网络加入模型正则化,通过降低训练精度同时提高测试精度,降低了模型的过度拟合。在UCF-101和HMDB-51数据集上的实验分别达到92.7%和64.5%的准确率。结果表明,通道可分离卷积神经网络可以提高准确率并降低计算复杂度。      

基于三维图卷积与注意力增强的行为识别模型

针对当前行为识别方法无法有效提取非欧式3维骨架序列的时空信息与缺乏针对特定关节关注的问题,该文提出了一种基于3维图卷积与注意力增强的行为识别模型.首先,介绍了3维卷积与图卷积的具体工作原理;其次,基于图卷积中可处理变长邻居节点的图卷积核,引入3维卷积的3维采样空间将2维图卷积核改进为具有3维采样空间的3维图卷积核,提出...     

基于三维图卷积与注意力增强的行为识别模型

针对当前行为识别方法无法有效提取非欧式3维骨架序列的时空信息与缺乏针对特定关节关注的问题,该文提出了一种基于3维图卷积与注意力增强的行为识别模型.首先,介绍了3维卷积与图卷积的具体工作原理;其次,基于图卷积中可处理变长邻居节点的图卷积核,引入3维卷积的3维采样空间将2维图卷积核改进为具有3维采样空间的3维图卷积核,提出一种3维图卷积方法.针对3维采样空间内的邻居节点,通过3维图卷积核,实现了对骨架序列中时空信息的有效提取;然后,为增强对于特定关节的关注,聚焦重要的动作信息,设计了一种注意力增强结构;再者,结合3维图卷积方法与注意力增强结构,构建了基于3维图卷积与注意力增强的行为识别模型;最后,基于NTU-RGBD和MSR Action 3D骨架动作数据集开展了骨架行为识别的研究.研究结果进一步验证了基于3维图卷积与注意力增强的行为识别模型针对时空信息的有效提取能力及识别准确率.