基于运动引导图卷积网络的人体动作识别

针对当前基于骨架的人体动作识别方法无法建模关节点之间依赖关系随时间的变化,以及难以实现跨时空信息交互的问题,提出基于运动引导图卷积网络的人体动作识别方法.首先根据骨架序列提取其高级运动特征;然后在时间维度上学习运动相关图,并通过对预定义图和可学习图优化建模不同时期的关节依赖关系,即运动引导拓扑图;再利用运动引导拓扑图进行空间图卷积,将运动信息融合到空间图卷积以实现跨时空信息交互;最后交替使用时空图卷积,实现人体动作识别.在数据集NTU-RGB+D和NTU-RGB+D 120上与MS-G3D等图卷积网络进行对比实验的结果表明,所提方法在NTU-RGB+D的跨对象和跨视角上的准确率分别提升到92.3%和96.7%,在NTU-RGB+D 120的跨对象和跨场景上的准确率分别提升到88.8%和90.2%.     

基于轻量级图卷积的人体骨架动作识别方法

视频中的人体动作识别在计算机视觉领域得到广泛关注,基于人体骨架的动作识别方法可以明确地表现人体动作,因此已逐渐成为该领域的重要研究方向之一。针对多数主流人体动作识别方法网络参数量大、计算复杂度高等问题,设计一种融合多流数据的轻量级图卷积网络,并将其应用于人体骨架动作识别任务。在数据预处理阶段,利用多流数据融合方法对4种特征数据流进行融合,通过一次训练就可得到最优结果,从而降低网络参数量。设计基于图卷积网络的非局部网络模块,以捕获图像的全局信息从而提高动作识别准确率。在此基础上,设计空间Ghost图卷积模块和时间Ghost图卷积模块,从网络结构上进一步降低网络参数量。在动作识别数据集NTU60 RGB+D和NTU120 RGB+D上进行实验,结果表明,与近年主流动作识别方法ST-GCN、2s AS-GCN、2s AGCN等相比,基于该轻量级图卷积网络的人体骨架动作识别方法在保持较低网络参数量的情况下能够取得较高的识别准确率。     

多模态轻量级图卷积人体骨架行为识别方法

与传统的基于RGB视频的行为识别任务相比,基于人体骨架的行为识别方法由于其具有受光照、视角和背景复杂度等诸多因素影响非常小的特点,使其成为近几年来计算机视觉领域的主要研究方向之一.但是目前主流的基于人体骨架的行为识别方法都或多或少地存在参数量过大,运算时间过长,计算复杂度过高等问题,从而导致这些方法难以同时满足时效性和...     

基于图卷积的注意力聚焦时空融合人体活动识别研究

准确地识别人体活动数据可以为运动分析、医疗康复训练等领域提供重要帮助。鉴于现有的人体活动识别模型对于具有非欧氏空间数据特征的人体活动数据识别准确率不高的问题,提出了一种结合了图卷积、图注意力机制(GAT)和长短时记忆网络(LSTM)的新型人体活动识别特征提取方法GCN-AL,并基于GCN-AL构建了人体活动识别模型GCT-net。通过在开源的DaLiAc数据集上对GCT-net模型、GAN模型和GCN模型进行对比仿真实验表明,GCT-net模型的总体准确率、平均精确率、平均召回率相较于基于图卷积、图注意力机制的GAN模型和基于图卷积的GCN模型分别提高了2.0%、2.4%、2.4%和2.3%、2.5%、3.1%,与其他最新参考文献中提出的分类模型相比,GCT-net模型在总体准确率方面也有所改进。     

基于动态拓扑图的人体骨架动作识别算法

传统的人体骨架动作识别算法采用手动构建拓扑图的方式来建模包含在多个视频帧中的动作序列,并针对性地学习每个视频帧以反映数据变化,这容易造成计算代价大、网络泛化性低和灾难性遗忘等问题.针对上述问题,提出了基于动态拓扑图的人体骨架动作识别算法,使用持续学习思想动态构建人体骨架拓扑图.将具有多关系特性的人体骨架序列数据重新编码...     

基于骨架模态的多级门控图卷积动作识别网络

人类动作识别是一个极具挑战性的研究课题,广泛应用于安全监控、人机交互和自动驾驶等领域.近年来,图卷积网络在建模非欧几里德结构数据上取得了巨大成功,为骨架模态动作识别提供了新思路.由于骨架预定义图包含大量噪声,现有方法多使用高阶空域特征对空间依赖性进行建模.然而,仅关注高阶子集并不能在全局上反映顶点之间的动态相关性.此外...     

结合轻量Openpose和注意力引导图卷积的动作识别

现有人体姿态动作识别方法忽视前期姿态估计算法的作用;没有充分提取动作特征;提出一种结合轻量级Openpose和注意力引导图卷积网络的动作识别方法。该方法包含基于shufflenet的Openpose算法和基于不同尺度邻接矩阵注意力的图卷积算法。输入视频由轻量Openpose处理得到18个人体关键点信息;表达为基础时空图数据形式。节点的不同尺度邻居信息对应的邻接矩阵通过自注意力机制计算影响力;将各尺度邻接矩阵加权合并输入图卷积网络提取特征。提取到的鉴别特征通过全局平均池化和softmax分类器输出动作类别。在Le2i Fall Detection数据集和自定义的UR-KTH数据集上的实验表明;动作识别的准确率分别为95.52%和95.07%;达到了预期效果。     

基于增强型图卷积的骨架识别模型

针对现有骨架动作识别主要采用双流框架,在提取时间空间以及通道特征方法上存在的问题,提出一个ADGCN,用于骨架动作识别.首先对骨架数据进行建模,分别将关节、骨骼及其关节和骨骼的运动信息输入到多流框架的单个流.然后将输入的数据传送到提出的有向图卷积网络中进行提取关节和骨骼之间的依赖关系,再利用提出的时空通道注意力网络(STCN),增强每层网络中关键关节的时间、空间以及通道的信息.最后将四个流的信息通过加权平均计算动作识别的精度,输出动作的预测结果.此模型在两个大型数据集NTU-RGB+D和Kinectics-Skeleton中进行训练和验证,验证的结果与基线方法DGNN(有向图神经网络)相比,在NTU-RGB+D数据集上,在两个交叉子集CS和CV上的准确率分别提升了2.43％和1.2％.在Kinectics-Skeleton数据集的top1和top5上的准确率分别提升了0.7％和0.9％.提出的ADGCN可以有效地增强骨架动作识别的性能,在两个大型数据集上的效果都有所提升.     

基于3D骨架相似性的自适应移位图卷积神经网络人体行为识别算法

图卷积神经网络(Graph Convolutional Neural network, GCN)在基于3D骨架的人体行为识别领域取得了良好效果。然而,现有的大多数GCN方法对行为动作图的构建都是基于人体物理结构的手动设置,训练阶段各个图节点只能根据手动设置建立联系,无法感知动作行为过程中骨骼节点之间产生的新联系,导致图拓扑结构不合理和不灵活。移位图卷积网络通过改变图网络结构使得感受野更加灵活,并且在全局移位角度取得了良好效果。因此,提出了一种基于自适应移位图卷积神经网络(Adaptive Shift Graph Convolutional Neural network, AS-GCN)的人体行为识别算法来弥补前述GCN方法的不足。AS-GCN借鉴了移位图卷积网络的思想,提出用每个人体动作的本身特点来指导图神经网络进行移位操作,以尽可能准确地选定需要扩大感受野的节点。在基于骨架的通用动作识别数据集NTU-RGBD上,所提算法在骨骼有无物理关系约束的前提条件下均进行了实验验证。与现有的先进算法相比,AS-GCN算法的动作识别准确率在有骨骼物理约束的条件下的CV和CS角度上平均提高了12%和4.84%;在无骨骼物理约束的条件下的CV和CS角度上平均提高了20%和14.49%。     

基于跨通道特征增强图卷积网络的骨架行为识别

受限于图卷积网络的局部操作模式,传统图卷积网络骨架行为识别方法难以建模远关节点关系和长时间信息,无法捕捉动作间的局部微小变化.因此,文中提出基于跨通道特征增强图卷积网络的骨架行为识别(Cross-Channel Feature-Enhanced Graph Convolutional Network for Skeleton-Based Action Recognition, CFE-GCN),包括双部分分组图卷积模块、跨阶段部分密集连接模块及多尺度时间卷积模块.双部分分组图卷积模块采用分组策略,对人体关节点建模,提取多粒度特征,捕获关节点之间的局部细微差异.跨阶段部分密集连接模块建立节点与前网络层之间的关联,丰富早期信息,捕捉长期运动关节间的潜在关系,学习更全面的上下文特征.多尺度时间卷积模块执行不同感受野的时间卷积,捕捉运动在时间域上的短期依赖关系和长期依赖关系.在3个基准数据集上的实验表明CFE-GCN性能较优.     

基于分块注意力机制和交互位置关系的群组活动识别

复杂场景下的群体活动识别是一项具有挑战性的任务,它涉及一组人在场景中的相互作用和相对空间位置关系。针对当前复杂场景下群组行为识别方法缺乏精细化设计以及没有充分利用个体间交互式特征的问题,提出了基于分块注意力机制和交互位置关系的网络框架,进一步考虑个体肢体语义特征,同时挖掘个体间交互特征相似性与行为一致性的关系。首先,采用原始视频序列和光流图像序列作为网络的输入,并引入一种分块注意力模块来细化个体的肢体运动特征;然后,将空间位置和交互式距离作为个体的交互特征;最后,将个体运动特征和空间位置关系特征融合为群体场景无向图的节点特征,并利用图卷积网络（GCN）进一步捕获全局场景下的活动交互,从而识别群体活动。实验结果表明,此框架在两个群组行为识别数据集（CAD和CAE）上分别取得了92.8%和97.7%的识别准确率,在CAD数据集上与成员关系图（ARG）和置信度能量循环网络（CERN）相比识别准确率分别提高了1.8个百分点和5.6个百分点,同时结合消融实验结果验证了所提算法有较高的识别精度。     

基于注意力与图卷积网络的关系抽取模型

针对关系抽取任务中句子依存树的信息利用率低和特征提取效果不佳的问题,提出了一种基于注意力引导的门控感知图卷积网络(Att-Gate-GCN)模型.首先,利用一种基于注意力机制的软剪枝策略,通过注意力机制为依存树中的边分配权重,以挖掘依存树中的有效信息,同时过滤无用信息;其次,构建一种门控感知图卷积网络(GCN)结构,通...     

基于图注意力网络的方面级别文本情感分析

方面级别文本情感分析旨在分析文本中不同方面所对应的情感趋向。传统基于神经网络的深度学习模型在文本情感分析的过程中,大多直接使用注意力机制而忽略了句法关系的重要性,即不能充分利用方面节点的上下文语义信息,导致情感趋向预测效果不佳。针对该问题,设计一种融合句法信息的图注意力神经网络模型,并将其应用于文本情感分析任务。利用预训练模型BERT进行词嵌入得到初始词向量,将初始词向量输入双向门控循环神经网络以增强特征向量与上下文信息之间的融合,防止重要上下文语义信息丢失。通过融合句法信息的图注意力网络加强不同方面节点之间的交互,从而提升模型的特征学习能力。在SemEval-2014数据集上的实验结果表明,该模型能够充分利用句法信息进行情感分析,其准确率较LSTM及其变种模型至少提升3%,对Restaurant评论进行情感分类预测时准确率高达83.3%。     

基于扩展时间和时空特征融合图卷积网络的骨架行为识别

在基于骨架的人体行为识别领域, 图卷积网络(GCN)在近年来取得了很大的进展, 但现有GCN大多将时间卷积和空间卷积简单串联, 导致时空特征融合效果不佳。另外, 现有模型还存在无法高效提取时间特征的问题。为此, 提出扩展时间和时空特征融合图卷积网络(ETFF-GCN)。该网络采用通道聚合的方法对动态空间拓扑和时序特征进行一次融合, 然后运用注意力机制进行二次融合, 进一步增强融合效果。在此基础上, 为了全面提取时序特征, 采用多个不同大小的卷积核构建时域图卷积, 以提取多尺度和多粒度的时间特征, 并引入有效压缩激励模块进行特征增强, 提升特征表达能力。在3个大型数据集上对所提出的方法进行评估, 实验结果表明, 该方法的性能优于现有的方法。     

基于图卷积网络和终点诱导的行人轨迹预测

针对行人轨迹预测研究中仅关注历史轨迹的交互信息;而忽略了终点交互信息的问题;提出一种基于图卷积网络（GCN）和终点诱导（Endpoint Induction）的行人轨迹预测模型GCN-EI。首先;在训练集上使用分类方法学习行人未来可能的加权终点分布;其次;将可能的终点与它们对应的历史轨迹相连接;并使用基于注意力机制和终点条件的GCN在更长的时间跨度上提取行人的交互特征;同时使用个体特征模块提取行人的内在运动特征;最后通过时间内推卷积预测行人的未来轨迹。在ETH和UCY数据集上对模型进行的测试结果表明;相较于STITD-GCN（Spatio-Temporal Interaction and Trajectory Distribution GCN）模型;所提模型在平均位移误差（ADE）和最终位移误差（FDE）上分别下降了4.5%和5.0%;相较于采用分类方法的PCCSNet（Prediction via modality Clustering; Classification and Synthesis Network）模型;在FDE上下降了9.5%。     

基于层次结构感知的细粒度实体分类方法

针对现有细粒度实体分类（FGET）任务的工作多着眼于如何更好地编码实体和上下文的语义信息,而忽略了标签层次结构中标签之间的依赖关系及其本身的语义信息的问题,提出了一种基于层次结构感知的细粒度实体分类（HAFGET）方法。首先,利用基于图卷积网络（GCN）的层次结构编码器对不同层级标签之间的依赖关系进行建模,提出了基于层次结构感知的细粒度实体分类多标签注意力（HAFGET-MLA）模型和基于层次结构感知的细粒度实体分类实体特征传播（HAFGET-MFP）模型;然后,利用HAFGET-MLA模型和HAFGET-MFP模型对实体上下文特征进行层次结构感知和分类,前者通过层次编码器学习层次结构感知标签嵌入,并与实体特征通过注意力融合后进行标签分类,后者则直接将实体特征输入到层次结构编码器更新特征表示后进行分类。在FIGER、OntoNotes和KNET三个公开数据集上的实验结果表明,与基线模型相比,HAFGET-MLA模型和HAFGET-MFP模型的准确率和宏平均F1值均提升了2%以上,验证了所提方法能够有效提升分类效果。     

基于自适应图卷积网络的心电图多标签分类模型

心电图分析是一种被广泛应用的心脏疾病诊断方法。传统的心电图分析严重依赖医生个人水平,容易出现误诊、漏诊现象,效率较低,且不能有效利用高频信号提供的有价值信息。基于卷积神经网络（CNN）的心电图自动分类方法在一定程度上提高了诊断效率,但依然存在对高频信息利用不充分的问题,且单一的卷积神经网络由于受感受野的限制和权重共享的影响,导致无法充分利用全局信息,分类准确率有待提高。提出一种基于注意力机制与图卷积网络的心电图多标签分类模型MLECG-AGCN,通过设计基于注意力机制的CNN网络,提高网络对高频信号的利用率。引入图卷积网络,以有效利用全局信息和特征空间邻域样本信息,从而协助样本进行分类,提高分类结果的准确率。基于注意力机制的CNN网络通过高通滤波器突出原始信号的高频位置,生成注意力图,并将注意力图嵌入到原始信号中,增强网络关注高频信号的能力。在PTB-XL数据集上的实验结果表明,基于注意力机制的CNN网络与自适应图卷积网络的结合有效提高了心电图分类精度,与Multi-ECGNet、ResNet18、ResNet101等模型相比,MLECG-AGCN模型取得了较高的AUROC值,为0.943 639。     

基于图卷积神经网络的函数自动命名

函数自动命名技术旨在为输入的源代码自动生成目标函数名,增强程序代码的可读性以及加速软件开发进程,是软件工程领域中一项重要的研究任务.现有基于机器学习的技术主要是通过序列模型对源代码进行编码,进而自动生成函数名,但存在长程依赖问题和代码结构编码问题.为了更好的提取程序中的结构信息和语义信息,本文提出了一个基于图卷积(Gr...     

基于知信图卷积神经网络的开放域知识图谱自动构建模型

解决多源知识对齐和知识冗余问题是在开放数据域自动构建知识图谱的关键。建立一种融合知信学习与深度学习的知识图谱自动构建模型。分析图卷积神经网络（GCN）模型与知信学习之间的理论联系,以先验知识与深度学习相结合的方式构建实体语义联合空间,将先验知识对模型的干预形式化,并利用自动编码器实现一个细粒度的实体对齐和关系抽取模型。同时,采用GCN与多头注意力相结合的方式,缓解因结构数据中多跳推理造成实体依赖信息丢失的影响。在开源数据集SemEval、FB15k和收集整理的MD数据集上的实验结果表明,该模型针对关系抽取、实体对齐和三元组抽取任务的F1值分别达到89.5%、86.6%和84.2%,较BERT-Softmax模型分别提升了0.3、2.4和0.3个百分点,具有更好的信息学习能力。     

基于视觉注意力的人体行为识别

视频中人体行为识别是近年来计算机视觉中的一个重要研究领域,但是现有的方法对于视频表示方式存在不足,无法聚焦于图像内的显著区域.提出了一种基于视觉注意力的深度卷积神经网络,可以有效地为视频表示特征附加一个权重,对特征中的有益区域进行注意,实现更加准确的行为识别.在自建的Oilfield-7油田数据集和HMDB51数据集上进行了实验,以此来验证适用于油田现场人体行为所提出的网络模型的有效性.实验结果表明,所提的方法与已取得优异表现的双流架构相比具有一定的优越性.