基于DA-GCN的煤矿人员行为识别方法

针对煤矿生产区域的监控视频较为模糊且人员行为类型复杂,常规行为识别方法的准确率较低的问题,提出了一种基于动态注意力与多层感知图卷积网络(DA-GCN)的煤矿人员行为识别方法。采用Openpose算法提取输入视频的人体关键点,得到3个维度、18个坐标的人体关键点信息,降低模糊背景信息的干扰;通过动态多层感知图卷积网络(D-GCN)提取人体关键点的空间特征,通过时间卷积网络(TCN)提取人体关键点的时间特征,提高网络对不同动作的泛化能力;使用动态注意力机制,增强网络对于动作关键帧、关键骨架的注意力程度,进一步缓解视频质量不佳带来的影响;使用Softmax分类器进行动作分类。通过场景分析,将井下行为分为站立、行走、坐、跨越和操作设备5种类型,构建适用于煤矿场景的Cumt-Action数据集。实验结果表明,DA-GCN在Cumt-Action数据集的最高准确率达到99.3%,最高召回率达到98.6%;与其他算法相比,DA-GCN在Cumt-Action数据集和公共数据集NTU-RGBD上均具有较高的识别准确率,证明了DA-GCN优秀的行为识别能力。     

基于2S-LSGCN的人体动作识别

针对视频中人体动作行为的空间复杂性和时间复杂性问题,提出一种融合图卷积神经网络和长短期记忆神经网络的双流网络方法2 S-LSGCN.从人体关节点组成的骨架关节图中,提取动作的空间与时间特征;利用GCN提取骨架关节点间潜在的空间信息,LSTM提取人体动作前后之间的时间序列特征作为补充,分别将两个网络的预测输出进行晚融合,...     

基于图卷积网络与自注意力图池化的视频行人重识别方法

针对跨相机网络视频中存在的遮挡、空间不对齐、背景杂波等因素导致视频行人重识别效果较差的问题,提出一种基于图卷积网络（GCN）与自注意力图池化（SAGP）的视频行人重识别方法。首先,通过区块关系图建模挖掘视频中帧间不同区域的关联信息,并利用GCN优化逐帧图像中的区域特征,缓解遮挡和不对齐等问题;然后,通过SAGP机制去除对行人特征贡献较低的区域,避免背景杂波区域的干扰;最后,提出一种加权损失函数策略,使用中心损失优化分类学习结果,并使用在线软挖掘和类感知注意力（OCL）损失解决难样本挖掘过程中可用样本未被充分利用的问题。实验结果表明,在MARS数据集上,相较于次优的AITL方法,所提方法的平均精度均值（mAP）与Rank-1分别提高1.3和2.0个百点。所提方法能够较好地利用视频中的时空信息,提取更具判别力的行人特征,提高行人重识别任务的效果。     

基于骨骼时序散度特征的人体行为识别算法

人体行为识别是智能监控、人机交互、机器人等领域的一项重要的基础技术。图卷积神经网络（GCN）在基于骨骼的人体行为识别上取得了卓越的性能。不过GCN在人体行为识别研究中存在以下问题：1）人体骨架的骨骼点采用坐标表示,缺乏骨骼点的运动细节信息;2）在某些视频中,人体骨架的运动幅度太小导致关键骨骼点的表征信息不明显。针对上述问题,首先提出骨骼点的时序散度模型来描述骨骼点的运动状态,从而放大了不同人体行为的类间方差。并进一步提出了时序散度特征的注意力机制,以突显关键骨骼点,进一步扩大类间方差。最后根据原始骨架的空间数据特征和时序散度特征的互补性构建了双流融合模型。所提算法在权威的人体行为数据集NTU-RGB+D的两种划分策略下分别达到了82.9%和83.7%的准确率,相比自适应图卷积网络（AGCN）提高了1.3个百分点和0.5个百分点,准确率的提升证明了所提算法的有效性。     

预加权调制密集图卷积网络三维人体姿态估计

图卷积网络（GCN）日益成为三维人体姿态估计（3D HPE）的主要研究热点之一,使用GCN对人体关节点之间的关系建模的方法使三维人体姿态估计获得了良好的性能。然而,基于GCN的三维人体姿态估计方法存在过平滑和未区分关节点与相邻关节点重要性的问题。为解决这些问题,设计了调制密集连接模块（MDC）和预加权图卷积模块,并基于这两个模块提出了预加权调制密集图卷积网络的三维人体姿态估计方法（WMDGCN）。针对过平滑问题,调制密集连接通过超参数α和β更好地实现特征重用（超参数α表示第l层和之前各层总特征的权重比例,超参数β表示之前各层特征到第l层的传播策略）,从而有效地提高特征的表达能力。针对未区分关节点与相邻关节点重要性的问题,使用预加权图卷积为当前关节点赋予更高的权重,并对当前关节点及其相邻关节点使用不同的权重矩阵,更有效地捕获人体关节点特征。Human3.6M数据集上的对比实验结果表明,该方法在参数量和性能上均取得了最佳性能,WMDGCN的参数量、MPJPE和P-MPJPE值分别为0.27 MB、37.46 mm和28.85 mm。     

基于DRCA-GCN的矿工动作识别模型

井下“三违”行为给煤矿生产带来严重安全隐患,提前感知并预防井下工作人员的不安全动作具有重要意义。针对因煤矿监控视频质量不佳导致基于图像的动作识别方法准确率受限的问题,构建了基于密集残差和组合注意力的图卷积网络（DRCA-GCN）,提出了基于DRCA-GCN的矿工动作识别模型。首先利用人体姿态识别模型OpenPose提取人体关键点,并对缺失关键点进行补偿,以降低因视频质量不佳造成关键点缺失的影响,然后利用DRCA-GCN识别矿工动作。DRCA-GCN在时空初始图卷积网络（STIGCN）基础上引入组合注意力机制和密集残差网络：通过组合注意力机制提升模型中每个网络层对重要时间序列、空间关键点和通道特征的提取能力;通过密集残差网络对提取的动作特征进行信息补偿,加强各网络间的特征传递,进一步提升模型对矿工动作特征的识别能力。实验结果表明：(1)在公共数据集NTU-RGB+D120上,以Cross-Subject(X-Sub)和CrossSetup(X-Set)作为评估协议时,DRCA-GCN的识别精度分别为83.0%和85.1%,相比于STIGCN均提高了1.1%,且高于其他主流动作识别模型;通...     

基于骨架的行为识别中图池化的应用

图卷积网络在基于骨架的行为识别的任务中取得了良好的性能。然而并非所有的关节点都与动作的发生密切相关,这些无关的关节点阻碍了识别的精度。为此,图池化被应用到基于骨架的行为识别方法中。具体来说,首先通过一个图卷积层提取特征,随后自注意力图池化被用于去除特征较小的结点,然后继续使用图卷积网络进行特征提取并得到分类结果。通过这种方式,网络更加关注于动作发生相关的结点,而忽略那些无关结点信息所带来的影响,识别精度相应的得到提高。在两个大规模的公开数据集NTU RGB+D和Kinetics skeleton的实验证明了该方法的有效性。     

基于图卷积网络的行为识别方法综述

行为识别技术具有巨大的应用前景和潜在的经济价值,广泛应用于视频监控、视频检索、人机交互、公共安全等领域.图卷积网络表现出基于图数据的依赖关系进行建模的强大功能,成为行为识别领域的研究热点.基于此,主要概述基于图卷积网络的行为识别方法.图卷积网络主要有两大方法:基于频谱的方法和基于空间的方法.首先,从不同侧面分析两种方法...     

基于多头软注意力图卷积网络的行人轨迹预测

行人间交互作用的复杂性给行人轨迹预测带来了挑战,且现有算法难以捕获行人间有意义的交互信息,不能直观地建模行人间的交互作用。针对以上问题,提出多头软注意力图卷积网络。首先利用多头软注意力（MS ATT）结合内卷网络Involution分别从空间图和时间图输入中提取稀疏空间和稀疏时间邻接矩阵,生成稀疏空间和稀疏时间有向图;然后,利用图卷积网络（GCN）从稀疏空间和稀疏时间有向图中学习交互作用与运动趋势特征;最后,将学习到的轨迹特征输入时间卷积网络（TCN）以预测双高斯分布参数,生成行人预测轨迹。在ETH和UCY数据集上的实验结果表明：相较于空时社交关系池化行人轨迹预测模型（SOPM）,所提算法的平均位移误差（ADE）降低了2.78%;相较于稀疏图卷积网络（SGCN）,所提算法的最终位移误差（FDE）降低了16.92%。     

基于分块注意力机制和交互位置关系的群组活动识别

复杂场景下的群体活动识别是一项具有挑战性的任务,它涉及一组人在场景中的相互作用和相对空间位置关系。针对当前复杂场景下群组行为识别方法缺乏精细化设计以及没有充分利用个体间交互式特征的问题,提出了基于分块注意力机制和交互位置关系的网络框架,进一步考虑个体肢体语义特征,同时挖掘个体间交互特征相似性与行为一致性的关系。首先,采用原始视频序列和光流图像序列作为网络的输入,并引入一种分块注意力模块来细化个体的肢体运动特征;然后,将空间位置和交互式距离作为个体的交互特征;最后,将个体运动特征和空间位置关系特征融合为群体场景无向图的节点特征,并利用图卷积网络（GCN）进一步捕获全局场景下的活动交互,从而识别群体活动。实验结果表明,此框架在两个群组行为识别数据集（CAD和CAE）上分别取得了92.8%和97.7%的识别准确率,在CAD数据集上与成员关系图（ARG）和置信度能量循环网络（CERN）相比识别准确率分别提高了1.8个百分点和5.6个百分点,同时结合消融实验结果验证了所提算法有较高的识别精度。     

基于人体关节点的低头异常行人检测

近年来,随着智能手机的快速发展,低头族行人在过马路时依然保持浏览手机的姿态,由此造成的交通事故时有发生。如何有效检测低头族成为了当下亟待解决的问题。现有的检测方法需要大量的真实低头异常的数据集,且最终结果存在识别精度不高、速度不尽人意的问题。基于此,提出了一种快速有效的低头异常行人检测方法,与现有方法的区别在于该方法是基于关节点而不是图像。首先设计了一种构造数据集的方法,在识别人体关节点的基础上,调整左右腕关节坐标来模拟行人手持电子设备的姿态,解决了数据集缺少且需要大量标注的问题;其次,提出复杂环境中高效检测行人异常行为的算法,对上述关节点坐标进行分类识别,充分利用手臂与头部信息来实现行人异常行为检测。实验证明,所提算法能够实现实时检测,且检测精度达到了94.08%,从而可以为视频监控、驾驶员、辅助驾驶以及自动驾驶系统提供必要的参考信息。     

基于骨架序列提取的异常行为识别

视频监控系统中的人员异常行为识别研究具有重要意义.针对传统算法检测实时性和准确性差,易受环境影响的问题,提出一种基于骨架序列提取的异常行为识别算法.首先,改进YOLOv3网络用以对目标进行检测、结合RT-MDNet算法进行跟踪,得到目标的运动轨迹;然后,利用OpenPose模型提取轨迹中目标的骨架序列;最后通过时空图卷积网络结合聚类对目标进行异常行为识别.实验结果表明,在存在光照变化的复杂环境下,算法识别准确率达94%,处理速度达18.25 fps,能够实时、准确地识别多种目标的异常行为.     

基于时空融合图网络学习的视频异常事件检测

视频中异常事件所体现的时空特征存在着较强的相关关系针对视频异常事件发生的时空特征相关性而影响检测性能问题,提出了基于时空融合图网络学习的视频异常事件检测方法,该方法针对视频片段的特征分别构建空间相似图和时间连续图,将各片段对应为图中的节点,考虑各节点特征与其他节点特征的Top-k相似性动态形成边的权重,构成空间相似图;...     

结合图卷积的深层神经网络用于文本分类

随着图卷积网络的发展,图卷积网络已经应用到很多任务中,其中就包含文本分类任务.通过将文本数据表示成图数据,进而在图上应用图卷积,从而捕获文本的结构信息和单词间的长距离依赖关系获得了良好的分类效果.但将文本建模成图模型后,图卷积网络面临着文本上下文语义信息和局部特征信息表示不充分的问题.提出一种新的模型,利用双向长短时记...     

基于深度学习的人体行为识别综述

人体行为识别旨在对视频监控中的人体行为进行检索并识别,是人工智能领域的研究热点。基于传统方法的人体行为识别算法存在对样本数据依赖大、易受环境噪声影响等不足。为解决此问题,许多适用于不同应用场景的基于深度学习的人体行为识别算法被提出。介绍了人体行为识别任务中传统特征提取方法和基于深度学习的特征提取方法;从性能和应用两方面对基于深度学习的人体行为识别算法进行总结,重点分析了基于3D卷积神经网络、混合网络、双流卷积神经网络和少样本学习（few-shot learning,FSL）的人体行为识别方法及其在UCF101和HMDB51数据集上的表现;在深度学习的基础上,归纳了主流模型迁移方法的优缺点及其有效性;总结了现有基于深度学习的人体行为识别算法存在的不足,并讨论了以元学习（meta-learning）和transformer为代表的FSL算法将成为未来模型主流算法的可能性,同时对未来基于深度学习的人体行为识别算法的发展方向进行展望。     

基于情景记忆的运动小目标行人检测神经网络

从视觉场景中可靠地检测小目标行人对象是构建未来人工智能视觉系统的重要基础。由于运动小目标的视感尺寸小且纹理特征模糊,导致现有的传统行人目标检测方法难以应对。针对该问题,基于蝗虫视觉系统的神经结构特性,借助人类大脑内侧颞叶（MTL）情景记忆认知机理,提出一种适用于运动小目标行人检测的人工视觉神经网络（STPDNN）模型。所提出的神经网络包括两部分：突触前和突触后子网络。其中,突触前网络模拟蝗虫视觉系统加工处理视觉信号的神经机理,获得表征目标对象低阶特征的视觉运动线索;突触后网络从低阶视觉信号中提取出行人目标的情景记忆高阶信息,以实现对运动目标的偏好性响应。系统性的实验结果表明,提出的STPDNN可有效检测视觉场景中的运动小目标行人对象。该研究工作涉及生物视神经机理启发的行人目标动态视觉信息加工处理,可为智能视频监控中的行人检测识别与运动行为分析提供新思想、新方法。     

基于混合特征建模的图卷积网络方法

对于网络中拥有的复杂信息,需要更多的方式抽取其中的有用信息,但现有的单特征图神经网络（GNN）无法完整地刻画网络中的相关特性。针对该问题,提出基于混合特征的图卷积网络（HDGCN）方法。首先,通过图卷积网络（GCN）得到节点的结构特征向量和语义特征向量;然后,通过改进基于注意力机制或门控机制的聚合函数选择性地聚合语义网络节点的特征,增强节点的特征表达能力;最后,通过一种基于双通道图卷积网络的融合机制得到节点的混合特征向量,将节点的结构特征和语义特征联合建模,使特征之间互相补充,提升该方法在后续各种机器学习任务上的表现。在CiteSeer、DBLP和SDBLP三个数据集上进行实验的结果表明,与基于结构特征训练的GCN相比,HDGCN在训练集比例为20%、40%、60%、80%时的Micro?F1值平均分别提升了2.43、2.14、1.86和2.13个百分点,Macro?F1值平均分别提升了1.38、0.33、1.06和0.86个百分点。用拼接或平均值作为融合策略时,准确率相差不超过0.5个百分点,可见拼接和平均值均可作为融合策略。HDGCN在节点分类和聚类任务上的准确率高于单纯使用结构或语义网络训练的模型,并且在输出维度为64、学习率为0.001、2层图卷积层和128维注意力向量时的效果最好。     

基于混合图神经网络的方面级情感分类

目前在方面级情感分类研究中,图卷积网络被应用于句法依赖树上构建方面词与上下文词的依赖关系。但是由于句法依赖树的不稳定性和语句的复杂性与不规范表达,这种改进较为有限。为解决上述问题,提出了一种基于混合图神经网络模型。在该模型中,为了深度提取方面词与上下文词的依赖关系,设计了应用于句法依赖树的多层图卷积网络。同时为提取词级依赖特征,设计了具有残差连接的图注意力网络（Res-GAT）,其主要思想为以词级依赖关系特征作为补充,结合句法依赖关系进行方面级情感分类。通过在五个经典数据集上实验,证明了该模型相较于基线模型具有更优异的分类能力。     

面向方面级情感分析的加权依存树卷积网络

面向方面级情感分析,现有基于规则的依存树修剪方法存在删除部分有用信息的问题。另外,如何利用图卷积网络获取图结构中丰富的全局信息也是现阶段面临的一个重要问题。针对第一个问题,该文通过多头注意力机制自动学习如何有选择地关注对分类任务有用的结构信息,将原始依存树转变为完全连接的边加权图。针对第二个问题,该文将紧密连接引入图卷积网络中,使图卷积网络能够捕捉丰富的局部和全局信息。三个公开数据集上的实验结果表明,该文模型相比基线模型其准确率和F₁值均有提升。