基于多级特征融合和时域扩展的行为识别方法

近年来,基于图卷积网络的行为识别是计算机视觉领域的研究热点。然而,现有的图卷积行为识别方法忽略了肢体层面的动作特征,使得行为空间特征提取不准确。此外,这些方法缺乏在间隔帧间进行时序动态建模的能力,导致行为时域特征表达不充分。针对上述问题提出一种基于多级特征融合和时域扩展的图卷积网络行为识别方法。该方法通过多级融合模块提取与融合低层次的关节特征和高层次的肢体特征,从而得到判别性更强的多层级空间特征。同时通过时域扩展模块从相邻帧、间隔帧中学习丰富的多尺度时域特征,增强行为特征的时序表达。在三个大型数据集（NTU RGB+D 60、NTU RGB+D 120和Kinetics-Skeleton）上的实验结果表明,所提方法的识别准确度高于现有行为识别方法。     

基于时域图卷积神经网络的交通流预测模型

针对当前大多数模型对交通流数据空间信息挖掘不充分、无法捕获长序列单元间的信息等问题,提出一种基于时域图卷积神经网络的交通流预测模型。通过阈值权重法重构邻接矩阵,将多层近邻机制嵌入图卷积网络进一步挖掘空间信息;引入时域卷积网络,借助膨胀因果卷积扩大感知野并结合残差网络提取时间信息;运用Dense网络输出结果。利用加州性能评估系统中两个数据集进行评估,其结果表明,该模型性能优于常用的基准模型以及最近提出的多时空图卷积网络模型。     

基于图卷积网络的行为识别方法综述

行为识别技术具有巨大的应用前景和潜在的经济价值,广泛应用于视频监控、视频检索、人机交互、公共安全等领域.图卷积网络表现出基于图数据的依赖关系进行建模的强大功能,成为行为识别领域的研究热点.基于此,主要概述基于图卷积网络的行为识别方法.图卷积网络主要有两大方法:基于频谱的方法和基于空间的方法.首先,从不同侧面分析两种方法...     

基于DRCA-GCN的矿工动作识别模型

井下“三违”行为给煤矿生产带来严重安全隐患,提前感知并预防井下工作人员的不安全动作具有重要意义。针对因煤矿监控视频质量不佳导致基于图像的动作识别方法准确率受限的问题,构建了基于密集残差和组合注意力的图卷积网络（DRCA-GCN）,提出了基于DRCA-GCN的矿工动作识别模型。首先利用人体姿态识别模型OpenPose提取人体关键点,并对缺失关键点进行补偿,以降低因视频质量不佳造成关键点缺失的影响,然后利用DRCA-GCN识别矿工动作。DRCA-GCN在时空初始图卷积网络（STIGCN）基础上引入组合注意力机制和密集残差网络：通过组合注意力机制提升模型中每个网络层对重要时间序列、空间关键点和通道特征的提取能力;通过密集残差网络对提取的动作特征进行信息补偿,加强各网络间的特征传递,进一步提升模型对矿工动作特征的识别能力。实验结果表明：(1)在公共数据集NTU-RGB+D120上,以Cross-Subject(X-Sub)和CrossSetup(X-Set)作为评估协议时,DRCA-GCN的识别精度分别为83.0%和85.1%,相比于STIGCN均提高了1.1%,且高于其他主流动作识别模型;通...     

基于轻量级图卷积的人体骨架动作识别方法

视频中的人体动作识别在计算机视觉领域得到广泛关注,基于人体骨架的动作识别方法可以明确地表现人体动作,因此已逐渐成为该领域的重要研究方向之一。针对多数主流人体动作识别方法网络参数量大、计算复杂度高等问题,设计一种融合多流数据的轻量级图卷积网络,并将其应用于人体骨架动作识别任务。在数据预处理阶段,利用多流数据融合方法对4种特征数据流进行融合,通过一次训练就可得到最优结果,从而降低网络参数量。设计基于图卷积网络的非局部网络模块,以捕获图像的全局信息从而提高动作识别准确率。在此基础上,设计空间Ghost图卷积模块和时间Ghost图卷积模块,从网络结构上进一步降低网络参数量。在动作识别数据集NTU60 RGB+D和NTU120 RGB+D上进行实验,结果表明,与近年主流动作识别方法ST-GCN、2s AS-GCN、2s AGCN等相比,基于该轻量级图卷积网络的人体骨架动作识别方法在保持较低网络参数量的情况下能够取得较高的识别准确率。     

基于融合关系学习网络的行人重识别

基于图卷积神经网络的行人重识别方法面临两个问题:1)在对特征映射构图时,图节点表达的语义信息不够显著;2)选择特征块构图时仅依赖特征块间的相对距离,忽略内容相似性.为了解决这两个问题,文中提出融合关系学习网络的行人重识别.利用注意力机制,使用最大注意力模型,使最重要的特征块更显著,赋予其语义信息.融合相似性度量,从距离和内容两方面对特征块进行相似性计算,度量方式更全面.该算法能够综合地选取近邻特征块,为图卷积神经网络提供更好的输入图结构,使图卷积神经网络提取更鲁棒的结构关系特征.在iLIDS-VID、MARS数据集上的实验验证文中网络的有效性.     

基于DA-GCN的煤矿人员行为识别方法

针对煤矿生产区域的监控视频较为模糊且人员行为类型复杂,常规行为识别方法的准确率较低的问题,提出了一种基于动态注意力与多层感知图卷积网络(DA-GCN)的煤矿人员行为识别方法。采用Openpose算法提取输入视频的人体关键点,得到3个维度、18个坐标的人体关键点信息,降低模糊背景信息的干扰;通过动态多层感知图卷积网络(D-GCN)提取人体关键点的空间特征,通过时间卷积网络(TCN)提取人体关键点的时间特征,提高网络对不同动作的泛化能力;使用动态注意力机制,增强网络对于动作关键帧、关键骨架的注意力程度,进一步缓解视频质量不佳带来的影响;使用Softmax分类器进行动作分类。通过场景分析,将井下行为分为站立、行走、坐、跨越和操作设备5种类型,构建适用于煤矿场景的Cumt-Action数据集。实验结果表明,DA-GCN在Cumt-Action数据集的最高准确率达到99.3%,最高召回率达到98.6%;与其他算法相比,DA-GCN在Cumt-Action数据集和公共数据集NTU-RGBD上均具有较高的识别准确率,证明了DA-GCN优秀的行为识别能力。     

用于骨架行为识别的多维特征嵌合注意力机制

目的 在行为识别任务中,妥善利用时空建模与通道之间的相关性对于捕获丰富的动作信息至关重要。尽管图卷积网络在基于骨架信息的行为识别方面取得了稳步进展,但以往的注意力机制应用于图卷积网络时,其分类效果并未获得明显提升。基于兼顾时空交互与通道依赖关系的重要性,提出了多维特征嵌合注意力机制(multi-dimensional feature fusion attention mechanism, M2FA)。方法 不同于现今广泛应用的行为识别框架研究理念,如卷积块注意力模块(convolutional block attention module, CBAM)、双流自适应图卷积网络(two-stream adaptive graph convolutional network, 2s-AGCN)等,M2FA通过嵌入在注意力机制框架中的特征融合模块显式地获取综合依赖信息。对于给定的特征图,M2FA沿着空间、时间和通道维度使用全局平均池化操作推断相应维度的特征描述符。特征图使用多维特征描述符的融合结果进行过滤学习以达到细化自适应特征的目的,并通过压缩全局动态信息的全局特征分支与仅使用逐点卷积层的局...     

基于语序知识的双通道图卷积网络方面级情感分析

当前大多数基于图卷积网络的方面级情感分析方法利用文本的句法知识、语义知识、情感知识构建文本依赖,但少有研究利用文本语序知识构建文本依赖,导致图卷积网络不能有效地利用文本语序知识引导方面项学习上下文情感信息,从而限制了其性能。针对上述问题,提出基于语序知识的双通道图卷积网络(dual-channel graph convolutional network with word-order knowledge, WKDGCN)模型,该模型由语序图卷积网络(word-order graph convolutional network, WoGCN)和情感知识结合语义知识增强的句法图卷积网络(sentiment and attention-enhanced graph convolutional network, SAGCN)组成。具体地,WoGCN基于文本的语序知识构建图卷积网络,由文本的语序依赖引导方面项特征学习上下文情感信息;SAGCN利用SenticNet中的情感知识结合注意力机制增强句法依赖,利用增强后的句法依赖构建图卷积网络,以此引导方面项特征学习上下文情感信息;最后融合两个图卷积网...     

基于2S-LSGCN的人体动作识别

针对视频中人体动作行为的空间复杂性和时间复杂性问题,提出一种融合图卷积神经网络和长短期记忆神经网络的双流网络方法2 S-LSGCN.从人体关节点组成的骨架关节图中,提取动作的空间与时间特征;利用GCN提取骨架关节点间潜在的空间信息,LSTM提取人体动作前后之间的时间序列特征作为补充,分别将两个网络的预测输出进行晚融合,...     

(2+1)D多时空信息融合模型及在行为识别的应用

针对常规的卷积神经网络时空感受野尺度单一,难以提取视频中多变的时空信息的问题,利用（2+1）D模型将时间信息和空间信息在一定程度上解耦的特性,提出了（2+1）D多时空信息融合的卷积残差神经网络,并用于人体行为识别.该模型以3×3空间感受野为主,1×1空间感受野为辅,与3种不同时域感受野交叉组合构建了6种不同尺度的时空感受野.提出的多时空感受野融合模型能够同时获取不同尺度的时空信息,提取更丰富的人体行为特征,因此能够更有效识别不同时间周期、不同动作幅度的人体行为.另外提出了一种视频时序扩充方法,该方法能够同时在空间信息和时间序列扩充视频数据集,丰富训练样本.提出的方法在公共视频人体行为数据集UCF101和HMDB51上子视频的识别率超过或接近最新的视频行为识别方法.     

基于长短记忆与信息注意的视频-脑电交互协同情感识别

基于视频-脑电信号交互协同的情感识别是人机交互重要而具有挑战性的研究问题.本文提出了基于长短记忆神经网络(Long-short term memory, LSTM)和注意机制(Attention mechanism)的视频-脑电信号交互协同的情感识别模型.模型的输入是实验参与人员观看情感诱导视频时采集到的人脸视频与脑电信号, 输出是实验参与人员的情感识别结果.该模型在每一个时间点上同时提取基于卷积神经网络(Convolution neural network, CNN)的人脸视频特征与对应的脑电信号特征, 通过LSTM进行融合并预测下一个时间点上的关键情感信号帧, 直至最后一个时间点上计算出情感识别结果.在这一过程中, 该模型通过空域频带注意机制计算脑电信号${\alpha}$波, ${\beta}$波与${\theta}$波的重要度, 从而更加有效地利用脑电信号的空域关键信息; 通过时域注意机制, 预测下一时间点上的关键信号帧, 从而更加有效地利用情感数据的时域关键信息.本文在MAHNOB-HCI和DEAP两个典型数据集上测试了所提出的方法和模型, 取得了良好的识别效果.实验结果表明本文的工作为视频-脑电信号交互协同的情感识别问题提供了一种有效的解决方法.     

基于残差时空图卷积网络的3D人体行为识别

人体行为识别是智能监控、人机交互等诸多应用领域的一项基本技术。人体骨骼的动态变化为人体行为识别提供了重要的信息。传统方法通常只是采取人工信息标注或遍历规则,从而导致模型的表征能力有限、泛化性能差。采用一种引入了残差项的动态骨架模型——基于残差连接的时空图卷积网络,不仅克服了以往方法的限制,而且能够学习骨骼数据中的时空模型。在大型骨骼NTU-RGB+D数据集上,该网络模型不仅提高了人体行为特征的表征能力,而且增强了泛化能力,取得了比现有的模型更好的识别效果。     

基于双流非局部残差网络的行为识别方法

针对传统卷积神经网络（CNN）对人体行为动作仅能提取局部特征易导致相似行为动作识别准确率不高的问题,提出了一种基于双流非局部残差网络（NL-ResNet）的行为识别方法。首先提取视频的RGB帧和密集光流图,分别作为空间流和时间流网络的输入,并通过角落裁剪和多尺度相结合的预处理方法进行数据增强;其次分别利用残差网络的残差块提取视频的局部表观特征和运动特征,再通过在残差块之后接入的非局部CNN模块提取视频的全局信息,实现网络局部特征和全局特征的交叉提取;最后将两个分支网络分别通过A-softmax损失函数进行更精细的分类,并输出加权融合后的识别结果。该方法能充分利用局部和全局特征提高模型的表征能力。在UCF101数据集上,NL-ResNet取得了93.5%的识别精度,与原始双流网络相比提高了5.5个百分点。实验结果表明,所提模型能更好地提取行为特征,有效提高行为识别的准确率。     

融合显著性图像语义特征的人体相似动作识别

目的 基于骨骼的动作识别技术由于在光照变化、动态视角和复杂背景等情况下具有更强的鲁棒性而成为研究热点。利用骨骼/关节数据识别人体相似动作时,因动作间关节特征差异小,且缺少其他图像语义信息,易导致识别混乱。针对该问题,提出一种基于显著性图像特征强化的中心连接图卷积网络（saliency image feature enhancement based center-connected graph convolutional network,SIFE-CGCN）模型。方法 首先,设计一种骨架中心连接拓扑结构,建立所有关节点到骨架中心的连接,以捕获相似动作中关节运动的细微差异;其次,利用高斯混合背景建模算法将每一帧图像与实时更新的背景模型对比,分割出动态图像区域并消除背景干扰作为显著性图像,通过预训练的VGG-Net(Visual Geometry Group network)提取特征图,并进行动作语义特征匹配分类;最后,设计一种融合算法利用分类结果对中心连接图卷积网络的识别结果强化修正,提高对相似动作的识别能力。此外,提出了一种基于骨架的动作相似度的计算方法,并建立一个相似动作数据集。结果 ...     

时空图卷积网络在人体异常行为识别中的应用

在监控场景下,由于监控资源短缺,行人异常行为容易发生漏检。针对该问题,提出了一种视频监控场景下的人体异常行为识别的方法,辅助监控人员及时发现异常。使用OpenPose对图像中行人进行人体骨架提取。针对图卷积网络对关节点特征聚合方式单一的问题,融合了基于图注意力网络（graph attention network,GAT）的图注意力机制。在改进后的图卷积网络的基础上,利用时空图卷积神经网络（spatial temporal graph convolutional networks,ST-GCN）,对行人关节点信息进行异常行为识别。实验结果表明,提出的识别算法对定义的行为识别准确率达85.48%,能够准确地识别监控视频中行人的异常行为。     

基于图卷积网络的运动想象识别

运动想象识别将大脑的神经活动信号转为编码输出以实现意念控制,是脑机接口的一个重要研究方向.近年来深度学习算法的应用进一步提高了运动想象识别的准确率,但是当前基于深度学习的运动想象分析都将多路脑电信号作为二维矩阵信号,忽视了不同节点的空间关联信息.为了解决这个问题,将图卷积网络算法应用到运动想象分类中,通过多个节点脑电信...     

基于光流残差的视频超分辨率重建算法

随着卷积神经网络的发展,视频超分辨率算法取得了显著的成功。因为帧与帧之间的依赖关系比较复杂,所以传统方法缺乏对复杂的依赖关系进行建模的能力,难以对视频超分辨率重建的过程进行精确地运动估计和补偿。因此提出一个基于光流残差的重建网络,在低分辨率空间使用密集残差网络得到相邻视频帧的互补信息,通过金字塔的结构来预测高分辨率视频帧的光流,通过亚像素卷积层将低分辨率的视频帧变成高分辨率视频帧,并将高分辨率的视频帧与预测的高分辨率光流进行运动补偿,将其输入到超分辨率融合网络来得到更好的效果,提出新的损失函数训练网络,能够更好地对网络进行约束。在公开数据集上的实验结果表明,重建效果在峰值信噪比、结构相似度、主观视觉的效果上均有提升。     

基于自适应多尺度图卷积网络的多标签图像识别

利用一阶谱图卷积探索类别标签间关系是目前多标签图像识别常用的手段,但是,较多的图卷积层数易出现过度平滑现象,使得该方法存在局限性.为此,提出一种基于自适应多尺度图卷积网络的多标签图像识别方法,主要思路为:采用块Krylov子空间形式的谱图卷积来挖掘类别标签间的相关性,在每个图卷积层中拼接多尺度信息并扩展到深层结构,并在自适应标签关系图模块所构建的关系图上学习分类器,从而更加有效地进行多标签图像识别.通过两个公开数据集PASCAL VOC 2007和MS-COCO 2014上的实验结果验证了所提出方法的有效性.