融合多特征与时间序列的人群行为识别模型

人群行为识别在公共安全等领域具有重要的应用价值.现有研究分别考虑了人群情绪、人群类型、人群密度以及人群社会文化环境等因素对于人群行为的影响,但少有综合考虑这些因素的模型,导致模型性能受限.本文综合考虑人群的物理特征、社交特征、情绪人格特征和文化背景特征之间的相关性,以及相结合之后对人群行为的影响,提出一种融合多特征与时间序列的人群行为识别模型.模型采用两个并行的网络层分别处理多特征相关性和时间序列依赖性对于人群行为的影响,同时为提高模型可解释性,网络层采用融合结构因果模型(SCM)与图神经网络(GNN)的因果图网络(CGN).通过在运动情感数据集(MED)上进行实验并与其他方法模型进行对比,证明了本文方法能够成功识别人群行为,并且优于目前最先进的方法.     

基于骨骼时空图的人体行为识别

为进一步提升基于骨骼信息的人体行为识别准确率,对人体姿态的骨骼信息进行研究,分析图卷积(GCN)的理论基础,提出一种多尺度时空图卷积(multi scale ST GCN)的方法对骨骼的动态信息进行建模,不同于传统的手工对人体进行自上而下或者自下而上的遍历规则设计方法,而是通过构建网络模型对人体行为的时间空间信息进行自...     

场景关系图学习的群组行为识别

为解决群组行为识别中复杂个体关系描述不准确,造成的个体关系推理不可靠的问题,关注于面向个体、群体、场景三个方面来构建场景关系图,提出场景关系图网络用于实现群组行为识别。该网络包括特征提取模块、场景关系图推理模块以及分类模块。特征提取模块通过卷积神经网络提取个体特征、群组特征、和场景特征。为了充分描述场景对于个体和群组描述的影响,场景关系图推理模块通过使用两分支网络分别建立个体—场景关系图以及群组—场景关系图帮助学习个体特征和群组特征。场景关系图推理同时考虑了个体特征对群组特征的影响,并引入了跨分支关系。分类模块用于将个体特征和群体特征进行分类预测。实验结果显示该方法在volleyball和collective activity数据集上的群组识别准确率分别提升了1.1%和0.5%,证实了提出的场景关系图在描述个体特征和群组特征上的有效性。     

基于深度学习的车辆驾驶行为识别系统设计

传统系统的计算能力较弱,在车辆驾驶行为识别实际应用中经常出现错误识别,准确率较低,为此提出基于深度学习的车辆驾驶行为识别系统。系统硬件方面设计了主控制器、惯性传感器和报警器3个硬件设备,软件方面设计了数据清洗和基于深度学习识别驾驶行为两个功能模块,利用数据清洗模块对原始数据进行无效值处理、标准化处理,将处理后的数据利用深度学习网络模型进行分析,输出识别结果。实验结果表明,该系统的准确率高于传统系统,能够准确识别出车辆驾驶行为。     

深度时空能量特征表示下的人体行为识别

目的 利用深度图序列进行人体行为识别是机器视觉和人工智能中的一个重要研究领域,现有研究中存在深度图序列冗余信息过多以及生成的特征图中时序信息缺失等问题。针对深度图序列中冗余信息过多的问题,提出一种关键帧算法,该算法提高了人体行为识别算法的运算效率;针对时序信息缺失的问题,提出了一种新的深度图序列特征表示方法,即深度时空能量图（depth spatial-temporal energy map,DSTEM）,该算法突出了人体行为特征的时序性。方法 关键帧算法根据差分图像序列的冗余系数剔除深度图序列的冗余帧,得到足以表述人体行为的关键帧序列。DSTEM算法根据人体外形及运动特点建立能量场,获得人体能量信息,再将能量信息投影到3个正交轴获得DSTEM。结果 在MSR_Action3D数据集上的实验结果表明,关键帧算法减少冗余量,各算法在关键帧算法处理后运算效率提高了20% 30%。对DSTEM提取的方向梯度直方图（histogram of oriented gradient,HOG）特征,不仅在只有正序行为的数据库上识别准确率达到95.54%,而且在同时具有正序和反序行为的数据库上也能保持82.14%的识别准确率。结论 关键帧算法减少了深度图序列中的冗余信息,提高了特征图提取速率;DSTEM不仅保留了经过能量场突出的人体行为的空间信息,而且完整地记录了人体行为的时序信息,在带有时序信息的行为数据上依然保持较高的识别准确率。     

弱监督与少样本学习场景下视频行为识别综述

近年来各类人体行为识别算法利用大量标记数据进行训练,取得了良好的识别精度。但在实际应用中,数据的获取以及标注过程都是非常耗时耗力的,这限制了算法的实际落地。针对弱监督及少样本场景下的视频行为识别深度学习方法进行综述。首先,在弱监督情况下,分类总结了半监督行为识别方法和无监督领域自适应下的视频行为识别方法;然后,对少样本场景下的视频行为识别算法进行详细综述;接着,总结了当前相关的人体行为识别数据集,并在该数据集上对各相关视频行为识别算法性能进行分析比较;最后,进行概括总结,并展望人体行为识别的未来发展方向。     

深度学习及其在目标和行为识别中的新进展

深度学习是机器学习中的一个新的研究领域。通过深度学习的方法构建深度网络来抽取特征是目前目标和行为识别中得到关注的研究方向。为引起更多计算机视觉领域研究者对深度学习进行探索和讨论,并推动目标和行为识别的研究,本文对深度学习及其在目标和行为识别中的新进展给予了概述。本文先介绍深度学习领域研究的基本状况、主要概念和原理;然后介绍近期利用深度学习在目标和行为识别应用中的一些新进展;最后阐述了深度学习与神经网络之间的关系,深度学习的优缺点,以及目前深度学习理论需要解决的主要问题。这对拟将深度学习应用于目标和行为识别的研究人员应有所帮助。     

基于深度图像与骨骼数据的行为识别

为了充分利用深度图像与骨骼数据进行人体行为识别,提出了一种基于深度图形与骨骼数据的多特征行为识别方法。该算法的多特征包括深度运动图（DMM）特征与四方形骨骼特征（Quad）。深度图像方面,将深度图像投影到一个笛卡尔坐标系的三个平面获得深度运动图特征。骨骼数据方面,提出四方形骨骼特征,它是骨骼坐标的一种标定方式,得到的结果只与骨骼姿态有关。同时提出一种多模型概率投票的分类策略,减小了噪声数据对分类结果的影响。所提方法在MSR-Action3D和DHA数据库进行实验,实验结果表明,所提算法有着较高的识别率与良好的鲁棒性。     

基于优化卷积神经网络结构的人体行为识别

为了提高卷积神经网络对非线性特征以及复杂图像隐含的抽象特征提取能力,提出优化卷积神经网络结构的人体行为识别方法.通过优化卷积神经网络模型,构建嵌套Maxout多层感知器层的网络结构,增强卷积神经网络的卷积层对前景目标特征提取能力.通过嵌套Maxout多层感知器层网络结构可以线性地组合特征图并选择最有效特征信息,获取的特...     

Exploring Temporal Structure of Trajectory Components for Action Recognition

Action recognition is one of the most important components for video analysis. In addition to objects and atomic actions, temporal relationships are important characteristics for many actions and are not fully exploited in many approaches. We model the temporal structures of midlevel actions (referred to as components) based on dense trajectory components, obtained by clustering individual trajectories. The trajectory components are a higher level and a more stable representation than raw individual trajectories. Based on the temporal ordering of trajectory components, we describe the temporal structure using Allen's temporal relationships in a discriminative manner and combine it with a generative model using bag of components. The main idea behind the model is to extract midlevel features from domain‐independent dense trajectories and classify the actions by exploring the temporal structure among these midlevel features based on a set of relationships. We evaluate the proposed approach on public data sets and compare it with a bag‐of‐words–based approach and state‐of‐the‐art application of the Markov logic network for action recognition. The results demonstrate that the proposed approach produces better recognition accuracy.     

Second-order Temporal Pooling for Action Recognition

International Journal of Computer Vision - Deep learning models for video-based action recognition usually generate features for short clips (consisting of a few frames); such clip-level features...     

时序增强的视频动作识别方法

针对视频动作识别中的时空建模问题,在深度学习框架下提出基于融合时空特征的时序增强动作识别方法.首先对输入视频应用稀疏时序采样策略,适应视频时长变化,降低视频级别时序建模成本.在识别阶段计算相邻特征图间的时序差异,以差异计算结果增强特征级别的运动信息.最后,利用残差结构与时序增强结构的组合方式提升网络整体时空建模能力.实验表明,文中算法在UCF101、HMDB51数据集上取得较高准确率,并在实际工业操作动作识别场景下,以较小的网络规模达到较优的识别效果.     

Two-Stream Temporal Convolutional Networks for Skeleton-Based Human Action Recognition

Journal of Computer Science and Technology - With the growing popularity of somatosensory interaction devices, human action recognition is becoming attractive in many application scenarios....     

基于特征传播的时域分割网络行为识别

为了高效、准确地获得视频中的行为类别和运动信息,减少计算的复杂度,文中提出一种融合特征传播和时域分割网络的视频行为识别算法.首先将视频分为3个小片段,分别从相应片段中提取关键帧,从而实现对长时间视频的建模;然后设计一个包含特征传播表观信息流和FlowNet运动信息流的改进时域分割网络(P-TSN),分别以RGB关键帧、RGB非关键帧、光流图为输入提取视频的表观信息流和运动信息流;最后将改进时域分割网络的BN-Inception描述子进行平均加权融合后送入Softmax层进行行为识别.在UCF101和HMDB51这2个数据集上分别取得了94.6%和69.4%的识别准确率,表明该算法能够有效地获得视频中空域表观信息和时域运动信息,提高了视频行为识别的准确率.     

面向人体动作识别的局部特征融合时间卷积网络

针对3D人体骨架序列动作识别这一问题,提出了一种结合了局部特征融合的时间卷积网络方法.首先,对一个动作中整个骨架序列的所有关节点的空间位置变化进行建模,提取其骨架序列的全局空间特征;然后,根据人体关节点及连接关系的拓扑结构将全局空间特征划分为人体局部空间特征,并将得到的局部空间特征分别作为对应TCN的输入,进而学习各关节内部的特征关系;最后,对输出的各部分特征向量进行融合,学习各部分关节之间的协作关系,从而完成对动作的识别.运用该方法在当前最具挑战性的数据集NTU-RGB+D进行了分类识别实验,结果表明,与已有的基于CNN,LSTM以及TCN的方法相比,其在对象交叉(cross-subject)和视图交叉(cross-view)的分类准确率上分别提高到了79.5%和84.6%.     

用于视频行为识别的高效二维时序建模网络

二维卷积难以对视频数据进行有效的时间信息建模。针对这个问题,提出了一个高效的基于二维卷积的时间建模网络。该网络只需要RGB图像作为输入,避免了复杂的光流计算,在低计算复杂度的前提下,可以在行为识别任务中达到先进的准确性。网络主要由两个部分组成,即运动特征增强模块和时序聚集模块。具体来说,运动特征增强模块主要实现短期时序建模,它利用当前帧与相邻帧的差异信息对当前帧中的运动信息进行自适应性的增强,让网络能够了解图像中的哪一部分将要产生运动。时序聚集模块实现长期的时序建模,主要应用于网络的后期,通过二维卷积对时序上的信息进行信息聚合,让每一帧图像经过网络提取特征后,都能够结合时序上所有帧序列的信息。在三个常见的视频动作识别数据集（UCF101、HMDB51和Something-Something V1）上进行的大量实验表明,与大多数现有方法相比,所提出的时序建模网络可以获得先进的识别性能。     

基于流形学习的视频序列行为分层算法

研究视觉的动作识别特性,由于使用分层结构来对应行为的分层特性是一种广泛使用的视频人体行为理解方法,但对行为运动特性难以正确表达,主要困难在于行为划分的歧义问题,一般需要提供粗略层、中间层和细微层的每一个细节.在不提供各层细节的前提下,为克服行为划分的歧义行为将流形学习方法应用到行为分层的过程中,利用m-1维超平面对m维空间的二值划分性质获得行为划分的边界特征点,并使用实测数据进行了仿真.实验结果表明,使用方法获得的行为分层结构具有明确的物理含义,消除了行为划分的不确定性.     

基于多视图半监督学习的人体行为识别

由于人的行为在本质上的复杂性,单一行为特征视图缺乏全面分析人类行为的能力.文中提出基于多视图半监督学习的人体行为识别方法.首先,提出3种不同模态视图数据,用于表征人体动作,即基于RGB模态数据的傅立叶描述子特征视图、基于深度模态数据的时空兴趣点特征视图和基于关节模态数据的关节点投影分布特征视图.然后,使用多视图半监督学习框架建模,充分利用不同视图提供的互补信息,确保基于少量标记和大量未标记数据半监督学习取得更好的分类精度.最后,利用分类器级融合技术并结合3种视图的预测能力,同时有效解决未标记样本置信度评估问题.在公开的人体行为识别数据集上实验表明,采用多个动作特征视图融合的特征表示方法的判别力优于单个动作特征视图,取得有效的人体行为识别性能.     

基于深度学习的多模态时空动作识别

针对视频理解中的时序难点以及传统方法计算量大的困难,提出了一种带有时空模块的方法用于动作识别.该方法采用残差网络作为框架,加入时空模块提取图像以及时序信息,并且加入RGB差值信息增强数据,采用NetVLAD方法聚合所有的特征信息,最后实现行为动作的分类.实验结果表明,基于时空模块的多模态方法具有较好的识别精度.