基于关节空时特征融合的人体行为识别

针对现有人体行为识别技术存在的准确率不高和易受环境干扰等缺点,提出一种基于空时特征融合的人体行为识别方法。通过OpenPose提取人体骨骼关节的位置信息用于构造空时融合特征,该特征综合各类行为的空域和时域信息,使得特征表示更具区分度。利用核化主成分分析算法进行特征维度缩减,利用XGBoost算法进行特征分类,获得识别结果。该方法在Multiview Action 3D数据集上进行测试,得到了94.52%的识别率,较现有的其它许多人体行为识别方法表现更好。     

基于Kinect传感器骨骼信息的人体动作识别

为研究人体骨骼结构、骨骼关节点位置信息以及人体动作所具有的骨骼角度特征,提出了一种基于深度传感器提取人体骨骼信息的动作识别方法.方法利用Kinect深度传感器,实时准确地捕获人体骨骼三维数据,并根据坐标系变换构建人体骨骼拓扑结构.然后提取人体动作所感兴趣的骨骼关节点,定义骨骼向量,并获取每段骨骼向量的方向余弦特征;最后通过多类支持向量机训练以及动作识别分类.实验结果表明,相比于传统基于轮廓特征的方法,改进方法对人体识别具有更高的识别准确率,鲁棒性强.     

骨骼信息的人体行为识别综述

基于骨骼信息的人体行为识别旨在从输入的包含一个或多个行为的骨骼序列中,正确地分析出行为的种类,是计算机视觉领域的研究热点之一。与基于图像的人体行为识别方法相比,基于骨骼信息的人体行为识别方法不受背景、人体外观等干扰因素的影响,具有更高的准确性、鲁棒性和计算效率。针对基于骨骼信息的人体行为识别方法的重要性和前沿性,对其进行全面和系统的总结分析具有十分重要的意义。本文首先回顾了9个广泛应用的骨骼行为识别数据集,按照数据收集视角的差异将它们分为单视角数据集和多视角数据集,并着重探讨了不同数据集的特点和用法。其次,根据算法所使用的基础网络,将基于骨骼信息的行为识别方法分为基于手工制作特征的方法、基于循环神经网络的方法、基于卷积神经网络的方法、基于图卷积网络的方法以及基于Transformer的方法,重点阐述分析了这些方法的原理及优缺点。其中,图卷积方法因其强大的空间关系捕捉能力而成为目前应用最为广泛的方法。采用了全新的归纳方法,对图卷积方法进行了全面综述,旨在为研究人员提供更多的思路和方法。最后,从8个方面总结现有方法存在的问题,并针对性地提出工作展望。     

融合因果关系和时空图卷积网络的人体动作识别

基于人体骨骼的动作识别因具有简洁、鲁棒的特点,近年来受到了广泛的关注.目前大部分基于骨骼的动作识别方法,如时空图卷积网络(ST-GCN),通过提取连续帧的时间特征和帧内骨骼关节的空间特征来区分不同的动作,取得了良好的效果.考虑人体运动中存在的因果性关系,提出了一种融合因果关系和时空图卷积网络的动作识别方法.针对计算关节力矩获取权重复杂的情况,根据关节之间的因果关系为骨骼图分配边权重,并将权重作为辅助信息增强图卷积网络,来提高驱动力较强的关节在神经网络中的权重,降低重要性低的关节的关注度,增强重要性高的关节的关注度.相比ST-GCN等方法,在Kinetics公开数据集上,所提方法无论是Top-1还是Top-5都有较大的提升,在构建的真实太极拳数据集上的识别精度达97.38％(Top-1)和99.79％(Top-5),证明了该方法可以有效地增强动作特征,提升识别的准确率.     

基于分类特征提取的手部动作识别方法的研究及应用

提出一种基于分类特征提取的手部动作识别方法,该方法通过自适应的混合高斯模型构建背景模型,使用背景减除法并充分利用人体手部肤色信息分割出人体手部区域,结合手部关节、骨骼特征及肤色信息估算手部关节点位置,构建三维手部骨架模型,然后提取手部各关节角度、位置信息并利用隐马尔柯夫(HMM)模型对其所表示的动作进行训练识别。     

基于骨骼特征Hough变换的行为识别研究

为有效地表征人体行为的时空特征,将骨骼特征通过Hough变换后建立人体的动作表示.具体来说,采用OpenPose获取视频帧人体骨骼关键点,之后构建骨骼关节并映射到Hough空间,将骨骼关节轨迹转换为点迹,然后角度和轨迹特征的FV(Fisher vector)编码融合作为线性SVM分类器的输入.在经典公共数据集KTH、Weizmann、KARD和Drone-Action上,实验结果表明Hough变换提升了特征的鲁棒性,提高了人体行为识别的性能.     

基于自适应融合权重的人体行为识别方法

为解决人体行为识别中关节特征不显著、噪声干扰严重等问题,提出一种基于自适应融合权重的人体行为识别方法。为充分利用长时时序信息,需要对长视频进行时域分割,而后设计基于BN-Inception的双流网络结构,分别以RGB图像和骨骼关节点构成的运动特征向量作为空间流和时间流网络的输入,基于熵值法对各片段内单支流网络融合后,根据关节点显著程度赋予各支流以惩罚值,使双流网络自适应调节权重进行融合,输出行为类别。实验结果表明,该方法在人体行为识别中具有可行性和有效性。     

基于多级特征融合和时域扩展的行为识别方法

近年来,基于图卷积网络的行为识别是计算机视觉领域的研究热点。然而,现有的图卷积行为识别方法忽略了肢体层面的动作特征,使得行为空间特征提取不准确。此外,这些方法缺乏在间隔帧间进行时序动态建模的能力,导致行为时域特征表达不充分。针对上述问题提出一种基于多级特征融合和时域扩展的图卷积网络行为识别方法。该方法通过多级融合模块提取与融合低层次的关节特征和高层次的肢体特征,从而得到判别性更强的多层级空间特征。同时通过时域扩展模块从相邻帧、间隔帧中学习丰富的多尺度时域特征,增强行为特征的时序表达。在三个大型数据集（NTU RGB+D 60、NTU RGB+D 120和Kinetics-Skeleton）上的实验结果表明,所提方法的识别准确度高于现有行为识别方法。     

基于Kinect骨骼数据的人体动作姿势识别方法

针对现有的复杂背景下人体动作姿势训练与识别中存在识别准确率不高和实时性不强等问题,提出一种基于Kinect骨骼数据的人体动作姿势识别方法。从Kinect获取骨骼姿势特征点数据,计算姿势特征矢量;将当前的实时姿势特征矢量与预设的标准姿势特征矢量进行匹配比较,实时反馈两者姿势的匹配度,达到姿势识别的目的。实验结果表明,该方法能有效地进行人体动作姿势的匹配识别,识别准确率较高、实时性较强,具有良好的可扩展性。     

基于人体部件的视频行为识别方法研究

现有人体行为识别算法主要依赖于粗粒度的视频特征,但这些特征不足以有效描述人体行为 的动作构成,从而降低了深度学习模型对易混淆行为的识别能力。该研究提出了一种基于人体部件的 视频行为识别方法,通过学习人体细粒度部件的动作表示,自底向上地学习人体行为视频表征。该方 法主要包含：(1)部件特征增强模块,用于增强基于图像的人体部件特征;(2)部件特征融合模块,用 于融合人体各部件特征以形成人体特征;(3)人体特征增强模块,用于增强视频帧中所有人的人体特 征。该方法在国际标准数据库 UCF101 和 HMDB51 上进行的实验验证结果显示,基于人体部件的视频 行为识别方法与已有方法具有良好的互补性,可以有效提高人体行为识别精度。     

面向人体动作识别的局部特征融合时间卷积网络

针对3D人体骨架序列动作识别这一问题,提出了一种结合了局部特征融合的时间卷积网络方法.首先,对一个动作中整个骨架序列的所有关节点的空间位置变化进行建模,提取其骨架序列的全局空间特征;然后,根据人体关节点及连接关系的拓扑结构将全局空间特征划分为人体局部空间特征,并将得到的局部空间特征分别作为对应TCN的输入,进而学习各关节内部的特征关系;最后,对输出的各部分特征向量进行融合,学习各部分关节之间的协作关系,从而完成对动作的识别.运用该方法在当前最具挑战性的数据集NTU-RGB+D进行了分类识别实验,结果表明,与已有的基于CNN,LSTM以及TCN的方法相比,其在对象交叉(cross-subject)和视图交叉(cross-view)的分类准确率上分别提高到了79.5%和84.6%.     

基于时空权重姿态运动特征的人体骨架行为识别研究

人体行为识别在视觉领域的广泛应用使得它在过去的几十年里一直都是备受关注的研究热点.近些年来,深度传感器的普及以及基于深度图像实时骨架估测算法的提出,使得基于骨架序列的人体行为识别研究越来越吸引人们的注意.已有的研究工作大部分提取帧内骨架不同关节点的空间域信息和帧间骨架关节点的时间域信息来表征行为序列,但没有考虑到不同关节点和姿态对判定行为类别所起作用是不同的.因此本文提出了一种基于时空权重姿态运动特征的行为识别方法,采用双线性分类器迭代计算得到关节点和静止姿态相对于该类别动作的权重,确定那些信息量大的关节点和姿态;同时,为了对行为特征进行更好的时序分析,本文引入了动态时间规整和傅里叶时间金字塔算法进行时序建模,最后采用支持向量机完成行为分类.在多个数据集上的实验结果表明,该方法与其它一些方法相比,表现出了相当大的竞争力,甚至更好的识别效果.     

时空双仿射微分不变量及骨架动作识别

目的 人体骨架的动态变化对于动作识别具有重要意义。从关节轨迹的角度出发,部分对动作类别判定具有价值的关节轨迹传达了最重要的信息。在同一动作的每次尝试中,相应关节的轨迹一般具有相似的基本形状,但其具体形式会受到一定的畸变影响。基于对畸变因素的分析,将人体运动中关节轨迹的常见变换建模为时空双仿射变换。方法 首先用一个统一的表达式以内外变换的形式将时空双仿射变换进行描述。基于变换前后轨迹曲线的微分关系推导设计了双仿射微分不变量,用于描述关节轨迹的局部属性。基于微分不变量和关节坐标在数据结构上的同构特点,提出了一种通道增强方法,使用微分不变量将输入数据沿通道维度扩展后,输入神经网络进行训练与评估,用于提高神经网络的泛化能力。结果 实验在两个大型动作识别数据集NTU（Nanyang Technological University）RGB+D（NTU 60）和NTU RGB+D 120（NTU 120）上与若干最新方法及两种基线方法进行比较,在两种实验设置（跨参与者识别与跨视角识别）中均取得了明显的改进结果。相比于使用原始数据的时空图神经卷积网络（spatio-temporal graph convolutional networks,ST-GCN）,在NTU 60数据集中,跨参与者与跨视角的识别准确率分别提高了1.9%和3.0%;在NTU 120数据集中,跨参与者与跨环境的识别准确率分别提高了5.6%和4.5%。同时对比于数据增强,基于不变特征的通道增强方法在两种实验设置下都能有明显改善,更为有效地提升了网络的泛化能力。结论 本文提出的不变特征与通道增强,直观有效地综合了传统特征和深度学习的优点,有效提高了骨架动作识别的准确性,改善了神经网络的泛化能力。     

基于耦合多隐马尔可夫模型和深度图像数据的人体动作识别

为解决使用RGB图像进行特征提取时容易受外界因素干扰,且计算复杂度高等问题,采用一种更加有效的解决方案,即使用深度数据进行人体动作识别。利用Kinect采集的关节点数据,首先将人体关节划分成五个区域,对每个区域的向量夹角离散化从而描述不同的状态,再通过Baum-Welch算法学习出各区域的多隐马尔可夫模型（multi-HMM）,并使用前向算法建立生成区域与动作类别概率矩阵。在此基础上,对区域及动作类别进行内耦合和间耦合分析,从而表达各关节点之间的交互关系。最后使用基于耦合的K最邻近（KNN）算法完成整体的动作识别。通过实验测试对五种动作的识别率均达到90%以上,并与3D Trajectories等方法进行对比,实验得到的综合识别率高于对比方法,具有明显的优势。     

融合显著性图像语义特征的人体相似动作识别

目的 基于骨骼的动作识别技术由于在光照变化、动态视角和复杂背景等情况下具有更强的鲁棒性而成为研究热点。利用骨骼/关节数据识别人体相似动作时,因动作间关节特征差异小,且缺少其他图像语义信息,易导致识别混乱。针对该问题,提出一种基于显著性图像特征强化的中心连接图卷积网络（saliency image feature enhancement based center-connected graph convolutional network,SIFE-CGCN）模型。方法 首先,设计一种骨架中心连接拓扑结构,建立所有关节点到骨架中心的连接,以捕获相似动作中关节运动的细微差异;其次,利用高斯混合背景建模算法将每一帧图像与实时更新的背景模型对比,分割出动态图像区域并消除背景干扰作为显著性图像,通过预训练的VGG-Net(Visual Geometry Group network)提取特征图,并进行动作语义特征匹配分类;最后,设计一种融合算法利用分类结果对中心连接图卷积网络的识别结果强化修正,提高对相似动作的识别能力。此外,提出了一种基于骨架的动作相似度的计算方法,并建立一个相似动作数据集。结果 ...     

基于RGB-D图像特征的人体行为识别

针对现有的多模态特征融合方法不能有效度量不同特征的贡献度的问题,文中提出基于RGB-深度(RGB-D)图像特征的人体动作识别方法.首先获取基于RGB模态信息的方向梯度直方图特征、基于深度图像模态信息的时空兴趣点特征和基于关节模态信息的人体关节点位置特征,分别表征人体动作.采用不同距离度量公式的最近邻分类器对这3种不同模态特征表示的预测样本进行集成决策分类.在公开数据集上的实验表明,文中方法具有简单、快速,高效的特点.     

基于多视图半监督学习的人体行为识别

由于人的行为在本质上的复杂性,单一行为特征视图缺乏全面分析人类行为的能力.文中提出基于多视图半监督学习的人体行为识别方法.首先,提出3种不同模态视图数据,用于表征人体动作,即基于RGB模态数据的傅立叶描述子特征视图、基于深度模态数据的时空兴趣点特征视图和基于关节模态数据的关节点投影分布特征视图.然后,使用多视图半监督学习框架建模,充分利用不同视图提供的互补信息,确保基于少量标记和大量未标记数据半监督学习取得更好的分类精度.最后,利用分类器级融合技术并结合3种视图的预测能力,同时有效解决未标记样本置信度评估问题.在公开的人体行为识别数据集上实验表明,采用多个动作特征视图融合的特征表示方法的判别力优于单个动作特征视图,取得有效的人体行为识别性能.     

3D-based Deep Convolutional Neural Network for action recognition with depth sequences

Traditional algorithms to design hand-crafted features for action recognition have been a hot research area in the last decade. Compared to RGB video, depth sequence is more insensitive to lighting changes and more discriminative due to its capability to catch geometric information of object. Unlike many existing methods for action recognition which depend on well-designed features, this paper studies deep learning-based action recognition using depth sequences and the corresponding skeleton joint information. Firstly, we construct a 3D-based Deep Convolutional Neural Network (3D²CNN) to directly learn spatio-temporal features from raw depth sequences, then compute a joint based feature vector named JointVector for each sequence by taking into account the simple position and angle information between skeleton joints. Finally, support vector machine (SVM) classification results from 3D²CNN learned features and JointVector are fused to take action recognition. Experimental results demonstrate that our method can learn feature representation which is time-invariant and viewpoint-invariant from depth sequences. The proposed method achieves comparable results to the state-of-the-art methods on the UTKinect-Action3D dataset and achieves superior performance in comparison to baseline methods on the MSR-Action3D dataset. We further investigate the generalization of the trained model by transferring the learned features from one dataset (MSR-Action3D) to another dataset (UTKinect-Action3D) without retraining and obtain very promising classification accuracy.     

Human arm pose modeling with learned features using joint convolutional neural network

This paper proposes a new approach to model human arm pose configuration from still images based on learned features and arm part structure constraints. The subjects in still images have no assumption with regards to clothing style, action category and background, so our model has to accommodate these uncertainties. Proposed approach uses an energy model that incorporates the dependence relationships among arm joints and arm parts, where the potentials represent their occurrence probabilities. Positive and negative instances are computed from input image, using multi-scale image patches to capture the details of arm joints and arm parts. A joint convolutional neural network is then developed for feature extraction. Local rigidity of arm part is used to constrain occurrence of arm joints and arm parts, and these constraints can be efficiently incorporated in dynamic programming for human arm pose inference. Our experimental results show better performance than alternative approaches using hand-crafted features for various still images.