基于轻量级图卷积的人体骨架动作识别方法

视频中的人体动作识别在计算机视觉领域得到广泛关注,基于人体骨架的动作识别方法可以明确地表现人体动作,因此已逐渐成为该领域的重要研究方向之一。针对多数主流人体动作识别方法网络参数量大、计算复杂度高等问题,设计一种融合多流数据的轻量级图卷积网络,并将其应用于人体骨架动作识别任务。在数据预处理阶段,利用多流数据融合方法对4种特征数据流进行融合,通过一次训练就可得到最优结果,从而降低网络参数量。设计基于图卷积网络的非局部网络模块,以捕获图像的全局信息从而提高动作识别准确率。在此基础上,设计空间Ghost图卷积模块和时间Ghost图卷积模块,从网络结构上进一步降低网络参数量。在动作识别数据集NTU60 RGB+D和NTU120 RGB+D上进行实验,结果表明,与近年主流动作识别方法ST-GCN、2s AS-GCN、2s AGCN等相比,基于该轻量级图卷积网络的人体骨架动作识别方法在保持较低网络参数量的情况下能够取得较高的识别准确率。     

基于近红外TOF传感器的姿势识别研究

现有的姿势识别系统普遍存在算法复杂度较高,不便嵌入式移植等问题.提出一种基于深度图像的姿势识别方法.SR4000获取深度图像进行前期预处理得到人体目标并骨骼化,计算各端点坐标和离地高度及离质心的骨架线距离,根据骨架线距离识别各端点属性,结合特定动作的特征可识别出大量姿势.用该算法成功识别交通警察的8个指挥动作作为例子,验证算法的有效性.实验表明:该算法复杂度低,识别率高.     

基于时空权重姿态运动特征的人体骨架行为识别研究

人体行为识别在视觉领域的广泛应用使得它在过去的几十年里一直都是备受关注的研究热点.近些年来,深度传感器的普及以及基于深度图像实时骨架估测算法的提出,使得基于骨架序列的人体行为识别研究越来越吸引人们的注意.已有的研究工作大部分提取帧内骨架不同关节点的空间域信息和帧间骨架关节点的时间域信息来表征行为序列,但没有考虑到不同关节点和姿态对判定行为类别所起作用是不同的.因此本文提出了一种基于时空权重姿态运动特征的行为识别方法,采用双线性分类器迭代计算得到关节点和静止姿态相对于该类别动作的权重,确定那些信息量大的关节点和姿态;同时,为了对行为特征进行更好的时序分析,本文引入了动态时间规整和傅里叶时间金字塔算法进行时序建模,最后采用支持向量机完成行为分类.在多个数据集上的实验结果表明,该方法与其它一些方法相比,表现出了相当大的竞争力,甚至更好的识别效果.     

一种多骨架特征前期融合的在线行为识别算法

针对现有基于人体骨架的行为识别方法存在计算量大、不适合在线应用的问题,提出一种多骨架特征前期融合的在线行为识别算法。该算法通过前期嵌入层融合不同类型的输入特征,并结合最大池化和层次池化操作提取骨架空间的多语义信息。根据日常行为的数据特征设计有效的骨架序列选取方式,并制作NTU-GAST Skeleton数据集,实现在线的行为识别应用。在公开数据集NTU60/120 RGB+D上进行测试,结果表明提出的算法需要更少计算量的同时取得了较高的识别准确率。     

基于深度学习的人体行为识别方法综述

人体行为识别作为计算机视觉领域的重要研究热点,在智能监控、智能家居、虚拟现实等诸多领域中具有重要的研究意义和广泛的应用前景,备受国内外学者的关注。基于传统手工特征的方法难以处理复杂场景下的人体行为识别。随着深度学习在图像分类方面取得巨大成功,将深度学习用于人体行为识别方法中已逐渐成为一种发展趋势,但其仍然存在一些困难与挑战。首先,根据特征提取方法的不同,简单回顾了早期基于传统手工特征的行为识别方法;然后,从网络结构的角度着重对近年来一些基于深度学习的人体行为识别方法进行论述和分析,其中包括目前常用的双流网络架构和三维卷积网络架构等;另外,还介绍了目前用于评价方法性能的人体行为识别数据集,同时总结了部分典型方法在UCF-101和HMDB51两个著名的公开数据集上的性能;最后,从性能和应用两个方面对基于深度学习的人体行为识别方法的未来发展方向进行了展望,并指出了当前方法存在的不足之处。     

基于场景-部件的人体行为识别方法

基于部件的行为识别方法给图像行为识别领域提供了一种新的思路，即将人体行为识别看成是一种人体各个部件行为的组合。但是这种方法完全忽视了除人以外的任何东西，导致了某些姿态过于相似的行为无法区分。针对这一不足，在基于部件(Part-based)的行为识别方法基础上，提出了基于场景-部件(Scene-Part based)的行为识别方法。实验过程中利用卷积神经网络将部件和场景的外观特征转换为行为特征，并通过全连接层将所有特征连接，进行人体行为类别的最终判定。在Standford40和PASCAL VOC2012两种行为识别数据集上的实验结果表明，相对于基于部件的行为识别方法而言，基于场景-部件的行为识别方法能更好地区分相似行为，从而进一步提高行为识别的准确率，提升精度约为1%。     

人体行为识别的Markov随机游走半监督学习方法

针对目前人体行为识别方法大都需要大量有标注样本的问题,提出一种基于Markov随机游走的半监督人体行为识别算法.首先提取序列图像各帧人体区域的网格统计特征,再采用基于对手惩罚策略的竞争神经网络对其进行聚类和编码,将图像序列表示的人体行为变换为符号序列;然后根据行为之间的归一化编辑距离建立已标注行为、未标注行为和类别之间的Markov链,并采用Markov随机游走过程来预测未标注行为的类别;最后采用最大后验概率准则对观测到的未知行为进行分类.对Weizmann数据集中人体行为的识别实验结果表明,该方法是一种有效的人体行为识别方法,在标注样本很少的情况下平均识别精度可以超过80％.     

骨骼信息的人体行为识别综述

基于骨骼信息的人体行为识别旨在从输入的包含一个或多个行为的骨骼序列中,正确地分析出行为的种类,是计算机视觉领域的研究热点之一。与基于图像的人体行为识别方法相比,基于骨骼信息的人体行为识别方法不受背景、人体外观等干扰因素的影响,具有更高的准确性、鲁棒性和计算效率。针对基于骨骼信息的人体行为识别方法的重要性和前沿性,对其进行全面和系统的总结分析具有十分重要的意义。本文首先回顾了9个广泛应用的骨骼行为识别数据集,按照数据收集视角的差异将它们分为单视角数据集和多视角数据集,并着重探讨了不同数据集的特点和用法。其次,根据算法所使用的基础网络,将基于骨骼信息的行为识别方法分为基于手工制作特征的方法、基于循环神经网络的方法、基于卷积神经网络的方法、基于图卷积网络的方法以及基于Transformer的方法,重点阐述分析了这些方法的原理及优缺点。其中,图卷积方法因其强大的空间关系捕捉能力而成为目前应用最为广泛的方法。采用了全新的归纳方法,对图卷积方法进行了全面综述,旨在为研究人员提供更多的思路和方法。最后,从8个方面总结现有方法存在的问题,并针对性地提出工作展望。     

基于人体特征三维人体模型的骨架提取算法

实现骨骼动画的一个前提是获取人体模型的骨架,现有的骨架提取算法不是计算复杂度高,就是提取准确度不高,或者需要手工干预.提出一种基于人体特点和黄金比例律的人体模型骨架提取算法,首先对模型进行精简,然后根据人体的特点与黄金比例律确定模型关节点的大概位置,在此基础上对模型进行分割.由于人体存在个体差异且姿势也可能不一致,采用测地距离方法对关节点的位置进行修正,确定其位置.与现有的算法相比,本方法效率高,同时实验显示本算法具有更好的骨架提取效果.     

一种基于模型分割的三维人体骨架提取方法

针对当前三维骨架提取方法复杂度较高、提取结果不够准确,以及专门针对人体模型的方法较少等问题,提出一种基于模型分割的三维人体骨架提取方法。首先,根据模型顶点与末端特征点的最小测地距离将模型分割;然后由归一化的测地距离函数确定模型各顶点所属拓扑层次;接着在模型分割的基础上依据拓扑层次提取出原始骨架点;最后经过微调,将各骨架点按照拓扑关系连接得到较为精确的人体骨架。实验结果表明,该方法有效降低了骨架提取算法的复杂度,且对不同姿势的人体模型均可获得较为准确的提取结果。     

多模态数据的行为识别综述

行为识别是当前计算机视觉方向中视频理解领域的重要研究课题。从视频中准确提取人体动作的特征并识别动作,能为医疗、安防等领域提供重要的信息,是一个十分具有前景的方向。本文从数据驱动的角度出发,全面介绍了行为识别技术的研究发展,对具有代表性的行为识别方法或模型进行了系统阐述。行为识别的数据分为RGB模态数据、深度模态数据、骨骼模态数据以及融合模态数据。首先介绍了行为识别的主要过程和人类行为识别领域不同数据模态的公开数据集;然后根据数据模态分类,回顾了RGB模态、深度模态和骨骼模态下基于传统手工特征和深度学习的行为识别方法,以及多模态融合分类下RGB模态与深度模态融合的方法和其他模态融合的方法。传统手工特征法包括基于时空体积和时空兴趣点的方法(RGB模态)、基于运动变化和外观的方法(深度模态)以及基于骨骼特征的方法(骨骼模态)等;深度学习方法主要涉及卷积网络、图卷积网络和混合网络,重点介绍了其改进点、特点以及模型的创新点。基于不同模态的数据集分类进行不同行为识别技术的对比分析。通过类别内部和类别之间两个角度对比分析后,得出不同模态的优缺点与适用场景、手工特征法与深度学习法的区别和融合多模态的优...     

融合显著性图像语义特征的人体相似动作识别

目的 基于骨骼的动作识别技术由于在光照变化、动态视角和复杂背景等情况下具有更强的鲁棒性而成为研究热点。利用骨骼/关节数据识别人体相似动作时,因动作间关节特征差异小,且缺少其他图像语义信息,易导致识别混乱。针对该问题,提出一种基于显著性图像特征强化的中心连接图卷积网络（saliency image feature enhancement based center-connected graph convolutional network,SIFE-CGCN）模型。方法 首先,设计一种骨架中心连接拓扑结构,建立所有关节点到骨架中心的连接,以捕获相似动作中关节运动的细微差异;其次,利用高斯混合背景建模算法将每一帧图像与实时更新的背景模型对比,分割出动态图像区域并消除背景干扰作为显著性图像,通过预训练的VGG-Net(Visual Geometry Group network)提取特征图,并进行动作语义特征匹配分类;最后,设计一种融合算法利用分类结果对中心连接图卷积网络的识别结果强化修正,提高对相似动作的识别能力。此外,提出了一种基于骨架的动作相似度的计算方法,并建立一个相似动作数据集。结果 ...     

基于时空注意力图卷积网络模型的人体骨架动作识别算法

针对现有的人体骨架动作识别算法不能充分发掘运动的时空特征问题,提出一种基于时空注意力图卷积网络(STA-GCN)模型的人体骨架动作识别算法.该模型包含空间注意力机制和时间注意力机制:空间注意力机制一方面利用光流特征中的瞬时运动信息定位运动显著的空间区域,另一方面在训练过程中引入全局平均池化及辅助分类损失使得该模型可以关...     

用于骨架行为识别的多维特征嵌合注意力机制

目的 在行为识别任务中,妥善利用时空建模与通道之间的相关性对于捕获丰富的动作信息至关重要。尽管图卷积网络在基于骨架信息的行为识别方面取得了稳步进展,但以往的注意力机制应用于图卷积网络时,其分类效果并未获得明显提升。基于兼顾时空交互与通道依赖关系的重要性,提出了多维特征嵌合注意力机制(multi-dimensional feature fusion attention mechanism, M2FA)。方法 不同于现今广泛应用的行为识别框架研究理念,如卷积块注意力模块(convolutional block attention module, CBAM)、双流自适应图卷积网络(two-stream adaptive graph convolutional network, 2s-AGCN)等,M2FA通过嵌入在注意力机制框架中的特征融合模块显式地获取综合依赖信息。对于给定的特征图,M2FA沿着空间、时间和通道维度使用全局平均池化操作推断相应维度的特征描述符。特征图使用多维特征描述符的融合结果进行过滤学习以达到细化自适应特征的目的,并通过压缩全局动态信息的全局特征分支与仅使用逐点卷积层的局...     

用于视频行为识别的高效二维时序建模网络

二维卷积难以对视频数据进行有效的时间信息建模。针对这个问题,提出了一个高效的基于二维卷积的时间建模网络。该网络只需要RGB图像作为输入,避免了复杂的光流计算,在低计算复杂度的前提下,可以在行为识别任务中达到先进的准确性。网络主要由两个部分组成,即运动特征增强模块和时序聚集模块。具体来说,运动特征增强模块主要实现短期时序建模,它利用当前帧与相邻帧的差异信息对当前帧中的运动信息进行自适应性的增强,让网络能够了解图像中的哪一部分将要产生运动。时序聚集模块实现长期的时序建模,主要应用于网络的后期,通过二维卷积对时序上的信息进行信息聚合,让每一帧图像经过网络提取特征后,都能够结合时序上所有帧序列的信息。在三个常见的视频动作识别数据集（UCF101、HMDB51和Something-Something V1）上进行的大量实验表明,与大多数现有方法相比,所提出的时序建模网络可以获得先进的识别性能。     

基于骨架的快速手势识别模型

对于手势识别来说,骨架数据是一种紧凑且对环境条件稳健的数据模态.最近基于骨架的手势识别研究多使用深度神经网络去提取空间和时间的信息,然而这些方法可能存在复杂的计算和大量的模型参数的问题.为了解决这个问题,我们提出一种轻量高效的手势识别模型.该模型使用从骨架序列上计算出的两种空间几何特征,以及自动学习的运动轨迹特征,然后只使用卷积网络作为骨干网络实现手势分类.最终我们的模型参数量最少情况下仅为0.16 M,计算复杂度最大情况为0.03 GFLOPs.我们在公开的两个数据集上评估了我们的方法,与其他输入为骨架模态的方法相比,我们的方法取得了相应数据集上最好的结果.     

基于特征传播的时域分割网络行为识别

为了高效、准确地获得视频中的行为类别和运动信息,减少计算的复杂度,文中提出一种融合特征传播和时域分割网络的视频行为识别算法.首先将视频分为3个小片段,分别从相应片段中提取关键帧,从而实现对长时间视频的建模;然后设计一个包含特征传播表观信息流和FlowNet运动信息流的改进时域分割网络(P-TSN),分别以RGB关键帧、RGB非关键帧、光流图为输入提取视频的表观信息流和运动信息流;最后将改进时域分割网络的BN-Inception描述子进行平均加权融合后送入Softmax层进行行为识别.在UCF101和HMDB51这2个数据集上分别取得了94.6%和69.4%的识别准确率,表明该算法能够有效地获得视频中空域表观信息和时域运动信息,提高了视频行为识别的准确率.     

融合RGB-D多模特征和半径边缘约束超限学习的动作识别

针对单模态特征鉴别行为动作类别的能力有限问题,提出基于RGB-D视频中多模态视觉特征融合和实例化多重核超限学习(Exemplars-MKL-ELM)的动作分类方法.首先,利用骨架表面拟合和密集轨迹提取稳健的密集运动姿态特征,以稠密点云法平面感知人体3维几何的稀疏化有向主成分直方图特征,提取外观纹理嵌入身体节点空-时邻域的三维梯度直方图特征.然后,采用半径边缘约束多重核超限学习机融合多模态视觉特征,并利用对比数据法挖掘每个行为类别的代表性实例集合.最后,每个样本结合融合视觉特征和即得实例集合,采用Exemplars-MKL-ELM模型和贪婪预测思想分层分类识别行为.实验表明,文中方法在分类准确度和计算效率上都较优.