基于深度学习的轻量型人体动作识别模型

针对现有基于深度学习的人体动作识别模型参数量大、网络过深过重等问题,提出了一种轻量型的双流融合深度神经网络模型并将该模型应用于人体动作识别。该模型将浅层多尺度网络和深度网络相结合,实现了模型参数量的大幅减少,避免了网络过深的问题。在数据集UCF101和HMDB51上进行实验,该模型在ImageNet预训练模式下分别取得了94.0%和69.4%的识别准确率。实验表明,相较于现有大多基于深度学习的人体动作识别模型,该模型大幅减少了参数量,并且仍具有较高的动作识别准确率。     

基于视频的人体动作识别算法综述

以基于视频的人体动作识别为核心,首先对传统RGB动作识别领域的算法进行了全面回顾,包括传统算法和基于深度学习的算法,基于RGB视频的动作识别易受背景光照的影响识别精度不高,但有丰富的颜色外观信息;然后对RGB-D动作识别领域的算法进行分析总结,主要分为深度序列、骨骼和多特征融合三个方面,RGB-D视频具有多个模态可以为动作识别提供更多的信息,可以弥补基于RGB视频的不足但也带来了新的挑战;最后对常用数据集和未来可能的发展方向进行了展望。     

基于卷积神经网络的雷达人体动作识别方法

利用雷达来识别人体动作对环境要求较低,且避免了摄像头带来的的隐私问题。针对这种需求,提出一种基于超宽带雷达和深度学习算法的人体动作识别方法。利用超宽带雷达的高距离分辨力,并针对人体动作的动态特性,提取出人体目标的距离-时间二维特征,弥补单一距离特征的不足。针对特征图采用一种经过优化的卷积神经网络进行识别。通过SIR-20高速探地雷达平台进行数据采集,对8种不同的人体动作进行识别,最终达到了平均99.2%的正确识别率,验证了该方法的可行性和有效性。     

基于深度学习的人体动作识别方法

针对人体动作深度视频的四维信息映射到二维空间后,动作分类容易发生混淆的问题,提出一种基于深度学习的人体动作识别方法。首先构建空间结构动态深度图,将深度视频的四维信息映射到二维空间,进行信息降维处理;然后提出基于联合代价函数的深度卷积神经网络,结合交叉熵损失函数与中心损失函数作为联合代价函数,指导卷积层学习到更具分辨力的深度特征,以进行更精确的分类。在MSRDailyActivity3D和SYSU 3D HOI两个数据集的实验结果表明,与现有方法相比,该方法识别率得到了较明显的提升,验证了其有效性和鲁棒性。该方法较好地解决了动作分类容易发生混淆的问题。     

基于混合注意力机制的视频人体动作识别

C3D作为一种典型的三维卷积神经网络被应用于视频动作识别任务。针对其存在的特征提取不足、易出现过拟合以及识别准确率较低等问题,提出一种融合混合注意力机制的C3D三维卷积网络模型。在原C3D网络插入由GCNet通道注意力模块和3D-Crisscross空间注意力模块构建的混合注意力模块,这两种注意力网络具有全局上下文建模操作,能够对三维特征建立远程依赖关系,加强网络对视频特征在通道和空间上的特征提取能力,提高模型的分类性能。将所提方法在UCF-101和HMDB-51两个大型视频数据集上进行测试,并与深度学习的其他模型进行比较,结果表明,该方法相对于其他深度学习模型具有相对更高的准确率,在UCF-101和HMDB-51数据集上的识别准确率可以达到96.7%和63.3%,而且与原C3D方法相比在效果上有明显提升。     

基于推理网络的人体动作识别

为更好地对动作进行分类,提出基于推理网络的人体动作识别算法.通过Faster RCNN提取以人为主要区域、以场景信息为附加区域的特征信息,将其输入到LSTM中进行边框回归以及动作分类,通过结合Faster RCNN和LSTM获得动作的空间特征和时间特征,得到更精确的动作分类.在公认的两个数据集上进行实验,U C F-1...     

基于深度学习的自动扶梯视频人体动作识别

在自动扶梯场景下的视频人体动作识别中,视频数据源不稳定,如遮挡、多视角、光照、低分辨率、动态背景以及背景混乱等均导致动作分类及检测不准确.针对这些问题,提出使用基于改进的SlowFast网络的人体动作识别方法,以更好地捕获视频连续帧中隐藏的时间和空间信息.通过与R(2+1)D卷积网络模型的识别准确率进行对比,改进的Sl...     

基于改进的深度神经网络的人体动作识别模型

针对现有人体动作识别方法需输入固定长度的视频段、未充分利用时空信息等问题,提出一种基于时空金字塔和注意力机制相结合的深度神经网络模型,将包含时空金字塔的3D-CNN和添加时空注意力机制的LSTM模型相结合,实现了对视频段的多尺度处理和对动作的复杂时空信息的充分利用。以RGB图像和光流场作为空域和时域的输入,以融合金字塔池化层的运动和外观特征后的融合特征作为融合域的输入,最后采用决策融合策略获得最终动作识别结果。在UCF101和HMDB51数据集上进行实验,分别取得了94.2%和70.5%的识别准确率。实验结果表明,改进的网络模型在基于视频的人体动作识别任务上获得了较高的识别准确率。     

基于深度学习的人体动作识别方法

对基于机器视觉的人体动作识别的成果进行研究,为提高视频数据集中人体动作的识别率,提出一种改进的深度网络模型。采用稠密光流方法处理数据,结合二维卷积神经网络(2DCNN)、三维卷积神经网络(3DCNN)和长短期记忆神经网络(LSTM)对动作特征进行提取,利用Softmax分类器识别分类。通过KTH数据集进行实验对比验证,分析结果表明,改进模型相比其它已有模型具有更高的识别率,动作识别效果更优。     

基于双流卷积神经网络的改进人体行为识别算法

近年来人体行为识别成为计算机视觉领域的一个研究热点,而卷积神经网络(Convolutional Neural Network,CNN)在图像分类和识别领域取得了重要突破,但是人体行为识别是基于视频分析的,视频包含空间域和时间域两部分的信息。针对基于视频的人体行为识别问题,提出一种改进的双流卷积神经网络(Two-Stream CNN)模型,对于空间域,将视频的单帧RGB图像作为输入,送入VGGNet_16模型;对于时间域,将多帧叠加后的光流图像作为输入,送入Flow_Net模型;最终将两个模型的Softmax输出加权融合作为输出结果,得到一个多模型融合的人体行为识别器。基于JHMDB公开数据库的实验,结果证明了改进的双流CNN在人体行为识别任务上的有效性。     

基于多模态特征学习的人体行为识别方法

由于从单一行为模态中获取的特征难以准确地表达复杂的人体动作,本文提出基于多模态特征学习的人体行为识别算法.首先采用两条通道分别提取行为视频的RGB特征和3D骨骼特征,第1条通道C3DP-LA网络由两部分组成:(1)包含时空金字塔池化(Spatial Temporal Pyramid Pooling,STPP)的改进3D...     

基于RGB-D图像特征的人体行为识别

针对现有的多模态特征融合方法不能有效度量不同特征的贡献度的问题,文中提出基于RGB-深度(RGB-D)图像特征的人体动作识别方法.首先获取基于RGB模态信息的方向梯度直方图特征、基于深度图像模态信息的时空兴趣点特征和基于关节模态信息的人体关节点位置特征,分别表征人体动作.采用不同距离度量公式的最近邻分类器对这3种不同模态特征表示的预测样本进行集成决策分类.在公开数据集上的实验表明,文中方法具有简单、快速,高效的特点.     

基于CNN的人体姿态识别

姿态识别是人机交互中重要的研究课题之一，随着机器学习与神经网络的发展，研究的方式和成果趋于多样化，姿态识别的应用价值也日趋广泛。本文通过构建卷积神经网络模型，该模型共有11层，在对采样的数据集中5种人体姿态进行卷积与池化操作，最后进入全连接层进行分类，从而完成对数据集的训练和识别。结果显示，相较于机器学习方法，该模型的识别性能更加优秀，且免去了复杂的特征提取方式设计，让网络自身提取特征进行识别分类，效果更好。     

基于改进CNN特征的场景识别

随着人工智能的发展,场景识别作为计算机视觉研究的重要方向之一,吸引着越来越多研究者的关注.由于传统的手工特征无法充分描述场景图像的信息导致效果不理想,而卷积神经网络（CNN）提取的特征能够包含丰富的场景语义和结构信息,因此就常见的体系结构而言,本文选取AlexNet网络模型进行场景识别的研究,分别从网络模型的深度、宽度、多尺度化提取以及多层融合考虑进行改进,改进后在两个数据集上的识别率分别可达92.0%和94.5%,通过对比结果表明了本文方法的有效性.     

基于奇异值特征和统计模型的人像识别算法

人像识别是模式识别领域中的一个前沿课题。目前多数研究者采用人脸的一维和二维几何特征来完成识别任务。人脸的几何特征抽取以及这些特性的有效性都面临着很多问题，至今人像识别的研究仍然处于较低的水平。作者证明了图象矩阵的奇异值特征矢量具备了代数上和几何上的不变性以及稳定性，提出用它作为识别人脸的代数特征。本文的人像识别算法是基于奇异值特征矢量建立Ｓａｍｍｏｎ最佳鉴别平面上的正态Ｂａｙｅｓ分类模型。在本文的     

基于人体部件的视频行为识别方法研究

现有人体行为识别算法主要依赖于粗粒度的视频特征,但这些特征不足以有效描述人体行为的动作构成,从而降低了深度学习模型对易混淆行为的识别能力.该研究提出了一种基于人体部件的视频行为识别方法,通过学习人体细粒度部件的动作表示,自底向上地学习人体行为视频表征.该方法主要包含:(1)部件特征增强模块,用于增强基于图像的人体部件特...     

基于双流卷积神经网络的人体行为识别方法

时序行为检测是指在一段未分割的长视频中,检测出其中包含的若干行为片段的起止时间和类别.针对该项任务,提出基于双流卷积神经网络的行为检测模型.首先使用双流卷积神经网络提取视频的特征序列,然后使用TAG （Temporal Actionness Grouping）生成行为提议,为了构建高质量的行为提议,将行为提议送入边界回归网络中修正边界,使之更为贴近真实数据,再将行为提议扩展为含有上下文信息的三段式特征设计,最后使用多层感知机对行为进行识别.实验结果表明,本算法在THUMOS 2014数据集和ActivityNet v1.3数据集获得较好的识别率.     

多特征的双人交互动作识别算法研究

运动特征的选择直接影响基于整体的双人交互动作识别算法的识别效果。单一的特征因其适应范围不同,受到人体的外观、环境、摄像机设置等因素的影响,识别效果往往不太理想。在研究双人交互动作的表征与识别的基础上,充分考虑不同特征的优缺点,提出了一种结合局部的光流特征、局部的剪影特征以及HOG(histogram of oriented gradient)特征的混合特征,使用帧帧最近邻分类器获得3个特征的识别概率,最终通过加权融合3个特征的识别概率实现交互行为的识别。实验结果表明,对于UT-interaction数据库,该算法得到了较为理想的识别结果,混合特征可将识别率提高到91.7%。     

基于层次部件树结构的动作识别判决模型*

研究从静止图像中识别人体姿态动作.首先提出层次部件树结构,树中每个节点由一组Poselet表示该肢体部件的姿态变化,节点之间相互制约,构成一个Pictorial结构.基于此结构,提出基于层次部件树结构的动作识别判决模型.Pictorial结构的对偶潜在函数中除了变形代价,引入Poselet同时出现代价.由于树的邻接节点之间存在包含关系,相对位置可以使用高斯分布描述,推理过程沿用距离转换和置信度传播算法,实现高效匹配.在2个数据集上,对剪枝后节点数量不同的3种判决模型的实验表明,前两层的粗粒度节点具有较强的动作识别显著性,第三层进一步提高动作识别能力,第四层的原子部件对动作识别无明显作用.