基于DTW约束的动作行为识别

针对固定视角下的人体动作行为准确识别的研究,通过姿态关节点标定,结合不同关节点对动作内和动作间起到不等的权重区分度的问题,提出一种加权量化矩阵的姿态特征表示方法,将关节点相对坐标经过权重修正作为姿态特征,减少因关节点标定误差或图像帧的缺失导致的识别精度下降和误判率增加等问题,同时,对DTW算法加入动态时间规整加以约束来降低算法的复杂度,最后在家庭智能空间内获取动作姿态图像序列,通过实验验证关节点标定及行为识别算法的有效性.     

基于姿态估计与GRU网络的人体康复动作识别

康复锻炼是脑卒中患者的重要治疗方式,为提高康复动作识别的准确率与实时性,更好地辅助患者在居家环境中进行长期康复训练,结合姿态估计与门控循环单元(GRU)网络提出一种人体康复动作识别算法Pose-AMGRU。采用OpenPose姿态估计方法从视频帧中提取骨架关节点,经过姿态数据预处理后得到表达肢体运动的关键动作特征,并利用注意力机制构建融合三层时序特征的GRU网络实现人体康复动作分类。实验结果表明,该算法在KTH和康复动作数据集中的识别准确率分别为98.14%和100%,且在GTX1060显卡上的运行速度达到14.23frame/s,具有较高的识别准确率与实时性。     

基于动作串的人体行为识别

提出了一种以运动人体侧影为特征的基于模板匹配的人体行为识别方法.首先,利用背景差分法和阴影消除技术提取运动人体侧影.利用缓变换对人体侧影进行特征提取,将时变的2D区域形状转换为对应的1D距离向量.然后,利用谱系聚类方法提取动作序列的关键姿态,将关键姿态编码为称为动作串的模板.最后,利用动态时间规整算法度量测试序列与标准模板之间的相似性.实验结果表明,本方法对人的6种日常行为进行识别的正确识别率达到85％以上,具有简单实用的特点.     

基于单目视觉的FMS人体姿态识别

针对部队日常体能训练中引入功能性动作筛查(FMS)的困难,提出一种基于单目视觉的自动化解决方案.通过改进现有人体姿态识别算法,再结合余弦相似性完成FMS动作提取.分析现有算法的弊端,提出利用帧间光流提高人体姿态识别精度的解决思路,并验证其可行性.     

基于多流卷积神经网络的行为识别

人体行为识别与人体姿态有很强的相关性,由于许多公开的行为识别的数据集并未提供相关姿态数据,因此很少有将姿态数据进行训练并与其它模态进行融合的识别方法.针对当今主流基于深度学习的人体行为识别方法采用RGB与光流融合的现状,提出一种融合人体姿态特征的多流卷积神经网络人体行为识别算法.首先,用姿态估计算法从包含人的静态图片生成人体关键点数据,并对关键点连接构建姿态;其次,分别将RGB、光流、姿态数据对多流卷积神经网络进行训练,并进行分数融合;最后,在UCF101与HMDB51数据集进行了大量的消融,识别精度等方面的实验研究.实验结果表明,融合了姿态图像的多流卷积神经网络在UCF101与HMDB51数据集的实验精度分别提高了2.3％和3.1％.实验结果验证了提出算法的有效性.     

基于深度学习的二维人体姿态估计算法综述

二维人体姿态估计作为人体动作识别的基础,随着深度学习和神经网络的流行已经成为备受学者关注的研究热点.与传统方法相比,深度学习能够得到更深层图像特征,对数据的表达更准确,因此已成为研究的主流方向.本文主要介绍了二维人体姿态估计算法,首先根据检测人数分为单人姿态估计与多人姿态估计两类,其次对单人姿态估计分为基于坐标回归与基于热图检测的方法;对多人姿态估计可分为自顶向下(top-down)和自底向上(bottom-up)的方法.最后介绍了姿态估计常用数据集以及评价指标对部分多人姿态估计算法的性能指标进行了对比,并对人体姿态估计研究所面临的问题与发展趋势进行了阐述.     

基于动作图像特征的人体运动行为挖掘算法

研究人体行为图像特征识别问题,在人体动作图像中存在大量的和真实行为无关的掩饰动作特征,掩饰动作的存在会大大干扰人体真实行为特征,造成行为真实特征关联的减弱,形成干扰.传统的关联特征挖掘方法在关联干扰的情况下,很难建立准确的行为特征对应空间,使得关联性发生混乱,造成行为特征挖掘错误.提出了一种采用动作特征人体运行行为挖掘算法.利用黄金分割方法,计算动作特征的权值比重,从而删除冗余特征,为人体行为挖掘提供准确的数据基础.利用非线性分类函数,对人体行为特征进行分类,从而实现人体运动行为的挖掘.实验结果表明,利用改进算法能够有效提高人体运动行为识别的准确性,从而有效地对人体运动行为进行有效识别.     

低光照场景下基于序列增强的移动机器人人体检测与姿态识别

灾难救援、地下空间开发利用等场景均存在低光照、甚至完全黑暗的问题,导致机器人目标搜索与识别困难。为此,本文面向低光照场景提出基于红外深度相机图像序列的人体检测和姿态识别方法。首先,利用基于YOLO v4的AlphaPose算法检测人体框和关键点。然后,提出基于特征点匹配的漏检人体框恢复算法,降低人体漏检率,同时使用D-S（Dempster-Shafer）证据理论融合人体框和关键点的检测结果,从而降低人体误检率。最后,设计一种基于图像序列信息的人体姿态分层识别方法,在不同的识别层提取不同的人体躯干特征,利用连续多帧躯干向量特征组成的特征序列对人体姿态进行精准的识别并进行实验验证。实验结果表明本文算法能够在低光照条件下实现准确的人体检测与姿态识别,姿态识别准确率高达95.36%。     

基于深度迁移学习的人体舞蹈姿态检测方法

常规的人体舞蹈姿态检测方法存在多姿态动作检测精度和识别率较低，因此提出基于深度迁移学习的人体舞蹈姿态检测方法。首先，利用Kinect传感器采集人体舞蹈姿态动作三维数据。其次，基于滑动窗口间接分割原理识别动作类别。再次，利用深度迁移学习建立动作识别模型，识别人体舞蹈的特定动作和非特定动作。最后，结合人体关节位置特征，检测人体舞蹈姿态动作中左手、右手、上身及全身4类局部特征信息。实验分析可知，新的方法应用后，舞蹈姿态检测的交并比值较高，显著提升了检测准确性。     

机器人的人体姿态动作识别与模仿算法

提出从人体姿态估计的角度实现人与NAO机器人的互动交流。用AdaBoost算法训练得到人体部件检测器,利用得到的部件检测器在图片中寻找到对应部件的若干候选区域,在寻找的过程中兼顾部件的位置和方向。依据提出的评价指标评价这些候选区域,从中选出最优。以NAO机器人为实验平台,在其动作可达范围内实现对人体动作姿态的识别与模仿,达到较好的动作空间一致性和时间一致性。实验结果证明该算法可有效识别和模仿人体姿态。     

Human action recognition based on scene semantics

Like outdoors, indoor security is also a critical problem and human action recognition in indoor area is still a hot topic. Most studies on human action recognition ignored the semantic information of a scene, whereas indoors contains varieties of semantics. Meanwhile, the depth sensor with color and depth data is more suitable for extracting the semantics context in human actions. Hence, this paper proposed an indoor action recognition method using Kinect based on the semantics of a scene. First, we proposed a trajectory clustering algorithm for a three-dimensional (3D) scene by combining the different characteristics of people such as the spatial location, movement direction, and speed. Based on the clustering results and scene context, it concludes a region of interest (ROI) extraction method for indoors, and dynamic time warping (DTW) is used to study the abnormal action sequences. Finally, the color and depth-data-based 3D motion history image (3D–MHI) features and the semantics context of the scene were combined to recognize human action. In the experiment, two datasets were tested and the results demonstrate that our semantics-based method performs better than other methods.

     

基于特征融合的人体行为识别算法

针对HOG特征在人体行为识别中仅仅表征人体局部梯度特征的不足,提出了一种扩展HOG（ExHOG）特征与CLBP特征相融合的人体行为识别方法。用背景差分法从视频中提取出完整的人体运动序列,并提取出扩展梯度方向直方图ExHOG及完备局部二值模式CLBP两种互补特征;利用K-L变换将这两种互补特征融合生成一个分类能力更强的行为特征;采用径向基函数神经网络RBFNN对行为特征进行识别分类。在KTH和Weizman行为公共数据库上进行了多组实验,结果表明提出的方法能够有效地识别人体运动类别。     

基于选择性集成旋转森林的人体行为识别算法*

人体行为识别中的一个关键问题是如何表示高维的人体动作和构建精确稳定的人体分类模型.文中提出有效的基于混合特征的人体行为识别算法.该算法融合基于外观结构的人体重要关节点极坐标特征和基于光流的运动特征,可更有效获取视频序列中的运动信息,提高识别即时性.同时提出基于帧的选择性集成旋转森林分类模型(SERF),有效地将选择性集成策略融入到旋转森林基分类器的选择中,从而增加基分类器之间的差异性.实验表明SERF模型具有较高的分类精度和较强的鲁棒性.     

基于混合特征的人体动作识别改进算法

运动特征的选择直接影响人体动作识别方法的识别效果.单一特征往往受到人体外观、环境、摄像机设置等因素的影响不同,其适用范围不同,识别效果也是有限的.在研究人体动作的表征与识别的基础上,充分考虑不同特征的优缺点,提出一种结合全局的剪影特征和局部的光流特征的混合特征,并用于人体动作识别.实验结果表明,该算法得到了理想的识别结果,对于Weizmann数据库中的动作可以达到100％的正确识别率.     

基于kinect三维骨骼节点的动作识别方法

近年来,基于人体动作识别的应用场景越来越广泛。为了更好的识别效果,提出了一种基于人体三维骨骼节点的动作识别方法。用Kinect等设备获取人体骨骼关节点三维数据信息,以人体臀部为原点重新建立人体坐标系;提取人体关键骨骼的数据信息,定义人体动作特征向量;根据动作表达式用行为树构造动作序列,实现识别。通过对5种定义的动作与其他算法做比较实验,表明提出的方法识别率较高,推广性较强。     

三维人体点云模型多约束肢体分割

针对人体点云模型的肢体分割这一动作识别和虚拟重建领域的重要问题,提出了一种基于分类骨架线、测地距离、特征点和姿态分析的多约束肢体分割算法,通过生成点云模型的分类骨架线,配合测地距离获得人体各部位粗分割点云集,利用测地路径方法实现关键特征点的定位,并利用曲线拟合方式进行定位优化,针对头颈、上肢、下肢和躯干之间关联部位的解剖学特征,构造多种约束条件,对各部位粗分割点云集进行了优化再分割。实验结果表明,所提算法对站姿条件下的不同动作、不同体型、不同精度人体点云模型均能取得与视觉理解相吻合的分割效果。通过该算法得到的肢体各部分点云数据可用于姿态分析等后续研究。     

融合动作特征的多模态情绪识别

近年来,利用计算机技术实现基于多模态数据的情绪识别成为自然人机交互和人工智能领域重要 的研究方向之一。利用视觉模态信息的情绪识别工作通常都将重点放在脸部特征上,很少考虑动作特征以及融合 动作特征的多模态特征。虽然动作与情绪之间有着紧密的联系,但是从视觉模态中提取有效的动作信息用于情绪 识别的难度较大。以动作与情绪的关系作为出发点,在经典的 MELD 多模态情绪识别数据集中引入视觉模态的 动作数据,采用 ST-GCN 网络模型提取肢体动作特征,并利用该特征实现基于 LSTM 网络模型的单模态情绪识别。 进一步在 MELD 数据集文本特征和音频特征的基础上引入肢体动作特征,提升了基于 LSTM 网络融合模型的多 模态情绪识别准确率,并且结合文本特征和肢体动作特征提升了上下文记忆模型的文本单模态情绪识别准确率, 实验显示虽然肢体动作特征用于单模态情绪识别的准确度无法超越传统的文本特征和音频特征,但是该特征对于 多模态情绪识别具有重要作用。基于单模态和多模态特征的情绪识别实验验证了人体动作中含有情绪信息,利用 肢体动作特征实现多模态情绪识别具有重要的发展潜力。     

基于深度学习的人体行为识别方法综述

人体行为识别作为计算机视觉领域的重要研究热点,在智能监控、智能家居、虚拟现实等诸多领域中具有重要的研究意义和广泛的应用前景,备受国内外学者的关注。基于传统手工特征的方法难以处理复杂场景下的人体行为识别。随着深度学习在图像分类方面取得巨大成功,将深度学习用于人体行为识别方法中已逐渐成为一种发展趋势,但其仍然存在一些困难与挑战。首先,根据特征提取方法的不同,简单回顾了早期基于传统手工特征的行为识别方法;然后,从网络结构的角度着重对近年来一些基于深度学习的人体行为识别方法进行论述和分析,其中包括目前常用的双流网络架构和三维卷积网络架构等;另外,还介绍了目前用于评价方法性能的人体行为识别数据集,同时总结了部分典型方法在UCF-101和HMDB51两个著名的公开数据集上的性能;最后,从性能和应用两个方面对基于深度学习的人体行为识别方法的未来发展方向进行了展望,并指出了当前方法存在的不足之处。     

多模态数据的行为识别综述

行为识别是当前计算机视觉方向中视频理解领域的重要研究课题。从视频中准确提取人体动作的特征并识别动作,能为医疗、安防等领域提供重要的信息,是一个十分具有前景的方向。本文从数据驱动的角度出发,全面介绍了行为识别技术的研究发展,对具有代表性的行为识别方法或模型进行了系统阐述。行为识别的数据分为RGB模态数据、深度模态数据、骨骼模态数据以及融合模态数据。首先介绍了行为识别的主要过程和人类行为识别领域不同数据模态的公开数据集;然后根据数据模态分类,回顾了RGB模态、深度模态和骨骼模态下基于传统手工特征和深度学习的行为识别方法,以及多模态融合分类下RGB模态与深度模态融合的方法和其他模态融合的方法。传统手工特征法包括基于时空体积和时空兴趣点的方法(RGB模态)、基于运动变化和外观的方法(深度模态)以及基于骨骼特征的方法(骨骼模态)等;深度学习方法主要涉及卷积网络、图卷积网络和混合网络,重点介绍了其改进点、特点以及模型的创新点。基于不同模态的数据集分类进行不同行为识别技术的对比分析。通过类别内部和类别之间两个角度对比分析后,得出不同模态的优缺点与适用场景、手工特征法与深度学习法的区别和融合多模态的优...