基于Kinect的人体单关节点修复算法研究

人体姿势识别是人机交互发展中的关键技术,基于Kinect的人体姿势识别技术已成为研究热点。但人体在运动的过程中,经常会出现关节点被身体其他部位遮挡的情况,导致识别准确率下降。本文通过对人体单个被遮挡点进行研究,根据人体运动连续性和关节点自由度约束,提出了一种人体单关节点修复算法。经实验验证,本算法可有效修复单个被遮挡关节点,提高人体姿势识别准确率。     

一种基于关节点信息的人体行为识别新方法

为了提高机器人服务的主动性与智能性,使用Kinect体感设备获取人体的关节点数据解决人体行为识别问题.首先,利用Kinect采集人体关节点坐标,构造用于表示人体结构的3维空间向量,然后计算结构向量之间的角度和向量模的比值,进行人体姿态描述,同时以一段时间内连续的姿态序列作为行为表示特征量,最后选用动态时间规整(DTW)算法计算测试行为模板与参考行为模板之间的相似度以实现行为识别.实验结果表明,选用的行为表示特征量具有旋转与平移不变性.另外,对人在日常生活中的6种行为进行了识别实验,结果表明本文的行为识别算法可以取得较好的识别效果.     

基于人体关节点数据的攻击性行为识别

针对人体攻击性行为识别问题，提出一种基于人体关节点数据的攻击性行为识别方法。首先，利用OpenPose获得单帧图像中的人体关节点数据，并通过最近邻帧特征加权法和分段多项式回归完成由人体自遮挡和环境因素所导致缺失值的补全；然后，对每个人体定义动态"安全距离"阈值，如果两人真实距离小于阈值，则构建行为特征矢量，其中包括帧间人体重心位移、人体关节旋转角角速度和发生交互时的最小攻击距离等；最后，提出改进的LightGBM算法w-LightGBM，并对攻击性行为进行识别。采用公共数据集UT-interaction对所提出的攻击性行为分类识别方法进行测试实验，准确率达到95.45%。实验结果表明，所提方法能够有效识别各种角度的攻击性行为。     

基于场景理解的人体动作识别模型

为了满足在复杂环境下对人体动作识别的需求,提出了一种基于场景理解的双流网络识别结构。将场景信息作为辅助信息加入了人体动作识别网络结构中,改善识别网络的识别准确率。对场景识别网络与人体动作识别网络不同的融合方式进行研究,确定了网络最佳识别结构。通过分析不同参数对识别准确率的影响,最终确定了双流网络的所有结构参数,设计并训练完成了双流网络结构。通过在UCF50,UCF101等公开数据集上实验,分别取得了95%,93%的准确率,高于典型的识别网络结果。对其他一些典型识别网络加入同样场景信息进行了研究,其实验结果证明了此方法可以有效改善识别准确率。     

基于多视图半监督集成学习的人体动作识别算法

移动设备上难以获取大量标签样本,而训练不足导致分类模型在人体动作识别上表现欠佳.针对这一问题,提出一种基于多视图半监督集成学习的人体动作识别算法.首先,利用两种内置传感器收集的数据构建两个特征视图,将两个视图和两种基分类器进行组合构建协同学习框架;然后,根据多分类任务重新定义置信度,结合主动学习思想在迭代过程中控制预测...     

基于动态拓扑图的人体骨架动作识别算法

传统的人体骨架动作识别算法采用手动构建拓扑图的方式来建模包含在多个视频帧中的动作序列,并针对性地学习每个视频帧以反映数据变化,这容易造成计算代价大、网络泛化性低和灾难性遗忘等问题.针对上述问题,提出了基于动态拓扑图的人体骨架动作识别算法,使用持续学习思想动态构建人体骨架拓扑图.将具有多关系特性的人体骨架序列数据重新编码...     

人体动作识别的研究

本文深入分析比较了当前的人体动作识别技术中的识别算法、人体检测方法和人体表征．并重点阐述了基于隐马尔可夫模型的动作识别算法中需要解决的主要问题和相应的解决方法。     

基于矩形骨架的人体动作识别

人体的行为动作存在多样的变化,但是可以使用了片图结构模型,将人体模型作为躯干和若干肢体的序列组合,通过动态规划的方法得到了最佳匹配的人体矩形骨架模型。实验结果表明,结合肢体的方向特征和DTW方法取得了比较好的识别结果,可应用于基于视频的人体动作跟踪和识别。     

基于Transformer的人体动作识别

为实现人体动作的精准识别,判断人体行为,提出基于Transformer的人体动作识别方法。以注意力机制神经网络为基础,引入Transformer框架,构建人体动作识别网络模型;该模型利用注意力机制提取视频中关键信息特征,同时依据Transformer模块提取动作帧的时间特征,将提取的两种特征融合后输入分类器中,经由模型的分类器完成动作分类识别。测试结果表明,该方法具有较好的应用效果,能够精准识别视频图像中的人体动作情况,判断人体行为。     

基于双流卷积神经网络的人体行为识别方法

时序行为检测是指在一段未分割的长视频中,检测出其中包含的若干行为片段的起止时间和类别.针对该项任务,提出基于双流卷积神经网络的行为检测模型.首先使用双流卷积神经网络提取视频的特征序列,然后使用TAG （Temporal Actionness Grouping）生成行为提议,为了构建高质量的行为提议,将行为提议送入边界回归网络中修正边界,使之更为贴近真实数据,再将行为提议扩展为含有上下文信息的三段式特征设计,最后使用多层感知机对行为进行识别.实验结果表明,本算法在THUMOS 2014数据集和ActivityNet v1.3数据集获得较好的识别率.     

带有关节权重的DTW 动作识别算法研究

大多数动作仅包含部分关节的运动,现有方法未对运动剧烈的关节与几乎不参与运 动的关节进行区分,一定程度上降低了动作识别精度。针对这个问题,提出一种自适应关节权重 计算方法。结合动态时间规整(DTW)方法,利用获得的关节权重进行动作识别。首先对分类动作 序列进行分段,每段动作序列中运动较剧烈的关节选择分配更高权重,其余关节平均分配权重; 然后提取特征向量,计算两段动作序列的DTW 距离;最后采用K 近邻方法进行动作识别。实验 结果表明,该算法的总体分类识别准确率较高,且对于较相似的动作也能获得较好的识别结果。     

基于双流卷积神经网络的改进人体行为识别算法

近年来人体行为识别成为计算机视觉领域的一个研究热点,而卷积神经网络(Convolutional Neural Network,CNN)在图像分类和识别领域取得了重要突破,但是人体行为识别是基于视频分析的,视频包含空间域和时间域两部分的信息。针对基于视频的人体行为识别问题,提出一种改进的双流卷积神经网络(Two-Stream CNN)模型,对于空间域,将视频的单帧RGB图像作为输入,送入VGGNet_16模型;对于时间域,将多帧叠加后的光流图像作为输入,送入Flow_Net模型;最终将两个模型的Softmax输出加权融合作为输出结果,得到一个多模型融合的人体行为识别器。基于JHMDB公开数据库的实验,结果证明了改进的双流CNN在人体行为识别任务上的有效性。     

基于函数型数据分析方法的人体动态行为识别

人体运动过程中,肢体的运动是连续的,而对应的运动捕捉数据是离散的.为了更好地分析人体日常运动行为的连续性与周期性,本文提出了一种基于函数型数据分析（Functional data analysis,FDA）的人体动态行为识别方法.首先,利用函数型数据分析方法,将可穿戴式运动捕捉系统采集的人体周期行为数据函数化,通过函数准确地定义数据的连续性与周期性;然后,根据导函数信息确定一个运动周期的起始点,并近似地提取出一个运动周期的数据序列;最后,根据不同行为一个周期内的曲线特征差异,利用支持向量机对动态行为进行分类识别.实验结果表明,本文的算法既能够较好地描述人体动态行为的连续性与周期性,又使得运动数据在标定的统一起始点处对齐,且在WARD数据集与自采集数据集上均取得了较好的识别率,分别达到97.5%与98.75%.     

基于局部匹配窗口的动作识别方法

在词袋模型基础上,综合考虑姿态之间的时序约束关系,提出一种基于局部匹配窗口的动作识别方法.首先采用人体姿态差别作为动作序列特征描述.其次,在模型学习阶段,使用局部训练法而非传统的整体训练法来提高特征词汇的表征性;在特征量化阶段,使用自适应局部线性重构策略来给特征基更灵活的权值;在对象描述阶段,分别使用时间金字塔、滑动窗口2种方法将整个动作序列划分成多个局部动作片段,进而通过连接各个局部动作片段的特征来描述整个动作序列.最后使用直方图相交操作来完成特征匹配工作.在MSR Action3D数据库上测试了所提算法的性能并与已有的动作识别方法进行对比,结果表明,该方法的识别效果较优.     

基于动作图的视角无关动作识别

针对视角无关的动作识别,提出加权字典向量描述方法和动作图识别模型.将视频中的局部兴趣点特征和全局形状描述有机结合,形成加权字典向量的描述方法,该方法既具有兴趣点抗噪声强的优点,又可克服兴趣点无法识别静态动作的缺点.根据运动捕获、点云等三维运动数据构建能量曲线,提取关键姿势,生成基本运动单元,并通过自连接、向前连接和向后连接3种连接方式构成有向图,称为本质图.本质图向各个方向投影,根据节点近邻规则建立的有向图称为动作图.通过Na?ve Bayes训练动作图模型,采用Viterbi算法计算视频与动作图的匹配度,根据最大匹配度标定视频序列.动作图具有多角度投影和投影平滑过渡等特点,因此可识别任意角度、任意运动方向的视频序列.实验结果表明,该算法具有较好的识别效果,可识别单目视频、多目视频和多动作视频.     

基于场景-部件的人体行为识别方法

基于部件的行为识别方法给图像行为识别领域提供了一种新的思路，即将人体行为识别看成是一种人体各个部件行为的组合。但是这种方法完全忽视了除人以外的任何东西，导致了某些姿态过于相似的行为无法区分。针对这一不足，在基于部件(Part-based)的行为识别方法基础上，提出了基于场景-部件(Scene-Part based)的行为识别方法。实验过程中利用卷积神经网络将部件和场景的外观特征转换为行为特征，并通过全连接层将所有特征连接，进行人体行为类别的最终判定。在Standford40和PASCAL VOC2012两种行为识别数据集上的实验结果表明，相对于基于部件的行为识别方法而言，基于场景-部件的行为识别方法能更好地区分相似行为，从而进一步提高行为识别的准确率，提升精度约为1%。     

多模态轻量级图卷积人体骨架行为识别方法

与传统的基于RGB视频的行为识别任务相比,基于人体骨架的行为识别方法由于其具有受光照、视角和背景复杂度等诸多因素影响非常小的特点,使其成为近几年来计算机视觉领域的主要研究方向之一.但是目前主流的基于人体骨架的行为识别方法都或多或少地存在参数量过大,运算时间过长,计算复杂度过高等问题,从而导致这些方法难以同时满足时效性和...     

基于深度学习的人体行为识别方法综述

人体行为识别作为计算机视觉领域的重要研究热点,在智能监控、智能家居、虚拟现实等诸多领域中具有重要的研究意义和广泛的应用前景,备受国内外学者的关注。基于传统手工特征的方法难以处理复杂场景下的人体行为识别。随着深度学习在图像分类方面取得巨大成功,将深度学习用于人体行为识别方法中已逐渐成为一种发展趋势,但其仍然存在一些困难与挑战。首先,根据特征提取方法的不同,简单回顾了早期基于传统手工特征的行为识别方法;然后,从网络结构的角度着重对近年来一些基于深度学习的人体行为识别方法进行论述和分析,其中包括目前常用的双流网络架构和三维卷积网络架构等;另外,还介绍了目前用于评价方法性能的人体行为识别数据集,同时总结了部分典型方法在UCF-101和HMDB51两个著名的公开数据集上的性能;最后,从性能和应用两个方面对基于深度学习的人体行为识别方法的未来发展方向进行了展望,并指出了当前方法存在的不足之处。     

基于多模态特征学习的人体行为识别方法

由于从单一行为模态中获取的特征难以准确地表达复杂的人体动作,本文提出基于多模态特征学习的人体行为识别算法.首先采用两条通道分别提取行为视频的RGB特征和3D骨骼特征,第1条通道C3DP-LA网络由两部分组成:(1)包含时空金字塔池化(Spatial Temporal Pyramid Pooling,STPP)的改进3D...