基于关联分区和ST-GCN的人体行为识别

基于骨骼的动作识别因不受人体物理特征的影响,简单清晰地传达了人体行为识别的重要信息而受到广泛关注。传统的应用程序骨架建模通常依赖遍历规则的人为设置而导致表达能力有限和推广困难。因此,在近年来热门的时空图卷积网络（ST-GCN）模型基础上提出了一种新的划分骨架关节点的分区策略。该策略相比于原始分区方法加强了身体相对位置之间的关系,从而有利于提高骨架关节点信息在时间和空间上的关联。与此同时,在训练过程中通过设置不同的迭代学习率以进一步提高识别精度。在两个不同性质的大规模数据集Kinetics和NTU-RGB+D上与现有方法进行识别效果的比较,实验结果表明了该方法的有效性。     

基于骨骼时空图的人体行为识别

为进一步提升基于骨骼信息的人体行为识别准确率,对人体姿态的骨骼信息进行研究,分析图卷积(GCN)的理论基础,提出一种多尺度时空图卷积(multi scale ST GCN)的方法对骨骼的动态信息进行建模,不同于传统的手工对人体进行自上而下或者自下而上的遍历规则设计方法,而是通过构建网络模型对人体行为的时间空间信息进行自...     

基于kinect三维骨骼节点的动作识别方法

近年来,基于人体动作识别的应用场景越来越广泛。为了更好的识别效果,提出了一种基于人体三维骨骼节点的动作识别方法。用Kinect等设备获取人体骨骼关节点三维数据信息,以人体臀部为原点重新建立人体坐标系;提取人体关键骨骼的数据信息,定义人体动作特征向量;根据动作表达式用行为树构造动作序列,实现识别。通过对5种定义的动作与其他算法做比较实验,表明提出的方法识别率较高,推广性较强。     

基于残差时空图卷积网络的3D人体行为识别

人体行为识别是智能监控、人机交互等诸多应用领域的一项基本技术。人体骨骼的动态变化为人体行为识别提供了重要的信息。传统方法通常只是采取人工信息标注或遍历规则,从而导致模型的表征能力有限、泛化性能差。采用一种引入了残差项的动态骨架模型——基于残差连接的时空图卷积网络,不仅克服了以往方法的限制,而且能够学习骨骼数据中的时空模型。在大型骨骼NTU-RGB+D数据集上,该网络模型不仅提高了人体行为特征的表征能力,而且增强了泛化能力,取得了比现有的模型更好的识别效果。     

基于Kinect传感器骨骼信息的人体动作识别

为研究人体骨骼结构、骨骼关节点位置信息以及人体动作所具有的骨骼角度特征,提出了一种基于深度传感器提取人体骨骼信息的动作识别方法.方法利用Kinect深度传感器,实时准确地捕获人体骨骼三维数据,并根据坐标系变换构建人体骨骼拓扑结构.然后提取人体动作所感兴趣的骨骼关节点,定义骨骼向量,并获取每段骨骼向量的方向余弦特征;最后通过多类支持向量机训练以及动作识别分类.实验结果表明,相比于传统基于轮廓特征的方法,改进方法对人体识别具有更高的识别准确率,鲁棒性强.     

基于机器视觉的扶梯自动急停系统

针对自动扶梯上乘客易摔倒的安全隐患,设计一款基于机器视觉的人体摔倒行为识别系统及扶梯自动急停装置.借助OpenPose人体关节点检测算法提取目标人体的骨骼特征,利用Inception V3网络模型搭建分类器,对采集的骨骼特征信息分类,以识别乘客摔倒行为.训练结果表明单人、多人样本的测试精度最高可达98.9%、80.0%.识别摔倒行为后将检测结果以无线通讯的方式发送至基于STM32微控制器及多种传感器的急停装置.最后,在模拟的扶梯环境下进行实验测试,测试结果表明该扶梯自动急停系统的控制实时性良好.     

时空图卷积网络在人体异常行为识别中的应用

在监控场景下,由于监控资源短缺,行人异常行为容易发生漏检。针对该问题,提出了一种视频监控场景下的人体异常行为识别的方法,辅助监控人员及时发现异常。使用OpenPose对图像中行人进行人体骨架提取。针对图卷积网络对关节点特征聚合方式单一的问题,融合了基于图注意力网络（graph attention network,GAT）的图注意力机制。在改进后的图卷积网络的基础上,利用时空图卷积神经网络（spatial temporal graph convolutional networks,ST-GCN）,对行人关节点信息进行异常行为识别。实验结果表明,提出的识别算法对定义的行为识别准确率达85.48%,能够准确地识别监控视频中行人的异常行为。     

多尺度方法结合卷积神经网络的行为识别

为了同时计算行为序列样本在时间和空间的特征,提出了一种基于包含多尺度卷积算子的卷积神经网络识别模型。首先通过叠加的方式将序列样本中的骨骼向量信息整合为一个行为矩阵,然后将矩阵输入识别模型。为了挖掘具有不同邻接关系的骨骼点在描述人体行为时的作用,将卷积神经网络各层中的卷积算子拓展为多尺度卷积算子,并使用该网络得到的特征进行分类。实验在MSR-Action3D数据集和HDM05数据集获得较好的识别率。     

三维人体骨骼动画自动合成方法研究

传统的人体骨骼动画制作方法是参考真实人体骨骼运动过程中各关节点的坐标位置变化轨迹,确定关键帧与插值帧模型,再进行必要的编辑处理,这需要大量的专业领域知识以及复杂的交互规则,人力物力成本高。为解决上述问题,提出了一种在给定任意两个人体骨骼动作数据作为首尾帧的条件下,自动合成完整三维人体骨骼动画序列的方法。方法由基于卷积自编码网络的骨骼动画特征提取模型和双线性插值与卷积相结合的插值帧自动合成模型两部分组成。随机从Mocap数据库中抽取两帧人体动作数据作为模型的输入,可以自动生成三维人体骨骼动画。文中方法与传统插值帧生成方法相比,具有较好的动作趋势转折信息的预测和还原能力,提升了动画系统的交互效率以及智能水平。     

面向移乘搬运护理机器人的人体姿态视觉识别

针对移乘搬运护理机器人系统对人体姿态检测的高准确性、近距离适应性等要求,提出一种基于RGB-D(RGB-depth)信息的双级卷积神经网络算法.利用第1级网络计算彩色图像中的人体关节像素坐标,将彩色图人体关节坐标映射到深度图坐标,计算关节热图;提出一种卷积神经网络结构,将深度图像和关节热图输入第2级网络,估算3D人体关节位置.根据人体关节点位置,采用图像分割方法进一步计算腋下点.实验结果表明,本文提出的人体姿态识别方法单次计算用时210 ms,在移乘搬运护理机器人应用环境下,人体姿态识别精度达到了91.5%,在近距离环境下人体姿态识别精度达到了90.3%,具备实时、准确的人体姿态全局坐标估算能力.     

基于GCN的局部增强人体骨骼行为识别算法

为使人体骨骼这种非欧几里得结构数据更好地应用于人体行为识别任务中,将多种模态的特征融合后作为模型的输入,探讨关节的全局与局部的信息共现性,构建一个完整的空间信息推理模型。通过使用多层时间膨胀卷积网络提取骨骼数据在时间维度中的上下文依赖关系,使模型可以兼具捕获短期和长期的时序上下文依赖关系,有效提高时间信息的提取能力。提出的分层次时空图卷积神经网络模型在NTU-RGB+D-60和NTU-RGB+D-120数据集上均取得了较好的识别准确率。     

基于骨骼时序散度特征的人体行为识别算法

人体行为识别是智能监控、人机交互、机器人等领域的一项重要的基础技术。图卷积神经网络（GCN）在基于骨骼的人体行为识别上取得了卓越的性能。不过GCN在人体行为识别研究中存在以下问题：1）人体骨架的骨骼点采用坐标表示,缺乏骨骼点的运动细节信息;2）在某些视频中,人体骨架的运动幅度太小导致关键骨骼点的表征信息不明显。针对上述问题,首先提出骨骼点的时序散度模型来描述骨骼点的运动状态,从而放大了不同人体行为的类间方差。并进一步提出了时序散度特征的注意力机制,以突显关键骨骼点,进一步扩大类间方差。最后根据原始骨架的空间数据特征和时序散度特征的互补性构建了双流融合模型。所提算法在权威的人体行为数据集NTU-RGB+D的两种划分策略下分别达到了82.9%和83.7%的准确率,相比自适应图卷积网络（AGCN）提高了1.3个百分点和0.5个百分点,准确率的提升证明了所提算法的有效性。     

基于RGB和关节点数据融合模型的双人交互行为识别

基于RGB视频序列的双人交互行为识别已经取得了重大进展,但因缺乏深度信息,对于复杂的交互动作识别不够准确。深度传感器（如微软Kinect）能够有效提高全身各关节点的跟踪精度,得到准确的人体运动及变化的三维关节点数据。依据RGB视频和关节点数据的各自特性,提出一种基于RGB和关节点数据双流信息融合的卷积神经网络（CNN）结构模型。首先,利用Vibe算法获得RGB视频在时间域的感兴趣区域,之后提取关键帧映射到RGB空间,以得到表示视频信息的时空图,并把图送入CNN提取特征;然后,在每帧关节点序列中构建矢量,以提取余弦距离（CD）和归一化幅值（NM）特征,将单帧中的余弦距离和关节点特征按照关节点序列的时间顺序连接,馈送入CNN学习更高级的时序特征;最后,将两种信息源的softmax识别概率矩阵进行融合,得到最终的识别结果。实验结果表明,将RGB视频信息和关节点信息结合可以有效地提高双人交互行为识别结果,在国际公开的SBU Kinect interaction数据库和NTU RGB+D数据库中分别达到92.55%和80.09%的识别率,证明了提出的模型对双人交互行为识别的有效性。     

一种基于模型的步态识别方法

该文提出了一种简单有效的基于人体骨骼化模型的步态识别方法。首先,对输入的步态序列自动进行背景初始化;然后分割图像中运动人体的侧面影像,并进一步细化为人体的骨骼化模型;从模型中提取人体的静态参数(如身高、步幅)以及动态参数(如运动过程中关节点的位置、肢体角度);最后,应用标准的模式分类技术对个体的身份做出识别。实验结果表明,此方法通过提取可靠的步态特征,降低了数据处理的代价,而且得到了较为良好的识别性能。     

基于关键帧节点自适应分区与关联的行为识别算法

基于视频的人体行为识别任务中由于大部分画面并不包含重要的判别信息,这对识别应用的准确性造成严重干扰。关键姿态帧既能表达视频又能降低计算量,且骨骼数据相比于图像包含更多维度的信息。因此,提出一种基于关键帧骨骼节点自适应分区与关联的行为识别算法。首先构建自适应池化深度网络以评估帧的重要性获取关键姿态帧序列;其次通过节点自学习模型建立非自然连接状态下的节点间关联;最后将改进的时空信息应用于STGCN并使用softmax分类识别。在开源的大规模数据集NTU-RGB+D和Kinetics上与几种典型技术进行比对,验证了所提方法在减少冗余数据量的同时能保留关键动作信息,且动作识别准确率平均提高了0.63%～11.81%。     

基于改进时空图卷积网络的人员交互行为识别

针对人员交互行为识别存在的多模态数据融合方法导致的识别准确率与模型性能无法同时满足的问题,提出一种基于改进时空图卷积网络的人员交互行为识别方法。将单模态骨架数据引入级联的密集时空图卷积块网络中获得丰富的时空特征信息,提高特征复用率;设计一种增强时空图卷积网络(EST-GCN)单元提高网络对关节点之间的信息表征能力;引入一种运动特征因子衡量肢体不同关节的重要程度,提高模型识别效果。在Kinetics数据集和办案区场景数据集上的实验结果表明,所提出方法在识别效果上具有一定优势,且该方法在模型复杂度及运行效率上具有很好的竞争力。     

基于自适应融合权重的人体行为识别方法

为解决人体行为识别中关节特征不显著、噪声干扰严重等问题,提出一种基于自适应融合权重的人体行为识别方法。为充分利用长时时序信息,需要对长视频进行时域分割,而后设计基于BN-Inception的双流网络结构,分别以RGB图像和骨骼关节点构成的运动特征向量作为空间流和时间流网络的输入,基于熵值法对各片段内单支流网络融合后,根据关节点显著程度赋予各支流以惩罚值,使双流网络自适应调节权重进行融合,输出行为类别。实验结果表明,该方法在人体行为识别中具有可行性和有效性。     

优化YOLO网络的人体异常行为检测方法

鉴于公共场合监测视频信息中周围环境背景信息干扰大以及人体异常行为目标的尺度不同,目前人体异常行为检测的准确性难以进一步提高。针对上述问题,设计了通过改进YOLOv5网络的异常行为检测方法。该方法在原YOLOv5主干网络添加屏蔽卷积注意力模型,该模块从一个屏蔽卷积层开始,感受野的中心区域被遮掩,通过预测屏蔽信息并利用与屏蔽信息相关的误差作为异常得分。在检测网络中嵌入Swin-CA模块。通过对相邻层特征的学习,使得模型能够更好地掌握全局信息,从而减小了背景信息对检测结果的影响,通过提取不同背景中人体异常行为尺度特征,降低了整个模型计算的复杂度,提高了模型对人体异常行为目标定位的精度。在UCSD-ped1、KTH和Shanghai Tech数据集上的实验结果表明,提出方法的检测精度分别达到了98.2%、96.4%和95.8%。     

一种新的运动捕获数据转换方法

传统数据转换方法在计算骨骼关节点旋转信息时,会降低旋转信息的精确度。为此,提出一种新的运动捕获数据转换方法。以树型结构建立人体骨骼模型,根据关节点自身在骨架中的结构关系,通过构造分解法求解关节点的三自由度旋转信息,利用该信息驱动人体骨骼模型。实验结果验证该方法的有效性。     

基于CNN与双向LSTM的行为识别算法

针对传统行为识别依赖手工提取特征,智能化程度不高,识别精度低的问题,提出一种基于3D骨骼数据的卷积神经网络(CNN)与双向长短期记忆网络(Bi-LSTM)的混合模型。使用3D骨骼数据作为网络输入,CNN提取每个时间步的3D输入数据间的空间特征,Bi-LSTM更深层地提取3D数据序列的时间特征。该混合模型自动提取特征完成分类,实现骨骼数据到识别结果的端对端学习。在UTKinect-Action3D标准数据集上,模型的识别率达到97.5%,在自制Kinect数据集上的准确率达到98.6%,实验结果表明,该网络有效提高了分类准确率,具备可用性和有效性。