基于Transformer时间特征聚合的步态识别模型

步态识别是最有前途的基于视频生物识别技术之一。目前,大多数步态识别方法更着重于提升神经网络提取空间特征的能力,而忽视在时间维度上特征的聚合。针对步态识别中缺乏时间维度特征提取能力的问题,提出了一种基于Transformer时间特征聚合的步态识别模型。首先,步态剪影序列通过卷积神经网络提取特征,与位置编码结合;然后,在时间维度上使用Transformer编码器聚合时间特征;最后,连接线性分类层实现步态识别。在最流行的步态识别数据集CASIA-B上进行实验,所提模型比GaitSet模型识别准确度在NM#5-6上提升了3.4个百分点,BG#1-2上提升了1.5个百分点,CL#1-2上提升了11.6个百分点。实验结果表明,Transformer提升了网络对时间维度特征的聚合能力,并且降低了模型对外套和携带物的敏感性。     

基于循环神经网络的人体运动模型的隐状态初始化方法

针对基于循环神经网络（RNN）的人体运动合成方法存在首帧跳变,进而影响生成运动的质量的问题,提出一种带有隐状态初始化的人体运动合成方法,将初始隐状态作为自变量,利用神经网络的目标函数作为优化目标,并使用梯度下降的方法进行优化求解,以得到一个合适的初始隐状态。相较于编码器-循环-解码器（ERD）、残差门控循环单元（RGRU）模型,所提方法在首帧的预测误差分别减小63.51%和6.90%,10帧的总误差分别减小50.00%和4.89%。实验结果表明,该方法无论是运动合成质量还是运动预测精度都优于不进行初始隐状态估计的方法;它通过准确估计基于RNN的人体运动模型的首帧隐状态可提升运动合成的质量,并且为实时安全监测中的动作识别模型提供可靠的数据支持。     

融合时序特征约束与联合优化的 点云3维人体姿态序列估计

目的 3维人体姿态估计传统方法通常采用单帧点云作为输入,可能会忽略人体运动平滑度的固有先验知识,导致产生抖动伪影。目前,获取2维人体姿态标注的真实图像数据集相对容易,而采集大规模的具有高质量3维人体姿态标注的真实图像数据集进行完全监督训练有一定难度。对此,本文提出了一种新的点云序列3维人体姿态估计方法。方法 首先从深度图像序列估计姿态相关点云,然后利用时序信息构建神经网络,对姿态相关点云序列的时空特征进行编码。选用弱监督深度学习,以利用大量的更容易获得的带2维人体姿态标注的数据集。最后采用多任务网络对人体姿态估计和人体运动预测进行联合训练,提高优化效果。结果 在两个数据集上对本文算法进行评估。在ITOP(invariant-top view dataset)数据集上,本文方法的平均精度均值(mean average precision,mAP)比对比方法分别高0.99%、13.18%和17.96%。在NTU-RGBD数据集上,本文方法的mAP值比最先进的WSM(weakly supervised adversarial learning methods)方法高7.03%。同时,在ITOP数据集上对模型进行消融实验,验证了算法各个不同组成部分的有效性。与单任务模型训练相比,多任务网络联合进行人体姿态估计和运动预测的mAP可以提高2%以上。结论 本文提出的点云序列3维人体姿态估计方法能充分利用人体运动连续性的先验知识,获得更平滑的人体姿态估计结果,在ITOP和NTU-RGBD数据集上都能获得很好的效果。采用多任务网络联合优化策略,人体姿态估计和运动预测两个任务联合优化求解,有互相促进的作用。