基于PointNet和长短时记忆网络的三维人体动作预测

人体动作预测是计算机视觉和图形学领域的重要任务。现有的方法主要基于人体骨架和视频图像表示,相较于骨架和视频表示,三维几何数据表示人体动作更加直观和形象化。为此提出了一种基于PointNet和长短期记忆(LSTM)网络的三维点云表示的人体动作预测方法。首先,使用改进的PointNet对人体动作序列中的每帧三维点云进行特征提取;其次,通过LSTM学习动作序列的时间信息融合动作序列的时空特征;最后,将时空特征通过全连接神经网络(FC)进行动作预测;此外,还构造了三维点云表示的人体动作序列数据集。实验结果表明,所提方法在预测下一帧三维人体点云坐标时的平均损失值低于10^-3。     

三角形网格序列表示的人体动作识别

鉴于现有的人体动作识别研究工作主要是基于骨架和视频表示的,提出三角形网格序列表示的人体动作分类方法.首先,选用三角形网格序列中的首帧模型作为模板,利用形状差异算子计算序列的后续帧相对于模板模型的差异,并表示为形状差异信息张量;然后,将形状差异信息张量输入由二维卷积网络与长短期记忆网络组合而成的深度网络中,提取时序动作特征,实现人体动作分类.实验结果表明,该方法在人体动作数据集AMASS上的分类准确率达到了100.00%.