多模型融合动作识别研究

提出了一种多模型结融合的动作识别方法,目的是利用大数据时代下数据形态的多样性并结合已有模型,以提高识别准确率。该方法使用视频或图像序列与骨架序列对整个模型进行训练。对于骨架序列提取其关键帧,然后使用长短时记忆（LSTM）编码器对骨架序列进行特征提取得到骨架特征。接着使用卷积神经网络得到RGB视频或者图像序列的特征,进一步经过循环神经网络提取特征,得到RGB特征。网络的损失函数方程组由分类误差与上述两种特征的L2范数组成。使用混合最速下降进行网络优化。该方法使用关键帧训练LSTM编码器,大大缩短了训练时间。结合手工提取的关键帧与非监督方式获取的卷积特征,提高识别准确率。在Florence和MSR3D数据集上的实验结果表明,该方法对动作识别具有良好的分类效果。