基于关节点数据关注RGB视频的双人交互行为识别

基于RGB视频与关节点数据结合的双人交互行为识别具有广阔的应用前景。针对RGB视频与关节点数据两种异构特征不能较好融合的问题，提出一种利用关节点数据关注RGB视频的双人交互行为识别方法。利用关节点数据分析得到主要运动部位并关注RGB运动特征，以此来融合RGB视频提供的全局外观信息和由关节点数据分析得出的局部运动信息，并进行有效的表征，解决以往双人交互行为特征中统一对待所有信息而忽略主要运动信息的问题，提高异构特征融合的合理性，并利用卷积神经网络提取深层特征进行双人交互行为识别。在国际标准的NTU RGB+D数据库下进行测试，结果表明：该算法提高了相似动作的识别准确率，证明了本算法的可行性。