基于关键帧的轻量化行为识别方法研究

针对目前双流卷积神经网络通常使用堆叠RGB帧和光流图分别提取视频的表观信息和运动信息,存在信息冗余和计算复杂度高的问题,基于时域分割网络提出了一种结合光流图、差分图像和并行卷积神经网络的行为识别算法。首先通过分析行为视频中存在的运动模糊现象,设计了一种基于图像特征量的关键帧选取算法,同时构建了一个包含表观信息流和运动信息流的改进时域分割网络,将关键帧RGB图像、非关键帧光流图像和差分图像并行地输入特征提取网络计算分类得分,最后将关键帧与非关键帧的行为类别得分进行平均融合后输入SoftMax层得到视频类别概率。为进一步降低算法的参数量和计算复杂度,设计了一种轻量化卷积神经网络作为特征提取网络。本文算法在UCF101数据集的识别准确率为94.7%,在HMDB51数据集的识别准确率为69.3%,推理速度相比于时域分割网络快了45.3%。实验结果表明,该算法能够高效利用视频的表观信息和运动信息,且具有较高的行为识别准确率。