Local-STCANet:基于局部注意力网络的视频动作识别

通道、空间和时间信息是视频动作识别的3种互补且关键的信息类型。现有的2D CNN方法计算成本低，但对于时空信息的捕获相对不足；3D CNN方法可以实现良好的性能，但计算量较大。针对上述问题，提出一个可以嵌入到2D CNN中通用且有效的局部时空通道注意力(Local-STCA)模块来进行人体动作识别。Local-STCA模块由局部通道注意力(LCA)和局部时空注意力(LSTA)组成，LCA在时序上利用对通道之间的相关性进行显示的建模来校准通道特征，LSTA采用两个单通道3D卷积层和混合空洞卷积来提取多尺度时空特征。由主干网络(ResNet50+BiLSTM)和Local-STCA模块组成局部注意力网络(Local-STCANet),在数据集UCF-101上进行大量的实验。实验结果表明，Local-STCANet在主干网上略微增加计算量的同时比其他2D CNN方法以及注意力模型具有更高的精度。