Local-STCANet:基于局部注意力网络的视频动作识别 |
| |
作者姓名: | 何旭琴 胡荣林 付浩志 马鸿泰 |
| |
作者单位: | 淮阴工学院计算机与软件工程学院,江苏淮安 223001 |
| |
摘 要: | 通道、空间和时间信息是视频动作识别的3种互补且关键的信息类型。现有的2D CNN方法计算成本低,但对于时空信息的捕获相对不足;3D CNN方法可以实现良好的性能,但计算量较大。针对上述问题,提出一个可以嵌入到2D CNN中通用且有效的局部时空通道注意力(Local-STCA)模块来进行人体动作识别。Local-STCA模块由局部通道注意力(LCA)和局部时空注意力(LSTA)组成,LCA在时序上利用对通道之间的相关性进行显示的建模来校准通道特征,LSTA采用两个单通道3D卷积层和混合空洞卷积来提取多尺度时空特征。由主干网络(ResNet50+BiLSTM)和Local-STCA模块组成局部注意力网络(Local-STCANet),在数据集UCF-101上进行大量的实验。实验结果表明,Local-STCANet在主干网上略微增加计算量的同时比其他2D CNN方法以及注意力模型具有更高的精度。
|
关 键 词: | 动作识别 注意力机制 BiLSTM 混合空洞卷积 |
本文献已被 万方数据 等数据库收录! |
|