基于全局时空注意力机制和PCA_3DNet的动作识别方法 |
| |
引用本文: | 田秋红,张元奎,潘豪,李赛伟,施之翔.基于全局时空注意力机制和PCA_3DNet的动作识别方法[J].浙江理工大学学报,2023(3):310-317. |
| |
作者姓名: | 田秋红 张元奎 潘豪 李赛伟 施之翔 |
| |
作者单位: | 浙江理工大学计算机科学与技术学院 |
| |
基金项目: | 国家自然科学基金项目(51405448);;浙江省自然科学基金项目(LY20E050017); |
| |
摘 要: | 针对基于3D卷积神经网络的动作识别方法存在参数量过大、无法捕捉时空特征的全局依赖关系等问题,提出了一种基于全局时空注意力机制(Global spatiotemporal attention mechanism, GSTAM)和PCA_3DNet的动作识别方法。该方法引入伪3D卷积结构减少网络参数,在伪3D卷积结构中嵌入通道注意力机制(Channel attention mechanism, CAM)来增强通道特征,并采用全局时空注意力机制来捕捉特征信息的全局依赖关系,加强时空特征的表征能力,从而提高动作识别的准确率。该方法在两个公开数据集UCF101和HMDB51上的识别准确率分别为93.5%和70.5%,模型参数量为13.46 Mi,浮点运算量为8.73 Gi;在准确率、参数量和计算量上的综合表现优于现有的传统方法和深度学习方法。实验结果表明该方法能够获取丰富的时空特征信息,有效提升动作识别的性能。
|
关 键 词: | 全局时空注意力机制 PCA_3DNet 通道注意力机制 时空特征 动作识别 |
|
|