基于增强特征和注意力机制的视频表情识别

端到端的CNN-LSTM模型利用卷积神经网络(Convolutional Neural Network, CNN)提取图像的空间特征，利用长短期记忆网络LSTM提取视频帧间的时间特征，在视频表情识别中得到了广泛的应用。但在学习视频帧的分层表示时，CNN-LSTM模型复杂度较高，且易发生过拟合。针对这些问题，提出一个高效、低复杂度的视频表情识别模型ECNN-SA (Enhanced Convolutional Neural Network with Self-Attention)。首先，将视频分成若干视频段，采用带增强特征分支的卷积神经网络和全局平均池化层提取视频段中每帧图像的特征向量。其次，利用自注意力(Self-Attention)机制获得特征向量间的相关性，根据相关性构建权值向量，主要关注视频段中的表情变化关键帧，引导分类器给出更准确的分类结果。最终，该模型在CK+和AFEW数据集上的实验结果表明，自注意力模块使得模型主要关注时间序列中表情变化的关键帧，相比于单层和多层的LSTM网络，ECNN-SA模型能更有效地对视频序列的情感信息进行分类识别。