多区域融合轻量级人脸表情识别网络

由于人脸表情特有的微妙性和复杂性，对全局面部进行研究时无法突出表情特性。为了增强表情识别在自然环境下的鲁棒性并且优化模型参数，提出一种基于多区域融合的轻量级人脸表情识别方法，融合局部细节特征和全局整体特征，实现粗细粒度结合，增强模型对表情细微变化的判别能力。首先，通过一个分支从人脸子区域提取局部特征，以眼部和嘴部作为细节区域输入，描述面部细节。其次，通过另一个分支从人脸全局自适应地获取面部整体特征，以关键点生成掩模，辅助调节面部注意力图。注意力图作用于全局特征，突出未遮挡部位权重，描述整体高级语义信息。并且，采用剪枝算法对整体模型进行轻量级优化，使用更少的运行内存和计算操作，得到更紧凑的网络。最后，在公开数据集RAF-DB和AffectNet上，所提方法对表情的识别精度分别达85.39%和58.81%。实验结果表明：所提方法的识别精度高于其他先进方法，并显著减少了参数量，有效性和先进性得到证明。