基于多模态融合的开放空间个体情绪识别

开放空间中的情绪识别，能极大地提高人机交互能力、监测个体在开放空间中的情绪波动进而分析心理障碍或发育障碍等，从而促进个体发展、人际社交和社会发展。将面部表情识别转化为多模态情绪识别，能很好地促进开放空间中的识别效果。针对开放空间中图像分辨率较低、情绪识别精度难以提升的问题，提出了一种融合面部表情、骨架数据及身体全局特征的开放空间下的个体情绪识别方法。首先通过嵌入深度注意力中心损失（DACL）模块的分散注意力网络（DAN）、时空图卷积网络（ST-GCN）、卷积三维（C3D）网络分别提取面部表情信息、骨架姿态信息以及身体全局信息；然后基于预训练的前提，在决策层进行可变权重的信息融合，最终实现个体情绪的有效识别。在开放空间个体情绪数据集SCU-FABE上进行实验。实验结果表明，各通道有效提取了各模态的特征信息，均具有一定的情绪识别能力；在有效融合3个模态的信息后，情绪识别准确率为98.790%，与双流融合方法相比，所提方法的识别准确率提高了3.024个百分点；对开放空间下的个体情绪识别有良好的鲁棒性。