基于模态信息交互的多模态情感分析

基于全局语义交互的粗粒度注意力机制不能有效利用各模态间的语义关联提取到模态信息中的关键部分,从而影响分类结果。针对这个问题提出了一个模态信息交互模型MII(modal information interaction),通过细粒度注意力机制提取模态的局部语义关联特征并用于情感分类。首先,模态内信息交互模块用于构建模态内的联系并生成模态内交互特征,随后模态间信息交互模块利用图像(文本)的模态内交互特征生成门控向量来关注文本(图像)中相关联的部分,从而得到模态间的交互特征。考虑到特征中存在的冗余信息,模型加入了自适应特征融合模块,从全局特征层面对特征进行选择,增强了包含情感信息的关键特征的表达能力,弱化了冗余信息对分类结果的影响。在MVSA-Single和MVSA-Multi两个公开数据集上的实验结果表明,该模型优于一系列基线模型。