基于多模态的图文情感分析

因特网飞速发展的今天，人们更倾向于将文字与图片相结合来发表自己的评论，而单一模态的情感分析精度较低，本文提出BiGRU-ResNet图文多模态情感分析模型，用于情感分类任务。首先，利用BERT将文本嵌入到词向量中；其次，通过BiGRU并引入注意力层对上游任务的词向量进行特征提取，图像的特征提取由ResNet来完成并保留更为有效的信息；最后，文本模态和图像模态使用注意力机制和张量运算来达到增益的目的，再将融合特征输入至分类器中，得到评论的情感分类。通过实验分析与对比表明，发现多模态模型相较于单模态模型可以提高情感分类任务的精确度。