基于一对多关系的多模态虚假新闻检测

面向多模态的虚假新闻检测工作大部分是利用文本和图片之间的一对一关系，将文本特征和图片特征进行简单融合，忽略了帖子内多张图片内容的有效特征，对帖子间的语义关联建模不足。为了克服现有方法的局限性，该文提出了一种基于文图一对多关系的多模态虚假新闻检测模型。利用跨模态注意力网络筛选多张图片的有效特征，通过多模态对比学习网络动态调整帖子间高层次的语义特征关联，增强融合图文特征的联合表示。在新浪微博数据集上的实验结果表明，该模型能充分利用文图一对多关系的有效信息和帖子之间的语义特征关系，比基线模型准确率提升了3.15%。