多模态混合注意力机制的虚假新闻检测研究

探索高效的模态表示和多模态信息交互方法一直是多模态虚假新闻检测领域的热门话题，提出了一项新的虚假新闻检测技术（MAM）。MAM方法使用结合位置编码的自注意力机制和预训练的卷积神经网络分别提取文本和图像特征；引入混合注意力机制模块进行文本与图像特征交互，该模块使用了层级特征处理方法来减少多模态交互时产生的冗余信息，又使用了双向的特征融合手段保证训练信息的完整性；加权融合多模态特征并将其输入全连接网络中进行真假新闻分类。对比实验结果表明：相比现有的多模态基准模型，该方法几乎在各个分类指标上都提高3个百分点左右，此外，可视化实验发现混合注意力机制获得的多模态特征具有更强的泛化能力。