多模态特征融合的中文谣言检测

相较于纯文本的网络谣言，图文并茂的网络谣言形式更容易取得信任，同时也增加了谣言检测的难度。针对此类谣言形式，提出了一种融合多模态特征的中文谣言检测方法。首先，通过深度学习模型分别提取待检测信息中的文本词特征、文本的句子特征、文本的情感倾向特征、图像视觉特征和视觉特征语义向量;然后，通过注意力机制融合文本的词特征和视觉特征语义向量得到语义一致性特征;最后，将文本的句子特征、文本的情感倾向特征、图像视觉特征和语义一致性特征拼接起来得到多模态特征用于谣言检测。实验结果表明，本文提出的方法在微博多模态数据集上的准确率和F1值分别达到了89.9%和89.8%，提高了谣言检测的效果。