| 基于注意力与多模态混合融合的谣言检测方法 |
| |
| 引用本文： | 陶霄,朱焱,李春平. 基于注意力与多模态混合融合的谣言检测方法[J]. 计算机工程, 2021, 47(12): 71-77. DOI: 10.19678/j.issn.1000-3428.0059683 |
| |
| 作者姓名： | 陶霄 朱焱 李春平 |
| |
| 作者单位： | 西南交通大学 信息科学与技术学院,成都 611756;清华大学 软件学院,北京 100084 |
| |
| 基金项目： | 四川省科技计划项目（2019YFSY0032）。 |
| |
| 摘 要： | 社交媒体内容结构具有复杂性，大量虚假信息掺杂在真实内容中，或者在真实图片上配以杜撰的文字内容，导致基于单个模态的方法难以有效检测谣言。提出基于注意力机制与Dempster’s组合规则的混合融合方法。通过新增用户模态，提取文本、视觉和用户3个模态的特征向量，利用注意力机制对词语和视觉进行双向匹配，给予对谣言检测具有更多贡献的词语和视觉神经元更大的权值。在前后期融合均加入注意力机制，实现特征和决策的自动加权，并使用Dempster's组合规则实现混合融合。在真实的中文Weibo数据集和外文Twitter数据集上的实验结果表明，该方法准确率分别达到97.44%和92.35%，准确率和F1-score指标均高于基准方法和多模态方法。
|
| 关 键 词： | 谣言检测 多模态融合 注意力机制 混合融合 Dempster’s组合规则 |
| 收稿时间： | 2020-10-10 |
| 修稿时间： | 2020-12-01 |
Rumor Detection Method Based on Attention and Multi-Modal Hybrid Fusion |
| |
| TAO Xiao,ZHU Yan,LI Chunping. Rumor Detection Method Based on Attention and Multi-Modal Hybrid Fusion[J]. Computer Engineering, 2021, 47(12): 71-77. DOI: 10.19678/j.issn.1000-3428.0059683 |
| |
| Authors: | TAO Xiao ZHU Yan LI Chunping |
| |
| Affiliation: | 1. School of Information Science and Technology, Southwest Jiaotong University, Chengdu 611756, China;2. School of Software, Tsinghua University, Beijing 100084, China |
| |
| Abstract: | |
| |
| Keywords: | rumor detection multi-modal fusion attention mechanism hybrid fusion Dempster's combination rule |
| 本文献已被 万方数据 等数据库收录！ |
| 点击此处可从《计算机工程》浏览原始摘要信息 |
|
点击此处可从《计算机工程》下载全文 |
