语义增强的多模态虚假新闻检测

近年来社交媒体逐渐成为人们获取新闻信息的主要渠道,但其在给人们带来方便的同时也促进了虚假新闻的传播.在社交媒体的富媒体化趋势下,虚假新闻逐渐由单一的文本形式向多模态形式转变,因此多模态虚假新闻检测正在受到越来越多的关注.现有的多模态虚假新闻检测方法大多依赖于和数据集高度相关的表现层面特征,对新闻的语义层面特征建模不足,难以理解文本和视觉实体的深层语义,在新数据上的泛化能力受限.提出了一种语义增强的多模态虚假新闻检测方法,通过利用预训练语言模型中隐含的事实知识以及显式的视觉实体提取,更好地理解多模态新闻的深层语义.提取不同语义层次的视觉特征,在此基础上采用文本引导的注意力机制建模图文之间的语义交互,从而更好地融合多模态异构特征.在基于微博新闻的真实数据集上的实验结果表明:该方法能够有效提高多模态虚假新闻检测的性能.     

多模态混合注意力机制的虚假新闻检测研究

探索高效的模态表示和多模态信息交互方法一直是多模态虚假新闻检测领域的热门话题,提出了一项新的虚假新闻检测技术（MAM）。MAM方法使用结合位置编码的自注意力机制和预训练的卷积神经网络分别提取文本和图像特征;引入混合注意力机制模块进行文本与图像特征交互,该模块使用了层级特征处理方法来减少多模态交互时产生的冗余信息,又使用了双向的特征融合手段保证训练信息的完整性;加权融合多模态特征并将其输入全连接网络中进行真假新闻分类。对比实验结果表明：相比现有的多模态基准模型,该方法几乎在各个分类指标上都提高3个百分点左右,此外,可视化实验发现混合注意力机制获得的多模态特征具有更强的泛化能力。     

结合社交网络图的多模态虚假信息检测模型

针对现有虚假信息检测方法主要基于单模态数据分析,检测时忽视了信息之间相关性的问题,提出了结合社交网络图的多模态虚假信息检测模型。该模型使用预训练Transformer模型和图像描述模型分别从多角度提取各模态数据的语义,并通过融合信息传播过程中的社交网络图,在文本和图像模态中加入传播信息的特征,最后使用跨模态注意力机制分配各模态信息权重以进行虚假信息检测。在推特和微博两个真实数据集上进行对比实验,所提模型的虚假信息检测准确率稳定为约88%,高于EANN、PTCA等现有基线模型。实验结果表明所提模型能够有效融合多模态信息,从而提高虚假信息检测的准确率。     

基于矩阵分解双线性池化的多模态融合虚假新闻检测

现有的大多数虚假新闻检测方法将视觉和文本特征串联拼接,导致模态信息冗余并且忽略了不同模态信息之间的相关性。为了解决上述问题,提出一种基于矩阵分解双线性池化的多模态融合虚假新闻检测算法。首先,该算法将多模态特征提取器捕捉的文本和视觉特征利用矩阵分解双线性池化方法进行有效融合,然后与虚假新闻检测器合作鉴别虚假新闻;此外,在训练阶段加入了事件分类器来预测事件标签并去除事件相关的依赖。在Twitter和微博两个多模态谣言数据集上进行了对比实验,证明了该算法的有效性。实验结果表明提出的模型能够有效地融合多模态数据,缩小模态间的异质性差异,从而提高虚假新闻检测的准确性。     

基于多视图表征的虚假新闻检测

社交网络已经成为人们日常生活中获取和分享信息的主要渠道,同时也为虚假新闻的传播提供了捷径。如今,针对网络虚假新闻的检测问题受到学术界的广泛关注,但目前的检测方法缺乏基于新闻多个视角的深度探索或忽视了新闻中不同信息传播方向不同的问题,有待改进。文章提出一种基于新闻内容、用户信息和新闻传播3种视角的多视图表征和检测的模型MVRFD(Multi-View Representations for Fake News Detection),为虚假新闻检测任务提供更全面的视角。首先,利用协同注意力机制表征新闻内容中的多模态信息,使用具有不同方向的图神经网络聚合新闻传播过程中的用户信息和观点信息;然后,利用双协同注意力机制实现多个视角间的信息交互;最后,将新闻内容特征和新闻上下文特征进行融合。在公开数据集上的实验结果表明,文章所提出的模型实现了96.7%的准确率和96.8%的F1值,优于主流的文本处理模型以及基于单视角的检测模型。     

基于多模态深度融合的虚假信息检测

针对虚假信息检测中图片特征提取不充分,以及忽视了单模内关系以及单模与多模之间交互作用的问题,提出一种基于文本和图片信息的多模态深度融合(MMDF)模型.首先,用双向门控循环单元(Bi-GRU)提取文本的丰富语义特征,用多分支卷积?循环神经网络(CNN-RNN)提取图片的多层次特征;然后,建立模间和模内的注意力机制以捕获...     

双分支线索深度感知与自适应协同优化的多模态虚假新闻检测

深度学习方法促使多模态虚假新闻检测领域快速发展,现有的检测模型通常从全局角度学习新闻图文间的跨模态语义关联,并利用共享语义内容获取检测的关键信息.然而,新闻内部的局部语义差异可能会限制模型有效利用跨模态语义关联的能力,其中潜在的非共享语义内容作为重要线索能够有效揭示虚假新闻的篡改意图和目的.为了解决上述问题,本文提出了一种双分支线索深度感知与自适应协同优化的多模态虚假新闻检测模型.该模型首先从图像显著区域和文本语义单词中提取细粒度的新闻特征,并使用跨模态加权残差网络从中学习共享语义线索.同时,根据所有图像区域和文本单词之间的语义相关性,双分支图文线索感知模块显式地建模共享与非共享语义内容的语义关联.其中,线索关联优化分支对两类语义内容的关联边界持续迭代优化,促使模型准确区分非共享语义线索;线索关联分析分支刻画两类语义内容的可信程度,并在此基础上引导模型实现线索的自主融合.通过上述自适应协同优化框架,本文提出的模型能够在复杂新闻语境下进行线索的深度感知与融合,实现更准确、更可解释的多模态虚假新闻检测.在广泛使用的中英文真实数据集上的实验结果表明,本文提出的模型明显优于基线方法,在准确率和...     

基于多模态注意力机制的跨模态哈希网络

深度跨模态哈希算法（deep cross-modal Hash,DCMH）可以结合哈希算法存储成本低、检索速度快的优点,以及深度神经网络提取特征的强大能力,得到了越来越多的关注。它可以有效地将模态的特征和哈希表示学习集成到端到端框架中。然而在现有的DCMH方法的特征提取中,基于全局表示对齐的方法无法准确定位图像和文本中有语义意义的部分,导致在保证检索速度的同时无法保证检索的精确度。针对上述问题,提出了一种基于多模态注意力机制的跨模态哈希网络（HX＿MAN）,将注意力机制引入到DCMH方法中来提取不同模态的关键信息。利用深度学习来提取图像和文本模态的全局上下文特征,并且设计了一种多模态交互门来将图像和文本模态进行细粒度的交互,引入多模态注意力机制来更精确地捕捉不同模态内的局部特征信息,将带有注意的特征输入哈希模块以获得二进制的哈希码;在实行检索时,将任一模态的数据输入训练模块中来获得哈希码,计算该哈希码与检索库中哈希码的汉明距离,最终根据汉明距离按顺序输出另一种模态的数据结果。实验结果表明：HX＿MAN模型与当前现有的DCMH方法相比更具有良好的检索性能,在保证检索速度的同时,能够更准确...     

基于多模双线性池化方法的虚假新闻检测模型

社交媒体的兴起促进了新闻行业的发展,使虚假新闻的传播也变得更为便利,然而多样化的新闻表现形式带来了很多负面影响,比如新闻内容夸大事实、恶意篡改新闻文本或图像内容、构造虚假新闻事实引起社会舆论,这促使了虚假新闻检测工作成为新闻领域新的挑战。为了应对虚假新闻检测工作的研究,将新闻文本与图像信息结合起来,通过多模双线性池化方法,改变传统特征融合方法,构建出基于新特征融合方法的虚假新闻检测模型,并且采用虚假新闻检测领域标准数据集验证模型的性能,实验结果表明,文本与图像的融合特征表现在虚假新闻检测领域不可替代,且所提方法能够有效提升虚假新闻检测性能。     

基于注意力机制的多模态融合谣言检测方法

谣言会对社会生活造成不利影响,同时具有多种模态的网络谣言比纯文字谣言更容易误导用户和传播,这使得对多模态的谣言检测不可忽视。目前关于多模态谣言检测方法没有关注词与图片区域对象之间的特征融合,因此提出了一种基于注意力机制的多模态融合网络AMFNN应用于谣言检测,该方法在词-视觉对象层面进行高级信息交互,利用注意力机制捕捉与关键词语相关的视觉特征;提出了基于自注意力机制的自适应注意力机制Adapive-SA,通过增加辅助条件来约束内部的信息流动,使得模态内的关系建模更有目标性和多样性。在两个多模态谣言检测数据集上进行了对比实验,结果表明,与目前相关的多模态谣言检测方法相比,AMFNN能够合理地处理多模态信息,从而提高了谣言检测的准确性。     

语义增强的多模态虚假新闻检测

随着生成式人工智能技术的发展,许多领域都得到了帮助与发展,但与此同时虚假信息的构建与传播变得更加简单,虚假信息的检测也随之难度增加. 先前的工作主要聚焦于语法问题、内容煽动性等方面的特点,利用深度学习模型对虚假新闻内容进行建模. 这样的方式不仅缺乏对内容本身的判断,还无法回溯模型的判别原因. 针对上述问题提出一种基于大语言模型隐含语义增强的细粒度虚假新闻检测方法. 该方法充分挖掘并利用了现有的生成式大语言模型所具有的总结与推理能力,按照主干事件、细粒度次要事件和隐含信息推理的顺序进行层级式推导,逐步判别新闻的真实性. 通过分解任务的方式,该方法最大程度发挥了模型的能力,提高了对虚假新闻的捕获能力,同时该方法也具有一定的可解释性,能够为检测提供判别依据.

     

基于对比学习和GIF标记的多模态对话回复检索

社交媒体网站上使用GIF(Graphics Interchange Format)作为消息的回复相当普遍。但目前大多方法针对问题“如何选择一个合适的GIF回复消息”,没有很好地利用社交媒体上的GIF附属标记信息。为此,提出基于对比学习和GIF标记的多模态对话回复检索（CoTa-MMD）方法,将标记信息整合到检索过程中。具体来说就是使用标记作为中间变量,文本→GIF的检索就被转换为文本→GIF标记→GIF的检索,采用对比学习算法学习模态表示,并利用全概率公式计算检索概率。与直接的文本图像检索相比,引入的过渡标记降低了不同模态的异质性导致的检索难度。实验结果表明,CoTa-MMD模型相较于深度监督的跨模态检索（DSCMR）模型,在PEPE-56多模态对话数据集和Taiwan多模态对话数据集上文本图像检索任务的召回率之和分别提升了0.33个百分点和4.21个百分点。     

基于YOLO的多模态加权融合行人检测算法

在夜间光照不足、目标被遮挡导致信息缺失以及行人目标多尺度的情况下,可见光单模态行人检测算法的检测效果较差.为了提高行人检测器的鲁棒性,基于YOLO提出一种可见光与红外光融合的行人检测算法.使用Darknet53作为特征提取网络,分别提取2个模态的多尺度特征.对传统多模态行人检测算法所使用的concat融合方式进行改进,...     

基于双流网络的多模态多标签漫画情感检测方法

近年来,社交媒体常会以漫画的形式隐喻社会现象并倾述情感,为了解决漫画场景下多模态多标签情感识别存在的标签歧义问题,文中提出基于双流结构的多模态多标签漫画情感检测方法.使用余弦相似度对比模态间信息,并结合自注意力机制,交叉融合图像特征和文本特征.该方法主干为双流结构,使用Transformer模型作为图像的主干网络提取图像特征,利用Roberta预训练模型作为文本的主干网络提取文本特征.基于余弦相似度结合多头自注意力机制(COS-MHSA)提取图像的高层特征,最后融合高层特征和COS-MHSA多模态特征.在EmoRecCom漫画数据集上的实验验证文中方法的有效性,并给出方法对于情感检测的可视化结果.     

基于跨模态门控机制和改进融合方法的多模态情感分析

如何有效挖掘单模态表征并实现多模态信息的充分融合是多模态情感分析研究的重点之一。针对多模态情感分析中的模态间噪声和多模态特征融合不充分等问题,提出一种基于跨模态门控机制和改进融合方法的多模态情感分析模型。首先,利用跨模态门控机制去除模态间噪声,提取互补信息以增强模态表示。然后,利用权重和相似约束分别关注不同模态情感贡献的差异性和情感表达的一致性。最后,结合模态的多层次表示获得情感分析的结果。在三个公开数据集上的实验结果表明,所提模型是有效的,相比已有一些模型取得了更好的性能。     

多层CNN特征融合及多分类器混合预测的多模态虚假信息检测

针对现有的多模态虚假信息检测方法很少对多模态特征在特征层面进行融合,同时忽略了多模态特征后期融合作用的问题,提出了一种基于CNN多模态特征融合及多分类器混合预测的虚假信息检测模型。首次将多层CNN应用于多模态特征融合,模型首先用BERT和Swin-transformer提取文本和图像特征;随后通过多层CNN对多模态特征在特征层面进行融合,通过简单拼接对多模态特征在句子层面进行融合;最后将2种融合特征输入到不同的分类器中得到2个概率分布,并将2个概率分布按比例进行相加得到最终预测结果。该模型与基于注意力的多模态分解双线性模型(AMFB)相比,在Weibo数据集和Twitter数据集上的准确率分别提升了6.1%和4.3%。实验结果表明,所提模型能够有效提高虚假信息检测的准确率。     

基于图卷积神经网络的虚假新闻检测

当前检测虚假新闻的方法往往依赖于人工设计的特征,并且需要提供大量如用户信息、传播路径等不宜获取的隐私信息,使得模型泛化性较差。针对上述问题,提出一种基于图卷积网络（GCN）和预训练ALBERT(A-LiteBidirectional Encoder Representations from Transformers)构建的新闻检测模型GCN-ALBERT。首先,利用GCN捕获文本全局信息,提取新闻文本的全局语义信息;其次,利用自注意力机制融合ALBERT生成的局部信息与全局信息;最后,建立包含局部信息和全局信息的分类表示,从而实现虚假新闻检测。实验结果表明,所提模型在两个真实的英文数据集上与预训练语言模型BERT(Bidirectional Encoder Representations from Transformers)相比,宏F1值分别提高了3.0%和4.2%。所提模型能够有效融合新闻文本的全局信息和局部信息,准确率更高。     

基于对抗图增强对比学习的虚假新闻检测

随着互联网的快速发展,社交媒体成为了新闻发布和传播的主要平台,如何准确识别虚假新闻已成为研究热点。现有的基于深度学习的虚假新闻检测方法在面对噪声和敌对信息时缺乏鲁棒性。为了应对这一挑战,该文提出了一种对抗图增强对比学习的方法,该方法引入对抗对比学习,使模型抓住少量但充分的信息完成增强图与原始图之间的互信息最大化,在进行训练时重点捕捉有用信息。同时,该模型还利用了特征增强器和图表示对比学习进行图表示增强,加强特征学习。在两个公共数据集上进行的实验表明,该模型在现有基线上达到了最优的性能。     

基于注意力机制的多模态幽默识别

近年来,幽默识别逐渐成为自然语言处理领域的热点研究之一。已有的研究多聚焦于文本上的幽默识别,在多模态数据上开展此任务的研究相对较少,现有方法在学习模态间交互信息上存在不足。该文提出了基于注意力机制的模态融合模型,首先对单模态上下文进行独立编码,得到单一模态的特征向量;然后将注意力机制作用于两种模态的特征序列,使用层级注意力结构捕获多模态信息在段落上下文中的关联与交互。该文在UR-FUNNY公开数据集上进行了实验,相比之前最优结果在精确率上提升了1.37%。实验表明,该文提出的模型能很好地对多模态上下文进行建模,引入多模态交互信息和段落上下文信息可提高幽默识别的性能。     

基于多模态信息融合的新闻独白镜头检测

新闻视频中的独白镜头具有较大的信息量,在视频检索和挖掘中具有较高的应用价值。提出了一种融合音频、视频、时域以及上下文信息等多模态特征进行独白场景检测的方法。首先利用规则移除广告和“其他”镜头,然后应用聚类的方法检测主持人镜头,最后应用条件随机场（CRFs）模型标记独白和记者镜头。该方法无需额外的信息,具有较好的普适性,实验取得了较好的性能。