基于矩阵分解双线性池化的多模态融合虚假新闻检测

现有的大多数虚假新闻检测方法将视觉和文本特征串联拼接,导致模态信息冗余并且忽略了不同模态信息之间的相关性。为了解决上述问题,提出一种基于矩阵分解双线性池化的多模态融合虚假新闻检测算法。首先,该算法将多模态特征提取器捕捉的文本和视觉特征利用矩阵分解双线性池化方法进行有效融合,然后与虚假新闻检测器合作鉴别虚假新闻;此外,在训练阶段加入了事件分类器来预测事件标签并去除事件相关的依赖。在Twitter和微博两个多模态谣言数据集上进行了对比实验,证明了该算法的有效性。实验结果表明提出的模型能够有效地融合多模态数据,缩小模态间的异质性差异,从而提高虚假新闻检测的准确性。     

语义增强的多模态虚假新闻检测

近年来社交媒体逐渐成为人们获取新闻信息的主要渠道,但其在给人们带来方便的同时也促进了虚假新闻的传播.在社交媒体的富媒体化趋势下,虚假新闻逐渐由单一的文本形式向多模态形式转变,因此多模态虚假新闻检测正在受到越来越多的关注.现有的多模态虚假新闻检测方法大多依赖于和数据集高度相关的表现层面特征,对新闻的语义层面特征建模不足,难以理解文本和视觉实体的深层语义,在新数据上的泛化能力受限.提出了一种语义增强的多模态虚假新闻检测方法,通过利用预训练语言模型中隐含的事实知识以及显式的视觉实体提取,更好地理解多模态新闻的深层语义.提取不同语义层次的视觉特征,在此基础上采用文本引导的注意力机制建模图文之间的语义交互,从而更好地融合多模态异构特征.在基于微博新闻的真实数据集上的实验结果表明:该方法能够有效提高多模态虚假新闻检测的性能.     

多模态混合注意力机制的虚假新闻检测研究

探索高效的模态表示和多模态信息交互方法一直是多模态虚假新闻检测领域的热门话题,提出了一项新的虚假新闻检测技术（MAM）。MAM方法使用结合位置编码的自注意力机制和预训练的卷积神经网络分别提取文本和图像特征;引入混合注意力机制模块进行文本与图像特征交互,该模块使用了层级特征处理方法来减少多模态交互时产生的冗余信息,又使用了双向的特征融合手段保证训练信息的完整性;加权融合多模态特征并将其输入全连接网络中进行真假新闻分类。对比实验结果表明：相比现有的多模态基准模型,该方法几乎在各个分类指标上都提高3个百分点左右,此外,可视化实验发现混合注意力机制获得的多模态特征具有更强的泛化能力。     

基于一对多关系的多模态虚假新闻检测

面向多模态的虚假新闻检测工作大部分是利用文本和图片之间的一对一关系,将文本特征和图片特征进行简单融合,忽略了帖子内多张图片内容的有效特征,对帖子间的语义关联建模不足。为了克服现有方法的局限性,该文提出了一种基于文图一对多关系的多模态虚假新闻检测模型。利用跨模态注意力网络筛选多张图片的有效特征,通过多模态对比学习网络动态调整帖子间高层次的语义特征关联,增强融合图文特征的联合表示。在新浪微博数据集上的实验结果表明,该模型能充分利用文图一对多关系的有效信息和帖子之间的语义特征关系,比基线模型准确率提升了3.15%。     

结合社交网络图的多模态虚假信息检测模型

针对现有虚假信息检测方法主要基于单模态数据分析,检测时忽视了信息之间相关性的问题,提出了结合社交网络图的多模态虚假信息检测模型。该模型使用预训练Transformer模型和图像描述模型分别从多角度提取各模态数据的语义,并通过融合信息传播过程中的社交网络图,在文本和图像模态中加入传播信息的特征,最后使用跨模态注意力机制分配各模态信息权重以进行虚假信息检测。在推特和微博两个真实数据集上进行对比实验,所提模型的虚假信息检测准确率稳定为约88%,高于EANN、PTCA等现有基线模型。实验结果表明所提模型能够有效融合多模态信息,从而提高虚假信息检测的准确率。     

基于双线性池化的实蝇分类注意力网络

实蝇是国内外备受关注的检疫害虫,种类繁多。不同种类的实蝇外形大小相似,不易鉴别。此外,在实际应用中,鉴别实蝇的可用信息会受遮挡、视角、光影变幻等因素影响,导致实蝇自动识别工作难以进行。提出基于双线性池化的实蝇分类注意力网络,用于学习有效的实蝇鉴别特征。该网络由显著性特征模块和跨层双线性模块两个部分组成：显著性特征模块通过对不同卷积层进行滤波增强处理,实现特征增强;跨层双线性模块基于双线性池化融合特征,确定注意部位,挖掘判别特征。在具有自然环境背景的实蝇数据集上进行的实验表明,该方法效果较好,具有良好的实际应用前景。     

虚假新闻检测技术的应用

虚假新闻在社交媒体上的广泛传播,会对个人和社会产生极其负面的影响.社交媒体上的虚假新闻检测技术成为重点的研究对象.本文总结现有研究,对虚假新闻检测技术进行了全面的概述,内容包括虚假新闻定义、虚假新闻检测技术分类、评价指标和代表性数据集.     

基于注意力机制的多模态融合谣言检测方法

谣言会对社会生活造成不利影响,同时具有多种模态的网络谣言比纯文字谣言更容易误导用户和传播,这使得对多模态的谣言检测不可忽视。目前关于多模态谣言检测方法没有关注词与图片区域对象之间的特征融合,因此提出了一种基于注意力机制的多模态融合网络AMFNN应用于谣言检测,该方法在词-视觉对象层面进行高级信息交互,利用注意力机制捕捉与关键词语相关的视觉特征;提出了基于自注意力机制的自适应注意力机制Adapive-SA,通过增加辅助条件来约束内部的信息流动,使得模态内的关系建模更有目标性和多样性。在两个多模态谣言检测数据集上进行了对比实验,结果表明,与目前相关的多模态谣言检测方法相比,AMFNN能够合理地处理多模态信息,从而提高了谣言检测的准确性。     

基于多模态深度融合的虚假信息检测

针对虚假信息检测中图片特征提取不充分,以及忽视了单模内关系以及单模与多模之间交互作用的问题,提出一种基于文本和图片信息的多模态深度融合(MMDF)模型.首先,用双向门控循环单元(Bi-GRU)提取文本的丰富语义特征,用多分支卷积?循环神经网络(CNN-RNN)提取图片的多层次特征;然后,建立模间和模内的注意力机制以捕获...     

语义增强的多模态虚假新闻检测

随着生成式人工智能技术的发展,许多领域都得到了帮助与发展,但与此同时虚假信息的构建与传播变得更加简单,虚假信息的检测也随之难度增加. 先前的工作主要聚焦于语法问题、内容煽动性等方面的特点,利用深度学习模型对虚假新闻内容进行建模. 这样的方式不仅缺乏对内容本身的判断,还无法回溯模型的判别原因. 针对上述问题提出一种基于大语言模型隐含语义增强的细粒度虚假新闻检测方法. 该方法充分挖掘并利用了现有的生成式大语言模型所具有的总结与推理能力,按照主干事件、细粒度次要事件和隐含信息推理的顺序进行层级式推导,逐步判别新闻的真实性. 通过分解任务的方式,该方法最大程度发挥了模型的能力,提高了对虚假新闻的捕获能力,同时该方法也具有一定的可解释性,能够为检测提供判别依据.

     

注意力分层双线性池化残差网络的表情识别

由于人脸表情图像具有细微的类间差异信息和类内公有信息,提取具有判别性的局部特征成为关键问题,为此提出了一种注意力分层双线性池化残差网络。该模型采用有效的通道注意力机制显式地建模各通道的重要程度,为输出特征图分配不同的权重,按权重值大小定位显著区域。并添加了一个新的分层双线性池化层,集成多个跨层双线性特征来捕获层间部分特征关系,以端到端的深度学习方式在特征图中进行空间池化,使所提网络模型更适合精细的面部表情分类。分别在FER-2013和CK+数据集上对设计的网络进行实验,最高识别率分别为73.84%和98.79%,达到了具有竞争性的分类准确率,适用于细微的面部表情图像识别任务。     

基于双分支网络联合训练的虚假新闻检测

虚假新闻在社交媒体上的广泛传播,给社会带来了不同程度的负面影响。针对虚假新闻早期检测任务中,社交上下文信息不充分的问题,提出一种基于双分支网络联合训练的虚假新闻检测模型。该模型由最大池化网络分支（max pooling branch,MPB）和广义均值池化网络分支（generalized mean pooling branch,GPB）组成。MPB采用卷积神经网络对新闻文章进行文本特征提取,GPB引入了可训练的池化层,学习新闻文章潜在的语义特征。同时,在每个分支网络中,对新闻标题和正文之间进行语义关联性度量。最终,对两个分支网络联合训练后的结果进行决策融合,判断新闻的真实性。实验结果表明,提出的模型在准确率、召回率、F1值评测指标上均优于基线模型,F1值达到94.1%,比最优的基线模型提升了6.4个百分点。     

基于交叉特征感知融合的多领域虚假新闻检测

各领域虚假新闻的传播对社会造成了严重的影响, 不同领域间新闻的领域偏移问题和跨域关联问题也对模型的预测能力造成了极大的挑战. 针对上述问题, 本文提出了一种基于交叉特征感知融合的多领域虚假新闻检测方法. 该方法可以捕捉不同领域间新闻的多种特征差异, 并挖掘新闻之间的关联关系, 从多个维度控制模型在不同领域的特征融合策略. 此外, 本文还提出了一种联合训练框架. 本方法的模型使用本框架进行训练, 在中英文数据集上的预测F1分数分别达到了92.84%和85.49%, 相较于最先进的模型, 预测效果分别提升了1.16%和1.07%.     

基于显著增强分层双线性池化网络的细粒度图像分类

分层双线性池化网络考虑了中间卷积层的特征交互,对细粒度图像起到了良好的分类效果,但它对一幅图像包括无关背景在内的所有区域激活都进行了特征交互,会影响分类性能.针对该问题,提出一种显著增强的分层双线性池化方法.该方法在分层双线性池化网络的基础上,结合显著性检测网络生成注意力图,使用注意力图与特征提取网络进行交互实现对显著...     

Optimal Quad Channel Long Short-Term Memory Based Fake News Classification on English Corpus

The term ‘corpus’ refers to a huge volume of structured datasets containing machine-readable texts. Such texts are generated in a natural communicative setting. The explosion of social media permitted individuals to spread data with minimal examination and filters freely. Due to this, the old problem of fake news has resurfaced. It has become an important concern due to its negative impact on the community. To manage the spread of fake news, automatic recognition approaches have been investigated earlier using Artificial Intelligence (AI) and Machine Learning (ML) techniques. To perform the medicinal text classification tasks, the ML approaches were applied, and they performed quite effectively. Still, a huge effort is required from the human side to generate the labelled training data. The recent progress of the Deep Learning (DL) methods seems to be a promising solution to tackle difficult types of Natural Language Processing (NLP) tasks, especially fake news detection. To unlock social media data, an automatic text classifier is highly helpful in the domain of NLP. The current research article focuses on the design of the Optimal Quad Channel Hybrid Long Short-Term Memory-based Fake News Classification (QCLSTM-FNC) approach. The presented QCLSTM-FNC approach aims to identify and differentiate fake news from actual news. To attain this, the proposed QCLSTM-FNC approach follows two methods such as the pre-processing data method and the Glove-based word embedding process. Besides, the QCLSTM model is utilized for classification. To boost the classification results of the QCLSTM model, a Quasi-Oppositional Sandpiper Optimization (QOSPO) algorithm is utilized to fine-tune the hyperparameters. The proposed QCLSTM-FNC approach was experimentally validated against a benchmark dataset. The QCLSTM-FNC approach successfully outperformed all other existing DL models under different measures.     

多模态特征融合的长视频行为识别方法

行为识别技术在视频检索具有重要的应用价值;针对基于卷积神经网络的行为识别方法存在的长时序行为识别能力不足、尺度特征提取困难、光照变化及复杂背景干扰等问题,提出一种多模态特征融合的长视频行为识别方法;首先,考虑到长时序行为帧间差距较小,易造成视频帧的冗余,基于此,通过均匀稀疏采样策略完成全视频段的时域建模,在降低视频帧冗余度的前提下实现长时序信息的充分保留;其次,通过多列卷积获取多尺度时空特征,弱化视角变化对视频图像带来的干扰;后引入光流数据信息,通过空间注意力机制引导的特征提取网络获取光流数据的深层次特征,进而利用不同数据模式之间的优势互补,提高网络在不同场景下的准确性和鲁棒性;最后,将获取的多尺度时空特征和光流信息在网络的全连接层进行融合,实现了端到端的长视频行为识别;实验结果表明,所提方法在UCF101和HMDB51数据集上平均精度分别为97.2％和72.8％,优于其他对比方法,实验结果证明了该方法的有效性.     

基于多尺度分层双线性池化网络的细粒度表情识别模型

人脸表情细微的类间差异和显著的类内变化增加了人脸表情识别难度。构建一个基于多尺度双线性池化神经网络的识别模型。设计3种不同尺度网络提取人脸表情全局特征,并引入分层双线性池化层,集成多个同一网络及不同网络的多尺度跨层双线性特征以捕获不同层级间的部分特征关系,从而增强模型对面部表情细微特征的表征及判别能力。同时,使用逐层反卷积融合多层特征信息,解决神经网络通过多层卷积层、池化层提取特征时丢失部分关键特征的问题。实验结果表明,该模型在FER2013和CK+公开数据集上的识别率分别为73.725%、98.28%,优于SLPM、CL、JNS等人脸表情识别模型。