融合多模态信息的社交网络谣言检测方法

随着社交网络平台的发展,社交网络已经成为人们获取信息的重要来源。然而社交网络的便利性也导致了虚假谣言的快速传播。与纯文本的谣言相比,带有多媒体信息的网络谣言更容易误导用户以及被传播,因此对多模态的网络谣言检测在现实生活中有着重要意义。研究者们已提出若干多模态的网络谣言检测方法,但这些方法都没有充分挖掘出视觉特征和融合文本与视觉的联合表征特征。为弥补这些不足,提出了一个基于深度学习的端到端的多模态融合网络。该网络首先抽取出图片中各个兴趣区域的视觉特征,然后使用多头注意力机制将文本和视觉特征进行更新与融合,最后将这些特征进行基于注意力机制的拼接以用于社交网络多模态谣言检测。在推特和微博公开数据集上进行对比实验,结果表明,所提方法在推特数据集上F1值有13.4%的提升,在微博数据集上F1值有1.6%的提升。     

基于注意力机制的多模态融合谣言检测方法

谣言会对社会生活造成不利影响,同时具有多种模态的网络谣言比纯文字谣言更容易误导用户和传播,这使得对多模态的谣言检测不可忽视。目前关于多模态谣言检测方法没有关注词与图片区域对象之间的特征融合,因此提出了一种基于注意力机制的多模态融合网络AMFNN应用于谣言检测,该方法在词-视觉对象层面进行高级信息交互,利用注意力机制捕捉与关键词语相关的视觉特征;提出了基于自注意力机制的自适应注意力机制Adapive-SA,通过增加辅助条件来约束内部的信息流动,使得模态内的关系建模更有目标性和多样性。在两个多模态谣言检测数据集上进行了对比实验,结果表明,与目前相关的多模态谣言检测方法相比,AMFNN能够合理地处理多模态信息,从而提高了谣言检测的准确性。     

多模态多层次事件网络的谣言检测

目的 自动检测谣言至关重要,目前已有多种谣言检测方法,但存在以下两点局限：1）只考虑文本内容,忽略了可用于判断谣言的辅助多模态信息;2）只关注时间序列模型捕捉谣言事件的时间特征,没有很好地研究事件的局部信息和全局信息。为了克服这些局限性,有效利用多模态帖子信息并联合多种编码策略构建每个新闻事件的表示,本文提出一种新颖的基于多模态多层次事件网络的社交媒体谣言检测方法。方法 通过一个多模态的帖子嵌入层,同时利用文本内容和视觉内容;将多模态的帖子嵌入向量送入多层次事件编码网络,联合使用多种编码策略,以由粗到细的方式描述事件特征。结果 在Twitter和Pheme数据集上的大量实验表明,本文提出的多模态多层次事件网络模型比现有的SVM-TS（support vector machine—time structure）、CNN（convolutional neural network）、GRU（gated recurrent unit）、CallAtRumors和MKEMN（multimodal knowledge-aware event memory network）等方法在准确率上提升了4 %以上。结论 本文提出的谣言检测模型,对每个事件的全局、时间和局部信息进行建模,提升了谣言检测的性能。     

基于多级融合的多模态谣言检测模型

针对当前多模态谣言检测模型存在的模态间信息融合不足和过于依赖各模态信息完整度的问题,提出一种基于多级融合的多模态谣言检测模型。分别利用Text CNN和Resnet18网络对文本和图片编码并进行特征级融合,对纯文本模型、纯图片模型和特征级融合模型进行决策级融合并对决策级融合进行改进。多级融合框架加深各模态间的信息融合程度,改进后的决策级融合有效缓解了传统模型对各模态信息完整度要求过高的问题。实验结果表明,该模型在微博数据集上的F1值和准确率均高于传统的多模态谣言检测模型,进一步提升了谣言检测效果。     

语义增强的多模态虚假新闻检测

近年来社交媒体逐渐成为人们获取新闻信息的主要渠道,但其在给人们带来方便的同时也促进了虚假新闻的传播.在社交媒体的富媒体化趋势下,虚假新闻逐渐由单一的文本形式向多模态形式转变,因此多模态虚假新闻检测正在受到越来越多的关注.现有的多模态虚假新闻检测方法大多依赖于和数据集高度相关的表现层面特征,对新闻的语义层面特征建模不足,难以理解文本和视觉实体的深层语义,在新数据上的泛化能力受限.提出了一种语义增强的多模态虚假新闻检测方法,通过利用预训练语言模型中隐含的事实知识以及显式的视觉实体提取,更好地理解多模态新闻的深层语义.提取不同语义层次的视觉特征,在此基础上采用文本引导的注意力机制建模图文之间的语义交互,从而更好地融合.多模态异构特征.在基于微博新闻的真实数据集上的实验结果表明:该方法能够有效提高多模态虚假新闻检测的性能.     

基于样本内外协同表示和自适应融合的多模态学习方法

多模态机器学习是一种新的人工智能范式,结合各种模态和智能处理算法以实现更高的性能.多模态表示和多模态融合是多模态机器学习的2个关键任务.目前,多模态表示方法很少考虑样本间的协同,导致特征表示缺乏鲁棒性,大部分多模态特征融合方法对噪声数据敏感.因此,在多模态表示方面,为了充分学习模态内和模态间的交互,提升特征表示的鲁棒性,提出一种基于样本内和样本间多模态协同的表示方法.首先,分别基于预训练的BERT,Wav2vec 2.0,Faster R-CNN提取文本特征、语音特征和视觉特征;其次,针对多模态数据的互补性和一致性,构建模态特定和模态共用2类编码器,分别学习模态特有和共享2种特征表示;然后,利用中心矩差异和正交性构建样本内协同损失函数,采用对比学习构建样本间协同损失函数;最后,基于样本内协同误差、样本间协同误差和样本重构误差设计表示学习函数.在多模态融合方面,针对每种模态可能在不同时刻表现出不同作用类型和不同级别的噪声,设计一种基于注意力机制和门控神经网络的自适应的多模态特征融合方法.在多模态意图识别数据集MIntRec和情感数据集CMU-MOSI,CMU-MOSEI上的实验结果表明,...     

基于矩阵分解双线性池化的多模态融合虚假新闻检测

现有的大多数虚假新闻检测方法将视觉和文本特征串联拼接,导致模态信息冗余并且忽略了不同模态信息之间的相关性。为了解决上述问题,提出一种基于矩阵分解双线性池化的多模态融合虚假新闻检测算法。首先,该算法将多模态特征提取器捕捉的文本和视觉特征利用矩阵分解双线性池化方法进行有效融合,然后与虚假新闻检测器合作鉴别虚假新闻;此外,在训练阶段加入了事件分类器来预测事件标签并去除事件相关的依赖。在Twitter和微博两个多模态谣言数据集上进行了对比实验,证明了该算法的有效性。实验结果表明提出的模型能够有效地融合多模态数据,缩小模态间的异质性差异,从而提高虚假新闻检测的准确性。     

多层CNN特征融合及多分类器混合预测的多模态虚假信息检测

针对现有的多模态虚假信息检测方法很少对多模态特征在特征层面进行融合，同时忽略了多模态特征后期融合作用的问题，提出了一种基于CNN多模态特征融合及多分类器混合预测的虚假信息检测模型。首次将多层CNN应用于多模态特征融合，模型首先用BERT和Swin-transformer提取文本和图像特征；随后通过多层CNN对多模态特征在特征层面进行融合，通过简单拼接对多模态特征在句子层面进行融合；最后将2种融合特征输入到不同的分类器中得到2个概率分布，并将2个概率分布按比例进行相加得到最终预测结果。该模型与基于注意力的多模态分解双线性模型(AMFB)相比，在Weibo数据集和Twitter数据集上的准确率分别提升了6.1%和4.3%。实验结果表明，所提模型能够有效提高虚假信息检测的准确率。     

基于区域纹理的运动目标检测方法*

针对混合高斯和多模态均值模型在阴影、噪声、扰动、计算量和存储空间等方面的优缺点,提出一种基于区域纹理的目标检测方法。该方法分析场景纹理分布,制定区域复杂度分类准则,对复杂区域采用混合高斯,对简单区域采用基于运动历史的多模态均值进行目标检测。实验表明,该方法能在多模态环境中克服噪声与扰动,实时转换前／背景,优化速度和存储量,准确检测出目标。     

基于注意力与多模态混合融合的谣言检测方法

社交媒体内容结构具有复杂性,大量虚假信息掺杂在真实内容中,或者在真实图片上配以杜撰的文字内容,导致基于单个模态的方法难以有效检测谣言。提出基于注意力机制与Dempster’s组合规则的混合融合方法。通过新增用户模态,提取文本、视觉和用户3个模态的特征向量,利用注意力机制对词语和视觉进行双向匹配,给予对谣言检测具有更多贡献的词语和视觉神经元更大的权值。在前后期融合均加入注意力机制,实现特征和决策的自动加权,并使用Dempster's组合规则实现混合融合。在真实的中文Weibo数据集和外文Twitter数据集上的实验结果表明,该方法准确率分别达到97.44%和92.35%,准确率和F1-score指标均高于基准方法和多模态方法。     

基于双流网络的多模态多标签漫画情感检测方法

近年来,社交媒体常会以漫画的形式隐喻社会现象并倾述情感,为了解决漫画场景下多模态多标签情感识别存在的标签歧义问题,文中提出基于双流结构的多模态多标签漫画情感检测方法.使用余弦相似度对比模态间信息,并结合自注意力机制,交叉融合图像特征和文本特征.该方法主干为双流结构,使用Transformer模型作为图像的主干网络提取图像特征,利用Roberta预训练模型作为文本的主干网络提取文本特征.基于余弦相似度结合多头自注意力机制(COS-MHSA)提取图像的高层特征,最后融合高层特征和COS-MHSA多模态特征.在EmoRecCom漫画数据集上的实验验证文中方法的有效性,并给出方法对于情感检测的可视化结果.     

基于传播者心理差异的随机谣言传播模型

社交网络已经成为信息时代的主流媒体,因此研究社交网络上的谣言传播动力学行为有助于更好地理解谣言传播机理。考虑到社交网络经常受环境因素的影响,导致网络拓扑结构是时变的,引入随机扰动的噪声,针对一些传播者由于心理差异因素,选择保持沉默,在谣言传播过程中引入沉默者个体,基于此建立一个考虑沉默-复发机制的随机Si-SIR(Silent-Susceptible-Infected-Removed)谣言传播模型,并对复杂社交网络中随机谣言传播动力学方程进行了研究。通过对随机模型进行稳定性分析,推导了谣言消亡的充分条件,讨论了同质网络和异质网络上谣言的传播阈值。通过蒙特卡洛方法分别在WS(Watts-Strogatz)小世界网络、BA(Barabási-Albert)无标度网络、Facebook真实社交网络上进行模拟仿真。仿真实验表明,添加适当强度的噪声,加速了谣言扩散的过程,扩大了谣言的最终规模;与WS和BA网络相比,Facebook网络的谣言扩散速度更快,谣言的最终规模更高;更强的沉默-复发机制能够提高传播节点密度峰值和延迟谣言消亡的时间。     

特征金字塔融合的多模态行人检测算法

针对单模态行人检测在光照条件较差、目标部分遮挡、目标多尺度时检测效果较差的问题，提出了一种基于可见和红外双模态特征金字塔融合的行人检测算法。使用深度卷积神经网络代替传统的手工设计特征方式分别自动从可见模态及红外热模态的图片中提取单模态特征，根据ResNet（Residual Net）的阶段性特征图谱搭建特征金字塔网络，生成每个模态的特征金字塔，并将两个模态的特征金字塔进行逐层融合。选择深度学习通用目标检测算法--Faster R-CNN作为后续的目标定位与分类算法来解决多模态行人检测问题。在特征金字塔融合阶段，针对级联融合和较大值融合容易忽略弱特征，无法有效融合互补特征的问题，提出了一种锐化特征的特征金字塔融合方法，根据阈值强化突出强特征，互补叠加弱特征，有效利用每个模态的特征，进一步提高模型的检测效果。实验结果表明，特征金字塔聚合的多模态行人检测算法可以有效解决多模态行人检测问题，在KAIST数据集上的检测效果超过了目前该数据集上的最佳模型。     

基于YOLO的多模态特征差分注意融合行人检测

针对可见光模态与热红外模态间的差异问题和如何充分利用多模态信息进行行人检测,本文提出了一种基于YOLO的多模态特征差分注意融合行人检测方法.该方法首先利用YOLOv3深度神经网络的特征提取主干分别提取多模态特征;其次在对应多模态特征层之间嵌入模态特征差分注意模块充分挖掘模态间的差异信息,并经过注意机制强化差异特征表示进而改善特征融合质量,再将差异信息分别反馈到多模态特征提取主干中,提升网络对多模态互补信息的学习融合能力;然后对多模态特征进行分层融合得到融合后的多尺度特征;最后在多尺度特征层上进行目标检测,预测行人目标的概率和位置.在KAIST和LLVIP公开多模态行人检测据集上的实验结果表明,提出的多模态行人检测方法能有效解决模态间的差异问题,实现多模态信息的充分利用,具有较高的检测精度和速度,具有实际应用价值.     

基于DeepFM和卷积神经网络的集成式多模态谣言检测方法

随着以微博为代表的社交媒体越来越流行,谣言信息借助社交媒体迅速传播,容易造成严重的后果,因此自动谣言检测问题受到了国内外学术界、产业界的广泛关注.目前,越来越多的用户使用图片来发布微博,而不仅仅是文本,微博通常由文本、图像和社会语境组成.因此,文中提出了一种基于深度神经网络,针对配文文本内容、图像以及用户属性信息的多模...     

基于有效距离的多模态特征选择*

在传统距离度量的基础上,提出利用有效距离进行特征选择,并用于多模态分类.为了更好地反映样本间全局和局部关系,提出基于有效距离的多模态特征选择方法.该方法针对样本间全局关系进行建模,实现基于有效距离的特征选择,从而增强所选特征的判别性.在ADNI、UCI数据集上进行的分类实验表明,与传统方法相比,文中方法能有效提高多模态数据的分类性能.     

一种基于微调通用语言模型BERT的微博谣言检测方法

社交媒体极大地改变了人们的社交和协作方式,然而在社交媒体蓬勃发展的同时,谣言也在滋生。检测识别在社交媒体中传播的谣言,对于社会的长治久安的有序发展有着非常重要的意义。选择新浪微博为研究对象,提出了基于微调通用语言模型BERT的方法进行谣言检测。使用通用语言模型,来捕获文本的深层语言含义,避免繁杂的特征提取过程,并通过预训练的方法,避免了语言模型的重复训练。实验结果表示,基于微调通用语言模型BERT的谣言检测效果在公开数据集Rumdect达到94.1%,且在Rumdect数据集上的表现较为先进的LSTM和GRU的检测模型分别提升了4.6%和3.2%。验证了微调通用语言模型在谣言检测任务中的可行性和有效性。     

基于跨模态门控机制和改进融合方法的多模态情感分析

如何有效挖掘单模态表征并实现多模态信息的充分融合是多模态情感分析研究的重点之一。针对多模态情感分析中的模态间噪声和多模态特征融合不充分等问题,提出一种基于跨模态门控机制和改进融合方法的多模态情感分析模型。首先,利用跨模态门控机制去除模态间噪声,提取互补信息以增强模态表示。然后,利用权重和相似约束分别关注不同模态情感贡献的差异性和情感表达的一致性。最后,结合模态的多层次表示获得情感分析的结果。在三个公开数据集上的实验结果表明,所提模型是有效的,相比已有一些模型取得了更好的性能。     

基于多模态生成对抗网络的多元时序数据异常检测

针对传统多元时序数据异常检测模型未考虑时空数据的多模态分布问题，提出了一种多模态生成对抗网络多元时序数据异常检测模型。利用滑动窗口分割时间序列并构造特征矩阵来捕获数据的多模态特征，将其与原始数据分别作为模态信息输入多模态编码器及多模态生成器中，输出具有时空信息的多模态特征矩阵，并将真实数据编码成特征矩阵，将两类特征矩阵作为判别器输入，利用梯度惩罚方法并拟合真实分布与生成分布之间的Wasserstein距离，取代二分类交叉熵损失训练判别器，结合生成器重构误差及判别器评分实现异常检测。基于安全水处理(SWaT)及水量分布(WADI)等数据集的测试结果表明，所提模型相比基准模型在F1-分数性能指标上分别提升了0.11和0.19,能够较好地识别多元时序数据异常，具有较好的鲁棒性以及泛化能力。     

结合社交网络图的多模态虚假信息检测模型

针对现有虚假信息检测方法主要基于单模态数据分析,检测时忽视了信息之间相关性的问题,提出了结合社交网络图的多模态虚假信息检测模型。该模型使用预训练Transformer模型和图像描述模型分别从多角度提取各模态数据的语义,并通过融合信息传播过程中的社交网络图,在文本和图像模态中加入传播信息的特征,最后使用跨模态注意力机制分配各模态信息权重以进行虚假信息检测。在推特和微博两个真实数据集上进行对比实验,所提模型的虚假信息检测准确率稳定为约88%,高于EANN、PTCA等现有基线模型。实验结果表明所提模型能够有效融合多模态信息,从而提高虚假信息检测的准确率。