基于注意力机制的多模态融合谣言检测方法

谣言会对社会生活造成不利影响,同时具有多种模态的网络谣言比纯文字谣言更容易误导用户和传播,这使得对多模态的谣言检测不可忽视。目前关于多模态谣言检测方法没有关注词与图片区域对象之间的特征融合,因此提出了一种基于注意力机制的多模态融合网络AMFNN应用于谣言检测,该方法在词-视觉对象层面进行高级信息交互,利用注意力机制捕捉与关键词语相关的视觉特征;提出了基于自注意力机制的自适应注意力机制Adapive-SA,通过增加辅助条件来约束内部的信息流动,使得模态内的关系建模更有目标性和多样性。在两个多模态谣言检测数据集上进行了对比实验,结果表明,与目前相关的多模态谣言检测方法相比,AMFNN能够合理地处理多模态信息,从而提高了谣言检测的准确性。     

融合多模态信息的社交网络谣言检测方法

随着社交网络平台的发展,社交网络已经成为人们获取信息的重要来源。然而社交网络的便利性也导致了虚假谣言的快速传播。与纯文本的谣言相比,带有多媒体信息的网络谣言更容易误导用户以及被传播,因此对多模态的网络谣言检测在现实生活中有着重要意义。研究者们已提出若干多模态的网络谣言检测方法,但这些方法都没有充分挖掘出视觉特征和融合文本与视觉的联合表征特征。为弥补这些不足,提出了一个基于深度学习的端到端的多模态融合网络。该网络首先抽取出图片中各个兴趣区域的视觉特征,然后使用多头注意力机制将文本和视觉特征进行更新与融合,最后将这些特征进行基于注意力机制的拼接以用于社交网络多模态谣言检测。在推特和微博公开数据集上进行对比实验,结果表明,所提方法在推特数据集上F1值有13.4%的提升,在微博数据集上F1值有1.6%的提升。     

MSRD: 多模态网络谣言检测方法

图像和文本相结合的多模态网络谣言由于更具迷惑性和煽动性,对国家安全和社会稳定的危害性更严重.目前网络谣言检测工作充分考虑了谣言中配文的文本内容而忽略了图像内容以及图像中的内嵌文本内容,因此,提出了一种基于深度神经网络针对图像、图像内嵌文本以及配文文本内容的多模态网络谣言检测方法MSRD.该方法使用VGG-19网络提取图像内容特征,使用DenseNet提取图像内嵌文本内容,使用LSTM网络提取文本内容特征,与图像特征串接后,通过完全连接层获取图像与文本共享表示的均值与方差向量,借助从高斯分布中采样的随机变量以形成重新参数化的多模态特征并作为谣言检测器的输入进行谣言检测.实验表明:该方法在Twitter和微博两大数据集上达到了68.5%和79.4%的准确率.     

基于注意力与多模态混合融合的谣言检测方法

社交媒体内容结构具有复杂性,大量虚假信息掺杂在真实内容中,或者在真实图片上配以杜撰的文字内容,导致基于单个模态的方法难以有效检测谣言。提出基于注意力机制与Dempster’s组合规则的混合融合方法。通过新增用户模态,提取文本、视觉和用户3个模态的特征向量,利用注意力机制对词语和视觉进行双向匹配,给予对谣言检测具有更多贡献的词语和视觉神经元更大的权值。在前后期融合均加入注意力机制,实现特征和决策的自动加权,并使用Dempster's组合规则实现混合融合。在真实的中文Weibo数据集和外文Twitter数据集上的实验结果表明,该方法准确率分别达到97.44%和92.35%,准确率和F1-score指标均高于基准方法和多模态方法。     

多模态多层次事件网络的谣言检测

目的 自动检测谣言至关重要,目前已有多种谣言检测方法,但存在以下两点局限：1）只考虑文本内容,忽略了可用于判断谣言的辅助多模态信息;2）只关注时间序列模型捕捉谣言事件的时间特征,没有很好地研究事件的局部信息和全局信息。为了克服这些局限性,有效利用多模态帖子信息并联合多种编码策略构建每个新闻事件的表示,本文提出一种新颖的基于多模态多层次事件网络的社交媒体谣言检测方法。方法 通过一个多模态的帖子嵌入层,同时利用文本内容和视觉内容;将多模态的帖子嵌入向量送入多层次事件编码网络,联合使用多种编码策略,以由粗到细的方式描述事件特征。结果 在Twitter和Pheme数据集上的大量实验表明,本文提出的多模态多层次事件网络模型比现有的SVM-TS（support vector machine—time structure）、CNN（convolutional neural network）、GRU（gated recurrent unit）、CallAtRumors和MKEMN（multimodal knowledge-aware event memory network）等方法在准确率上提升了4 %以上。结论 本文提出的谣言检测模型,对每个事件的全局、时间和局部信息进行建模,提升了谣言检测的性能。     

基于多模态融合的赌博应用识别模型

安卓赌博应用安装包中往往含有文本、图片、证书等大量可用于标识应用属性的多模态信息,针对当前赌博应用内容有害发现及安全研究较少、已有方法不具有针对性等问题,提出了一种基于多头注意力机制的多模态融合赌博应用识别模型.首先,提取赌博应用安装包中的图片信息,先后采用VGGNet和ResNet模型提取图片特征、识别图片信息;其次,提取赌博应用安装包中的文本信息,采用双向长短期记忆(BiLSTM)方法处理文本信息、识别文本内容;最后,基于多头注意力机制,建立多模态融合模型,对赌博应用进行综合性识别.通过在真实数据集上验证表明,采用不同文本和图片模型的平均准确率分别为71.5％和76％,该多模态融合模型的平均准确率为85.5％.可见,相比单一文本模型或图片模型,多模态融合模型有效提高了赌博应用的识别准确率.     

基于DeepFM和卷积神经网络的集成式多模态谣言检测方法

随着以微博为代表的社交媒体越来越流行,谣言信息借助社交媒体迅速传播,容易造成严重的后果,因此自动谣言检测问题受到了国内外学术界、产业界的广泛关注.目前,越来越多的用户使用图片来发布微博,而不仅仅是文本,微博通常由文本、图像和社会语境组成.因此,文中提出了一种基于深度神经网络,针对配文文本内容、图像以及用户属性信息的多模...     

多模态数据融合综述

随着当今信息技术的飞速发展,信息的存在形式多种多样,来源也十分广泛。不同的存在形式或信息来源均可被称之为一种模态,由两种或两种以上模态组成的数据称之为多模态数据。多模态数据融合负责将多个模态的信息进行有效的整合,汲取不同模态的优点,完成对信息的整合。自然现象具有十分丰富的特征,单一模态很难提供某个现象的完整信息。面对保持融合后具有各个模态信息的多样性以及完整性、使各个模态的优点最大化、减少融合过程造成的信息损失等方面的融合要求,如何对各个模态的信息进行融合成为了多个领域广泛存在的一个新挑战。简要阐述了常见的多模态融合方法、融合架构,总结了三个常见的融合模型,简要分析协同、联合、编解码器三大架构的优缺点以及多核学习、图像模型等具体融合方法。在多模态的应用方面,对多模态视频片段检索、综合多模态信息生成内容摘要、多模态情感分析、多模态人机对话系统进行了分析与总结。指出了当前多模态融合出现的问题,并提出未来的研究方向。     

基于多模态特征融合的轻量级人脸活体检测方法

人脸活体检测是人脸识别过程中的一个重要环节，对于身份验证的安全性尤为重要。针对人脸识别过程存在照片、视频、面具、头套、头模等欺骗手段，通过Intel Realsense相机采集人脸RGB图和深度图信息，并在MobileNetV3的基础上提出了特征融合的轻量级活体检测网络，将深度图与RGB图的特征融合起来并且进行端到端的训练。而为了解决深度学习中参数量较大以及网络尾部对于权重区域的区分的问题，提出在网络尾部采用Streaming Module以减少网络参数量并且对权重区域进行区分。在CASIA-SURF数据集以及所制作的CQNU-LN数据集上进行仿真实验，结果表明所提方法在两个数据集上均于TPR@FPR=10E-4的级别上达到了95%的精度，相较对比方法中精度最高的ShuffleNet分别提高了0.1%和0.05%；在所制作的CQNU-3Dmask数据集上，所提方法于TPR@FPR=10E-4的级别达到了95.2%的精度，比仅训练RGB图或仅训练深度图的方法分别提升了0.9%和6.5%，并且，模型的参数文件的大小仅为1.8 MB，每秒浮点数运算量（FLOPs）仅为1.5×10⁶。该方法能够在实际应用中对提取到的人脸进行准确的实时检测。     

基于BERT的图像和文本多模态融合分类模型

在临床诊断过程中，医生会同时结合医学图像和病理报告文本综合判定病情。针对现有的人工智能（AI）辅助诊断系统未充分利用文本检查内容的问题，提出一种基于BERT模型的图文多模态分类模型（ITMMB），在特征层实现医学图像和病理文本的多模态融合和分类。采用残差网络（ResNet）对图像预处理获得图像词嵌入向量，同时采用分词技术处理文本获得文本嵌入词向量，并将两类嵌入词向量送入BERT模型完成最终分类；此外，为适应BERT模型需要并获得更好的分类性能，优化了ResNet的残差模块、学习权重、损失函数和池化层。在Open Images数据集上的实验结果表明，与仅通过单一的医学图像或病理文本进行辅助诊断的模型相比，ITMMB的微平均F1分数分别提高38.76和4.66个百分点，能有效辅助医生临床诊断。     

基于多模态特征融合的轻量级人脸活体检测方法

人脸活体检测是人脸识别过程中的一个重要环节,对于身份验证的安全性尤为重要。针对人脸识别过程存在照片、视频、面具、头套、头模等欺骗手段,通过Intel Realsense相机采集人脸RGB图和深度图信息,并在MobileNetV3的基础上提出了特征融合的轻量级活体检测网络,将深度图与RGB图的特征融合起来并且进行端到端的训练。而为了解决深度学习中参数量较大以及网络尾部对于权重区域的区分的问题,提出在网络尾部采用Streaming Module以减少网络参数量并且对权重区域进行区分。在CASIA-SURF数据集以及所制作的CQNU-LN数据集上进行仿真实验,结果表明所提方法在两个数据集上均于TPR@FPR=10E-4的级别上达到了95%的精度,相较对比方法中精度最高的ShuffleNet分别提高了0.1%和0.05%;在所制作的CQNU-3Dmask数据集上,所提方法于TPR@FPR=10E-4的级别达到了95.2%的精度,比仅训练RGB图或仅训练深度图的方法分别提升了0.9%和6.5%,并且,模型的参数文件的大小仅为1.8 MB,每秒浮点数运算量（FLOPs）仅为1.5×10⁶。该方法能够在实际应用中对提取到的人脸进行准确的实时检测。     

基于多模态融合的三维模型检索算法研究

为了获得更好的三维模型检索分类性能,基于深度学习模型研究了多模态信息融合对三维模型的特征描述,在训练步骤提出相关性损失函数来指导不同模态之间的训练,提取更稳健的特征向量;最后将融合特征应用于三维模型的检索和分类,在ModelNet40数据集上进行了三维模型分类任务和检索任务评估。实验结果及与现有方法进行的对比证明了该方法的优越性,为三维模型检索分类领域提供了一种新的思路。     

选择多模态组特征提升社交媒体谣言检测性能

社交平台新闻常常是文字、图片与音视频多种模态结合。多模态数据结构复杂，特征冗杂，噪声特征影响检测精度。针对以上难题提出基于组特征选择的谣言检测方法FS-MKL,基于多核学习的组特征选择将同构数据作为一个整体，检测其重要性，并融合fastPCA和SVM-RFE算法进行降维，过滤噪声特征。实验结果表明，FS-MKL方法对于推特中的多模态谣言有较好的识别效果，是一种有效的多媒体社交谣言检测方案。     

基于多模态融合的情感分析算法研究综述

情感分析是一项新兴技术,其旨在探索人们对实体的态度,可应用于各种领域和场景,例如产品评价分析、舆情分析、心理健康分析和风险评估。传统的情感分析模型主要关注文本内容,然而一些特殊的表达形式,如讽刺和夸张,则很难通过文本检测出来。随着技术的不断进步,人们现在可以通过音频、图像和视频等多种渠道来表达自己的观点和感受,因此情感分析正向多模态转变,这也为情感分析带来了新的机遇。多模态情感分析除了包含文本信息外,还包含丰富的视觉和听觉信息,利用融合分析可以更准确地推断隐含的情感极性（积极、中性、消极）。多模态情感分析面临的主要挑战是跨模态情感信息的整合,因此,重点介绍了不同融合方法的框架和特点,并对近几年流行的融合算法进行了阐述,同时对目前小样本场景下的多模态情感分析进行了讨论,此外,还介绍了多模态情感分析的发展现状、常用数据集、特征提取算法、应用领域和存在的挑战。期望此综述能够帮助研究人员了解多模态情感分析领域的研究现状,并从中得到启发,开发出更加有效的模型。     

结合社交网络图的多模态虚假信息检测模型

针对现有虚假信息检测方法主要基于单模态数据分析,检测时忽视了信息之间相关性的问题,提出了结合社交网络图的多模态虚假信息检测模型。该模型使用预训练Transformer模型和图像描述模型分别从多角度提取各模态数据的语义,并通过融合信息传播过程中的社交网络图,在文本和图像模态中加入传播信息的特征,最后使用跨模态注意力机制分配各模态信息权重以进行虚假信息检测。在推特和微博两个真实数据集上进行对比实验,所提模型的虚假信息检测准确率稳定为约88%,高于EANN、PTCA等现有基线模型。实验结果表明所提模型能够有效融合多模态信息,从而提高虚假信息检测的准确率。     

多模态深度学习综述

在多模态深度学习发展前期总结当前多模态深度学习,发现在不同多模态组合和学习目标下,多模态深度学习实现过程中的共有问题,并对共有问题进行分类,叙述解决各类问题的方法。具体来说,从涉及自然语言、视觉、听觉的多模态学习中考虑了语言翻译、事件探测、信息描述、情绪识别、声音识别和合成以及多媒体检索等方面研究,将多模态深度学习实现过程中的共有问题分为模态表示、模态传译、模态融合和模态对齐四类,并对各类问题进行子分类和论述,同时列举了为解决各类问题产生的神经网络模型。最后论述了实际多模态系统、多模态深度学习研究中常用的数据集和评判标准,并展望了多模态深度学习的发展趋势。     

基于用户传播网络与消息内容融合的谣言检测模型

针对社交媒体平台上消息内容普遍很短、传播结构中存在大量空转发、用户角色与内容间的失配等条件约束,提出了一种基于传播网络中的用户属性信息和消息内容的谣言检测模型GMB_GMU。首先以用户属性为节点、传播链为边构建用户传播网络,并引入图注意力网络（GAT）得到用户属性的增强表示;同时,基于此用户传播网络,利用node2vec得到用户的结构表征,并使用互注意机制对其进行增强。另外,引入BERT建立源帖内容表征。最后,利用多模态门控单元（GMU）对用户属性表征、结构表征和源帖内容表征进行融合,从而得到消息的最终表征。实验结果表明,GMB_GMU模型在公开的Weibo数据上的准确率达到0.952,能够有效识别谣言事件,效果明显优于基于循环神经网络（RNN）和其他神经网络基准模型的传播算法。     

一种基于深度学习与多模态融合的避雷器目标检测技术

针对室外复杂场景下,目标检测易漏检、鲁棒性较差等问题,笔者提出一种基于深度学习与多模态融合的避雷器目标检测方法.通过利用深度学习的实例分割模型,对RGB图进行目标检测与分割,再利用传统特征提取方法,结合避雷器的先验信息,最终获取避雷器的3D中轴线.实验结果表明,压缩后的AI模型可在CPU上成功部署,具有较高的工程价值....     

基于注意力的短视频多模态情感分析

针对现有的情感分析方法缺乏对短视频中信息的充分考虑,从而导致不恰当的情感分析结果.基于音视频的多模态情感分析(AV-MSA)模型便由此产生,模型通过利用视频帧图像中的视觉特征和音频信息来完成短视频的情感分析.模型分为视觉与音频2分支,音频分支采用卷积神经网络(CNN)架构来提取音频图谱中的情感特征,实现情感分析的目的;...     

多模态数据的行为识别综述

行为识别是当前计算机视觉方向中视频理解领域的重要研究课题。从视频中准确提取人体动作的特征并识别动作,能为医疗、安防等领域提供重要的信息,是一个十分具有前景的方向。本文从数据驱动的角度出发,全面介绍了行为识别技术的研究发展,对具有代表性的行为识别方法或模型进行了系统阐述。行为识别的数据分为RGB模态数据、深度模态数据、骨骼模态数据以及融合模态数据。首先介绍了行为识别的主要过程和人类行为识别领域不同数据模态的公开数据集;然后根据数据模态分类,回顾了RGB模态、深度模态和骨骼模态下基于传统手工特征和深度学习的行为识别方法,以及多模态融合分类下RGB模态与深度模态融合的方法和其他模态融合的方法。传统手工特征法包括基于时空体积和时空兴趣点的方法(RGB模态)、基于运动变化和外观的方法(深度模态)以及基于骨骼特征的方法(骨骼模态)等;深度学习方法主要涉及卷积网络、图卷积网络和混合网络,重点介绍了其改进点、特点以及模型的创新点。基于不同模态的数据集分类进行不同行为识别技术的对比分析。通过类别内部和类别之间两个角度对比分析后,得出不同模态的优缺点与适用场景、手工特征法与深度学习法的区别和融合多模态的优...