基于BiGRU模型的多模态网络舆情情感分析

情感分析可以挖掘社会热点事件网络舆情的矛盾冲突,加强对多模态信息的分析处理,对网络舆情管理具有重要意义.本文基于BiGRU模型构建多模态网络舆情情感分析框架,运用word2vec提取文本特征,卷积神经网络提取图像特征,采用线性融合进行特征融合实现情感分析.与基线模型相比,本文的多模态网络舆情情感分析方法准确率、宏平均F1和加权平均F1的结果更优,对现实生活产生的舆情事件具有较好的情感识别效果.     

融合注意力机制的多模态影评情感分析

对影评进行情感分析有助于为用户提供更好的服务。针对单模态模型只能选择单一的语义信息和多个模态间的信息无法进行共享等问题,本文提出一种融合注意力机制的BiLSTM-VGG16的中文影评情感分析模型。首先使用BiLSTM、VGG16分别提取文本信息和图像信息的特征值,在注意力机制的作用下,突出文本中情感信息量的部分。在决策层融合文本特征和图像特征,最后使用softmax函数实现影评情感级分类。通过爬虫获取腾讯视频的评论对模型进行训练和测试。模型准确率为0.854,召回率为0.875,F值为0.854,AUC为0.861。由实验结果得出,相比于其他单模态分析模型,多模态分析模型在影视评论情感分析方面取得更好的效果。     

基于深度学习的多模态情感分析综述

情感分析对社会发展具有深远影响。由于传统的单模态情感分析存在信息片面、识别效果差等局限,综合多个信息源,利用深度学习方法进行情感分析成为研究焦点。文章首先介绍了多模态情感分析的基本概念,然后以文本、语音、视觉三个模态为基础,汇总了常用的多模态情感分析数据集,根据模态融合方式总结了多模态情感分析的研究现状,最后分析了多模态情感分析面临的挑战以及未来研究方向。     

结合时间注意力机制和单模态标签自动生成策略的自监督多模态情感识别

大多数多模态情感识别方法旨在寻求一种有效的融合机制,构建异构模态的特征,从而学习到具有语义一致性的特征表示。然而,这些方法通常忽略了模态间情感语义的差异性信息。为解决这一问题,提出了一种多任务学习框架,联合训练1个多模态任务和3个单模态任务,分别学习多模态特征间的情感语义一致性信息和各个模态所含情感语义的差异性信息。首先,为了学习情感语义一致性信息,提出了一种基于多层循环神经网络的时间注意力机制(TAM),通过赋予时间序列特征向量不同的权重来描述情感特征的贡献度。然后,针对多模态融合,在语义空间进行了逐语义维度的细粒度特征融合。其次,为了有效学习各个模态所含情感语义的差异性信息,提出了一种基于模态间特征向量相似度的自监督单模态标签自动生成策略(ULAG)。通过在CMU-MOSI, CMU-MOSEI, CH-SIMS 3个数据集上的大量实验结果证实,提出的TAM-ULAG模型具有很强的竞争力：在分类指标($ Ac{c_2} $, $ {F_1} $)和回归指标(MAE, Corr)上与基准模型的指标相比均有所提升;对于二分类识别准确率,在CMU-MOSI和CMU-MOSEI数据集上分别为87.2%和85.8%,而在CH-SIMS数据集上达到81.47%。这些研究结果表明, 同时学习多模态间的情感语义一致性信息和各模态情感语义的差异性信息,有助于提高自监督多模态情感识别方法的性能。     

基于双对齐和对比学习的多模态情感识别

情感识别在现代人机交互、情感感知和沉浸式虚拟现实等领域具有重要价值,因其能够通过计算机自动识别和分类人类情感状态。随着多模态学习的发展,情感识别逐渐从传统的单一模态情感识别转向多模态情感识别。多模态情感识别涉及处理来自不同模态的数据,例如文本、语音和视觉。这些模态数据可以通过捕捉不同的情感特征,帮助模型更准确地理解人的情感状态。然而,现有的多模态情感识别中存在时间错位和模态异质性等一系列挑战。为了应对这些挑战,本文设计并实现了一种基于双对齐和对比学习的多模态情感识别模型。该模型结合了文本、语音和视觉三种模态,通过双对齐模块实现不同模态之间的全面对齐。其中,特征级对齐利用交叉注意力机制实现时间维度上的动态对齐;样本级对齐利用对比学习在特征空间中对齐各个模态。模型引入监督对比学习进一步利用标签信息,挖掘细粒度的情感线索,增强模型的鲁棒性。此外,本文利用自注意力机制来学习多模态特征间的交互,有效提升了模型性能。实验结果表明,该模型在三个公开数据集上表现优异,在大多数指标上均优于现有模型。综上所述,本文提出的基于双对齐和对比学习的多模态情感识别模型,有效解决了多模态情感识别中的关键挑战,取得了显著的性能提升。     

多模态融合情感分析模型研究

本文提出了一种新颖的多模态情感分析模型。该方法利用发音连续帧上的特定界标的位移来提取发音特征。并分析每个界标时间变量的时间序列。并提取主要的视觉特征,然后将所有特征融合起来,最终构建出特征矢量,以此对情感进行分析。     

基于表情和语音的多模态情感识别研究

由于单一特征的局限性,单一模态的情感识别研究往往由于含有的有效信息量较少或含有的噪声信息过多而导致识别结果与实际情况有着较大的差异。而不同类型的输入特征,相对于单一特征而言,包含着充分的、互补的情感信息。因此,本研究基于eNTERFACE数据库,提取了SIFT特征作为表情特征数据以及使用openSMILE工具包提取的1 582维声学及统计特征作为语音特征数据,分别运用支持向量机SVM和稀疏表示SR方法进行情感识别。最后采用决策层融合的方式,在该数据库上获得了比较好的效果。     

基于图文鲁棒性表征的社交媒体多模态命名实体识别

多模态命名实体识别（Multimodal Named Entity Recognition, MNER）旨在融合视觉图像信息提高文本实体识别的性能。以往的MNER研究主要集中多模态融合方法上,然而,文本和其对应的图像可能不完全匹配,而图文对齐噪声通常不可避免,不相关的图像区域可能会误导文本信息,导致模型性能下降。为此,本文提出了一种基于跨模态语义交互掩码模型（Cross-Modal Semantic Interaction Mask model, CMSIM）的噪声鲁棒MNER方法。该方法通过跨模态交互掩码机制构建文本-图像关系感知注意mask矩阵,并基于文本-图像交互掩码过滤视觉噪声信息并融合鲁棒图文特征,从而提升命名实体识别的性能。在两个公开数据集上测试结果表明,该模型能够提升MNER任务实体识别的准确率,证明了所提方法的有效性。     

非语言信息增强和对比学习的多模态情感分析模型

因具有突出的表征和融合能力,深度学习方法近年来越来越多地被应用于多模态情感分析领域。已有的研究大多利用文字、面部表情、语音语调等多模态信息对人物的情绪进行分析,并主要使用复杂的融合方法。然而,现有模型在长时间序列中未充分考虑情感的动态变化,导致情感分析性能不佳。针对这一问题,该文提出非语言信息增强和对比学习的多模态情感分析网络模型。首先,使用长程文本信息去促使模型学习音频和视频在长时间序列中的动态变化,然后,通过门控机制消除模态间的冗余信息和语义歧义。最后,使用对比学习加强模态间的交互,提升模型的泛化性。实验结果表明,在数据集CMU-MOSI上,该模型将皮尔逊相关系数(Corr)和F1值分别提高了3.7%和2.1%;而在数据集CMU-MOSEI上,该模型将“Corr”和“F1值”分别提高了1.4%和1.1%。因此,该文提出的模型可以有效利用模态间的交互信息,并去除信息冗余。     

基于RCBA模型的多模态讽刺识别

目前,大多数讽刺识别模型都是针对文本数据进行研究,推文中包含的图像数据未得到有效利用,导致讽刺识别任务准确度不高.针对这一问题,提出一种结合注意力机制的联合神经网络模型RCBA,用于图文混合的多模态讽刺识别任务.RCBA模型首先利用结合空间注意力机制和通道注意力机制的深度残差网络(ResNet101)进行图像特征自适应提取; 同时,使用图像属性分类器提取图像属性特征; 其次,将图像属性特征作为双向长短时记忆神经网络(Bi-LSTM)的初始状态,完成文本特征的提取; 随后,通过两层神经网络融合图像特征、图像属性特征和文本特征; 最后使用两层的反向传播网络(BP)作为分类器,完成讽刺识别.该模型在图文Twitter讽刺公开数据集上进行实验,与图文讽刺识别任务的基线模型相比,准确率和F1值分别提升了6.19%、5.29%.实验结果表明RCBA模型能够有效提取多模态数据特征,在讽刺识别任务上具有更好的性能.       

基于DBN的多模态音乐情感分类研究

文中提出了一种将音频与歌词两种模态结合并利用深度置信网络进行音乐情感分类的方法。在分类器的选择上,将传统的分类器用DBN进行了替换,且改进了子任务结合晚融合法(LFSM)来完成多模态的融合,并验证了该方法的可行性。实验结果表明,该方法对音乐情感分类效果较好,高于基于单一模态和传统分类器的分类方法。     

基于字符级联合网络特征融合的中文文本情感分析

针对传统卷积神经网络(CNN)同层神经元之间信息不能互传,无法充分利用同一层次上的特征信息,以及无法提取长距离上下文相关特征的问题.该文针对中文文本,提出字符级联合网络特征融合的模型进行情感分析,在字符级的基础上采用BiGRU和CNN-BiGRU并行的联合网络提取特征,利用CNN的强学习能力提取深层次特征,再利用双向门限循环神经网络(BiGRU)进行深度学习,加强模型对特征的学习能力.另一方面,利用BiGRU提取上下文相关的特征,丰富特征信息.最后在单方面上引入注意力机制进行特征权重分配,降低噪声干扰.在数据集上进行多组对比实验,该方法取得92.36%的F1值,结果表明本文提出的模型能有效的提高文本分类的准确率.       

多模态特征融合的人脸活体检测算法

针对人脸识别技术应用中,使用人脸图像或虚拟人脸等技术手段欺骗识别系统进而降低系统安全性的问题,提出了一种多模态特征融合的人脸活体检测算法.该算法将人脸的RGB图、深度图和红外图分别输入到3个相同的残差网络结构中提取特征;通过基于通道注意力机制的方式对3个模态的特征图进行融合;对融合特征做出决策.在CASIA-SURF数...     

基于注意力机制的多模态视听分离模型研究

目前,音频分离在信号处理领域得到了广泛的研究,但这些研究都只关注音频信息,忽略了与之相伴的视觉信息,造成了特征信息的丢失和浪费。现代社会中的信息呈现多模态趋势,为了更好地利用多模态信息实现音源分离任务,本文利用残差网络的ResNet-50变体网络和深层U-Net网络,并融合注意力机制构建视觉信息引导的音源分离模型VASMA。首先对有声视频进行分割得到视频帧和音频帧,将其分别传入视频分析模块和音频分析模块进行特征提取;其次把提取到的视觉特征和音频特征输入到特征融合模块;最后将得到的预测频谱图与真实频谱图进行定性比较,同时引入信号失真比SDR、信号干扰比SIR和信号伪影比SAR三个指标进行定量比较。本文模型在三个评价指标上的性能均有所提升,相比于其他模型,该模型在SDR指标上平均提升85.30%,SIR指标上平均提升70.34%,SAR指标上平均提升10.51%。最后的实验结果表明,相比之前的方法,本文模型在音源分离任务中实现了较优的效果。     

基于多模态融合的视觉问答传输注意网络

针对传统视觉问答任务无法完全捕捉多模态特征之间复杂相关性的缺点,文中提出了基于多模态融合的视觉问答传输注意网络。在特征提取部分,分别利用GloVe词嵌入+LSTM提取问题特征,并使用ResNet-152网络提取图像特征。通过3层传输注意网络进行多模态融合来学习全局多模态嵌入信息,进而使用该嵌入重新校准输入特征。文中设计了一个多模态传输注意学习架构,通过对传输网络进行重叠计算,使组合特征聚焦在图像和问题的细粒度部分,提高了预测答案的准确率。在VQA v1.0数据集上的实验结果表明,该模型的总体准确率达到了69.92%,显著优于其他5种主流视觉问答模型的准确率,证明了该模型的有效性和鲁棒性。     

基于混合学习模式的多模态学习分析机制探究

教育信息化的飞速发展促进了混合学习的应用与推广,推动了教学模式的革新,同时也产生了海量的多模态学习数据。通过对混合学习的多模态学习分析数据来源、数据特征和应用场景的分析,结合数据采集、处理和分析技术,构建了混合学习的多模态学习分析流程,分析了多模态数据与学习测量任务之间的关系,以实现对学习者学习过程的全面分析和精准评价,帮助教师和学习者更好地调整教学计划和学习策略,提高教与学的效率,并为后续相关研究的开展提供理论参考。     

基于光照感知权重融合的多模态行人检测算法

针对现有利用可见光与红外模态融合的行人目标检测算法在全天候环境下漏检率高的问题,提出一种基于光照感知权重融合的多模态行人目标检测算法。首先,使用引入高效通道注意力（ECA）机制模块的ResNet50作为特征提取网络,分别提取两个模态的特征;其次,对现有光照加权感知融合策略进行改进,通过设计一种新的光照感知加权融合机制获取可见光与红外模态的对应权重,并进行加权融合得到融合特征,从而降低算法的检测漏检率;最后,将从特征网络最后一层提取的多模态特征和生成的融合特征共同送入到检测网络,完成行人目标检测。实验结果表明,所提算法在KAIST数据集下具有良好的检测性能,在全天候下对行人目标的检测漏检率为11.16%。     

基于多模态融合的2D MR脑肿瘤图像分割算法研究

针对不同模态MR脑肿瘤图像呈现的肿瘤状态差异以及卷积神经网络(convolutional neural networks, CNNs)提取特征局限性的问题,提出了一种基于多模态融合的MR脑肿瘤图像分割方法。分割模型以U-net网络为原型,创新一种多模态图像融合方式以加强特征提取能力,同时引入通道交叉注意力机制(channel cross transformer, CCT)代替U-net中的跳跃连接结构,进一步弥补深浅层次的特征差距与空间依赖性,有效融合多尺度特征,加强对肿瘤的分割能力。实验在BraTS数据集上进行了多目标分割结果验证,通过定量分析对比前沿网络分割结果,表明该方法确有良好的分割性能,其分割出三种肿瘤区域的Dice系数分别达到80%、74%、71%。     

融合运动轨迹特征的多模态群体行为识别方法

群体行为识别从群体层面出发,研究群体的行为及个体的动作并进行分类.准确的群体行为识别结果对安防监控、体育视频分析等领域有重要意义.针对目前基于LSTM的群体行为识别无法充分挖掘个体间在群体层面时空特征的问题,提出一种基于LSTM-Transformer的群体-个体时空特征融合群体行为识别模型.在此基础上,首次将运动轨迹特征融入群体行为识别中,提出融合运动轨迹特征的群体行为识别模型,进一步提升模型的识别效果.实验结果表明,相比现有基于LSTM的模型,所提出模型的群体行为识别准确率提升8.3%,个体动作识别准确率提升2.1%;相比基于GCN的模型,所提出模型不仅识别效果有所提升,而且可应对群体人数变化的场景.