基于BiGRU模型的多模态网络舆情情感分析

情感分析可以挖掘社会热点事件网络舆情的矛盾冲突,加强对多模态信息的分析处理,对网络舆情管理具有重要意义.本文基于BiGRU模型构建多模态网络舆情情感分析框架,运用word2vec提取文本特征,卷积神经网络提取图像特征,采用线性融合进行特征融合实现情感分析.与基线模型相比,本文的多模态网络舆情情感分析方法准确率、宏平均F1和加权平均F1的结果更优,对现实生活产生的舆情事件具有较好的情感识别效果.     

融合注意力机制的多模态影评情感分析

对影评进行情感分析有助于为用户提供更好的服务。针对单模态模型只能选择单一的语义信息和多个模态间的信息无法进行共享等问题,本文提出一种融合注意力机制的BiLSTM-VGG16的中文影评情感分析模型。首先使用BiLSTM、VGG16分别提取文本信息和图像信息的特征值,在注意力机制的作用下,突出文本中情感信息量的部分。在决策层融合文本特征和图像特征,最后使用softmax函数实现影评情感级分类。通过爬虫获取腾讯视频的评论对模型进行训练和测试。模型准确率为0.854,召回率为0.875,F值为0.854,AUC为0.861。由实验结果得出,相比于其他单模态分析模型,多模态分析模型在影视评论情感分析方面取得更好的效果。     

结合时间注意力机制和单模态标签自动生成策略的自监督多模态情感识别

大多数多模态情感识别方法旨在寻求一种有效的融合机制,构建异构模态的特征,从而学习到具有语义一致性的特征表示.然而,这些方法通常忽略了模态间情感语义的差异性信息.为解决这一问题,提出了一种多任务学习框架,联合训练1个多模态任务和3个单模态任务,分别学习多模态特征间的情感语义一致性信息和各个模态所含情感语义的差异性信息.首先,为了学习情感语义一致性信息,提出了一种基于多层循环神经网络的时间注意力机制(TAM),通过赋予时间序列特征向量不同的权重来描述情感特征的贡献度.然后,针对多模态融合,在语义空间进行了逐语义维度的细粒度特征融合.其次,为了有效学习各个模态所含情感语义的差异性信息,提出了一种基于模态间特征向量相似度的自监督单模态标签自动生成策略(ULAG).通过在CMU-MOSI,CMU-MOSEI,CH-SIMS 3个数据集上的大量实验结果证实,提出的TAM-ULAG模型具有很强的竞争力:在分类指标(Acc2,F1)和回归指标(MAE,Corr)上与基准模型的指标相比均有所提升;对于二分类识别准确率,在CMU-MOSI和CMU-MOSEI数据集上分别为87.2％和85.8％,而在CH-SIMS数据集上达到81.47％.这些研究结果表明,同时学习多模态间的情感语义一致性信息和各模态情感语义的差异性信息,有助于提高自监督多模态情感识别方法的性能.     

多模态融合情感分析模型研究

本文提出了一种新颖的多模态情感分析模型。该方法利用发音连续帧上的特定界标的位移来提取发音特征。并分析每个界标时间变量的时间序列。并提取主要的视觉特征,然后将所有特征融合起来,最终构建出特征矢量,以此对情感进行分析。     

基于表情和语音的多模态情感识别研究

由于单一特征的局限性,单一模态的情感识别研究往往由于含有的有效信息量较少或含有的噪声信息过多而导致识别结果与实际情况有着较大的差异。而不同类型的输入特征,相对于单一特征而言,包含着充分的、互补的情感信息。因此,本研究基于eNTERFACE数据库,提取了SIFT特征作为表情特征数据以及使用openSMILE工具包提取的1 582维声学及统计特征作为语音特征数据,分别运用支持向量机SVM和稀疏表示SR方法进行情感识别。最后采用决策层融合的方式,在该数据库上获得了比较好的效果。     

非语言信息增强和对比学习的多模态情感分析模型

因具有突出的表征和融合能力,深度学习方法近年来越来越多地被应用于多模态情感分析领域.已有的研究大多利用文字、面部表情、语音语调等多模态信息对人物的情绪进行分析,并主要使用复杂的融合方法.然而,现有模型在长时间序列中未充分考虑情感的动态变化,导致情感分析性能不佳.针对这一问题,该文提出非语言信息增强和对比学习的多模态情感分析网络模型.首先,使用长程文本信息去促使模型学习音频和视频在长时间序列中的动态变化,然后,通过门控机制消除模态间的冗余信息和语义歧义.最后,使用对比学习加强模态间的交互,提升模型的泛化性.实验结果表明,在数据集CMU-MOSI上,该模型将皮尔逊相关系数(Corr)和F1值分别提高了3.7%和2.1%;而在数据集CMU-MOSEI上,该模型将\"Corr\"和\"F1值\"分别提高了1.4%和1.1%.因此,该文提出的模型可以有效利用模态间的交互信息,并去除信息冗余.     

基于RCBA模型的多模态讽刺识别

目前,大多数讽刺识别模型都是针对文本数据进行研究,推文中包含的图像数据未得到有效利用,导致讽刺识别任务准确度不高.针对这一问题,提出一种结合注意力机制的联合神经网络模型RCBA,用于图文混合的多模态讽刺识别任务.RCBA模型首先利用结合空间注意力机制和通道注意力机制的深度残差网络(ResNet101)进行图像特征自适应提取; 同时,使用图像属性分类器提取图像属性特征; 其次,将图像属性特征作为双向长短时记忆神经网络(Bi-LSTM)的初始状态,完成文本特征的提取; 随后,通过两层神经网络融合图像特征、图像属性特征和文本特征; 最后使用两层的反向传播网络(BP)作为分类器,完成讽刺识别.该模型在图文Twitter讽刺公开数据集上进行实验,与图文讽刺识别任务的基线模型相比,准确率和F1值分别提升了6.19%、5.29%.实验结果表明RCBA模型能够有效提取多模态数据特征,在讽刺识别任务上具有更好的性能.       

基于DBN的多模态音乐情感分类研究

文中提出了一种将音频与歌词两种模态结合并利用深度置信网络进行音乐情感分类的方法。在分类器的选择上,将传统的分类器用DBN进行了替换,且改进了子任务结合晚融合法(LFSM)来完成多模态的融合,并验证了该方法的可行性。实验结果表明,该方法对音乐情感分类效果较好,高于基于单一模态和传统分类器的分类方法。     

基于字符级联合网络特征融合的中文文本情感分析

针对传统卷积神经网络(CNN)同层神经元之间信息不能互传,无法充分利用同一层次上的特征信息,以及无法提取长距离上下文相关特征的问题.该文针对中文文本,提出字符级联合网络特征融合的模型进行情感分析,在字符级的基础上采用BiGRU和CNN-BiGRU并行的联合网络提取特征,利用CNN的强学习能力提取深层次特征,再利用双向门限循环神经网络(BiGRU)进行深度学习,加强模型对特征的学习能力.另一方面,利用BiGRU提取上下文相关的特征,丰富特征信息.最后在单方面上引入注意力机制进行特征权重分配,降低噪声干扰.在数据集上进行多组对比实验,该方法取得92.36%的F1值,结果表明本文提出的模型能有效的提高文本分类的准确率.       

多模态特征融合的人脸活体检测算法

针对人脸识别技术应用中,使用人脸图像或虚拟人脸等技术手段欺骗识别系统进而降低系统安全性的问题,提出了一种多模态特征融合的人脸活体检测算法.该算法将人脸的RGB图、深度图和红外图分别输入到3个相同的残差网络结构中提取特征;通过基于通道注意力机制的方式对3个模态的特征图进行融合;对融合特征做出决策.在CASIA-SURF数...     

基于多模态融合的视觉问答传输注意网络

针对传统视觉问答任务无法完全捕捉多模态特征之间复杂相关性的缺点,文中提出了基于多模态融合的视觉问答传输注意网络。在特征提取部分,分别利用GloVe词嵌入+LSTM提取问题特征,并使用ResNet-152网络提取图像特征。通过3层传输注意网络进行多模态融合来学习全局多模态嵌入信息,进而使用该嵌入重新校准输入特征。文中设计了一个多模态传输注意学习架构,通过对传输网络进行重叠计算,使组合特征聚焦在图像和问题的细粒度部分,提高了预测答案的准确率。在VQA v1.0数据集上的实验结果表明,该模型的总体准确率达到了69.92%,显著优于其他5种主流视觉问答模型的准确率,证明了该模型的有效性和鲁棒性。     

基于混合学习模式的多模态学习分析机制探究

教育信息化的飞速发展促进了混合学习的应用与推广,推动了教学模式的革新,同时也产生了海量的多模态学习数据。通过对混合学习的多模态学习分析数据来源、数据特征和应用场景的分析,结合数据采集、处理和分析技术,构建了混合学习的多模态学习分析流程,分析了多模态数据与学习测量任务之间的关系,以实现对学习者学习过程的全面分析和精准评价,帮助教师和学习者更好地调整教学计划和学习策略,提高教与学的效率,并为后续相关研究的开展提供理论参考。     

基于光照感知权重融合的多模态行人检测算法

针对现有利用可见光与红外模态融合的行人目标检测算法在全天候环境下漏检率高的问题,提出一种基于光照感知权重融合的多模态行人目标检测算法。首先,使用引入高效通道注意力（ECA）机制模块的ResNet50作为特征提取网络,分别提取两个模态的特征;其次,对现有光照加权感知融合策略进行改进,通过设计一种新的光照感知加权融合机制获取可见光与红外模态的对应权重,并进行加权融合得到融合特征,从而降低算法的检测漏检率;最后,将从特征网络最后一层提取的多模态特征和生成的融合特征共同送入到检测网络,完成行人目标检测。实验结果表明,所提算法在KAIST数据集下具有良好的检测性能,在全天候下对行人目标的检测漏检率为11.16%。     

基于多模态融合的2D MR脑肿瘤图像分割算法研究

针对不同模态MR脑肿瘤图像呈现的肿瘤状态差异以及卷积神经网络(convolutional neural networks, CNNs)提取特征局限性的问题,提出了一种基于多模态融合的MR脑肿瘤图像分割方法。分割模型以U-net网络为原型,创新一种多模态图像融合方式以加强特征提取能力,同时引入通道交叉注意力机制(channel cross transformer, CCT)代替U-net中的跳跃连接结构,进一步弥补深浅层次的特征差距与空间依赖性,有效融合多尺度特征,加强对肿瘤的分割能力。实验在BraTS数据集上进行了多目标分割结果验证,通过定量分析对比前沿网络分割结果,表明该方法确有良好的分割性能,其分割出三种肿瘤区域的Dice系数分别达到80%、74%、71%。     

融合运动轨迹特征的多模态群体行为识别方法

群体行为识别从群体层面出发,研究群体的行为及个体的动作并进行分类.准确的群体行为识别结果对安防监控、体育视频分析等领域有重要意义.针对目前基于LSTM的群体行为识别无法充分挖掘个体间在群体层面时空特征的问题,提出一种基于LSTM-Transformer的群体-个体时空特征融合群体行为识别模型.在此基础上,首次将运动轨迹特征融入群体行为识别中,提出融合运动轨迹特征的群体行为识别模型,进一步提升模型的识别效果.实验结果表明,相比现有基于LSTM的模型,所提出模型的群体行为识别准确率提升8.3%,个体动作识别准确率提升2.1%;相比基于GCN的模型,所提出模型不仅识别效果有所提升,而且可应对群体人数变化的场景.       

基于多头注意力机制的模型层融合维度情感识别方法

近年来,情感识别成为了人机交互领域的研究热点问题,而多模态维度情感识别能够检测出细微情感变化,得到了越来越多的关注多模态维度情感识别中需要考虑如何进行不同模态情感信息的有效融合.针对特征层融合存在有效特征提取和模态同步的问题、决策层融合存在不同模态特征信息的关联问题,本文采用模型层融合策略,提出了基于多头注意力机制的多...     

基于注意力机制的多模态图像语义分割

当前许多语义分割模型利用的训练数据是RGB图像,在一些极端的环境下其模型的稳定性容易受到很大的影响,不能满足夜间场景自动驾驶的实际需求。为了解决夜间场景的语义分割问题,将ResNet-152作为特征提取网络,构建了一种融合轻量化注意力模块的多模态双编码器-解码器模型。双编码器从RGB-T两种模态中提取关键信息通过注意力模块后进行融合,然后将提取到的特征信息送入解码器,分阶段拼接上采样特征图和各层编码器提取的特征图,再通过卷积层进行特征提取,通过上采样还原分辨率,最后进行语义分割。实验结果表明,该模型在MFNet测试集上的平均准确率和平均交并比分别为76%和55.7%,相比于其他网络模型在指标上取得了一定的提升,达到了应用RGB-T模态图像精准进行日间及夜间场景语义分割的基本要求。     

全局卷积与亲和度融合的多模态特征蒸馏情感识别方法

为提升人机交互时的用户体验以及满足多元化用途的需求,交互设备正逐步引入情感智能技术,其中,实现产业和技术有效融合的前提是可以对人类情感状态进行正确的识别,然而,这仍然是一个具有挑战性的话题。随着多媒体时代的快速发展,越来越多可利用的模态信息便逐步被应用到情感识别系统中。因此,本文提出一种基于特征蒸馏的多模态情感识别模型。考虑到情感表达往往与音频信号的全局信息密切相关,提出了适应性全局卷积（Adaptive Global Convolution, AGC）来提升有效感受野的范围,特征图重要性分析（Feature Map Importance Analysis,FMIA）模块进一步强化情感关键特征。音频亲和度融合（Audio Affinity Fusion, AAF）模块通过音频-文本模态间的内在相关性建模亲和度融合权重,使两种模态的情感信息得到有效融合。此外,为了提升模型泛化能力,有效利用教师模型中概率分布所携带的隐藏知识,帮助学生模型获取更高级别的语义特征,提出了在多模态模型上使用特征蒸馏。最后,在交互式情感二元动作捕捉（Interactive Emotional Dyadic Mot...     

基于多模态的车辆行人检测技术研究

针对单一传感器在复杂路况以及恶劣天气情况下车辆行人检测效果不佳,搭建了一套可见光、可见光偏振、短波红外和长波红外多模态数据采集系统,构建了一个多模态数据集,并提出了一种多模态车辆行人检测算法。首先,提出了一种基于改进型SIFT特征点的多尺度部分强度不变特征的异源图像配准算法;然后,提出基于YOLOv5多模态数据目标检测网络。最终实现了平均精度在日间数据集1.0%的提升,日间夜间混合数据集10.9%的提升。