基于模态信息交互的多模态情感分析

基于全局语义交互的粗粒度注意力机制不能有效利用各模态间的语义关联提取到模态信息中的关键部分,从而影响分类结果。针对这个问题提出了一个模态信息交互模型MII(modal information interaction),通过细粒度注意力机制提取模态的局部语义关联特征并用于情感分类。首先,模态内信息交互模块用于构建模态内的联系并生成模态内交互特征,随后模态间信息交互模块利用图像(文本)的模态内交互特征生成门控向量来关注文本(图像)中相关联的部分,从而得到模态间的交互特征。考虑到特征中存在的冗余信息,模型加入了自适应特征融合模块,从全局特征层面对特征进行选择,增强了包含情感信息的关键特征的表达能力,弱化了冗余信息对分类结果的影响。在MVSA-Single和MVSA-Multi两个公开数据集上的实验结果表明,该模型优于一系列基线模型。     

基于Transformer-ESIM注意力机制的多模态情绪识别

为了提高语音和文本融合的情绪识别准确率,提出一种基于Transformer-ESIM(Transformer-enhanced sequential inference model)注意力机制的多模态情绪识别方法.传统循环神经网络在语音和文本序列特征提取时存在长期依赖性,其自身顺序属性无法捕获长距离特征,因此采用Tra...     

基于注意力机制的多模态幽默识别

近年来,幽默识别逐渐成为自然语言处理领域的热点研究之一。已有的研究多聚焦于文本上的幽默识别,在多模态数据上开展此任务的研究相对较少,现有方法在学习模态间交互信息上存在不足。该文提出了基于注意力机制的模态融合模型,首先对单模态上下文进行独立编码,得到单一模态的特征向量;然后将注意力机制作用于两种模态的特征序列,使用层级注意力结构捕获多模态信息在段落上下文中的关联与交互。该文在UR-FUNNY公开数据集上进行了实验,相比之前最优结果在精确率上提升了1.37%。实验表明,该文提出的模型能很好地对多模态上下文进行建模,引入多模态交互信息和段落上下文信息可提高幽默识别的性能。     

基于多层次特征融合注意力网络的多模态情感分析

现有分析社会媒体中用户情感的方法,大多依赖于某一种模态数据的信息,缺少多种模态数据的信息融合,并且现有方法缺少分析多种模态数据的信息层次结构之间的关联。针对上述问题,该文提出多层次特征融合注意力网络,在分别提取社会媒体中文本和图像多层次特征的基础上,通过计算“图文”特征与“文图”特征,实现多模态的情感特征互补,从而准确感知社会媒体中用户的情感。在Yelp和MultiZOL数据集上的实验结果表明,该文方法可有效提升多模态数据情感分类的准确率。     

基于双向注意力机制的多模态情感分类方法

社交网络的发展为情感分析研究提供了大量的多模态数据.结合多模态内容进行情感分类可以利用模态间数据的关联信息,从而避免单一模态对总体情感把握不全面的情况.使用简单的共享表征学习方法无法充分挖掘模态间的互补特征,因此提出多模态双向注意力融合(Multimodal Bidirectional Attention Hybrid...     

面向多模态情感分析的双模态交互注意力

针对现有多模态情感分析方法中存在情感分类准确率不高,难以有效融合多模态特征等问题,通过研究分析相邻话语之间的依赖关系和文本、语音和视频模态之间的交互作用,建立一种融合上下文和双模态交互注意力的多模态情感分析模型.该模型首先采用双向门控循环单元(BiGRU)捕获各模态中话语之间的相互依赖关系,得到各模态的上下文信息.为了...     

基于感知重采样和多模态融合的连续情感识别

情感识别在人机交互中发挥着重要的作用,连续情感识别因其能检测到更广泛更细微的情感而备受关注。在多模态连续情感识别中,针对现有方法获取的时序信息包含较多冗余以及多模态交互信息捕捉不全面的问题,提出基于感知重采样和多模态融合的连续情感识别方法。首先感知重采样模块通过非对称交叉注意力机制去除模态冗余信息,将包含时序关系的关键特征压缩到隐藏向量中,降低后期融合的计算复杂度。其次多模态融合模块通过交叉注意力机制捕捉模态间的互补信息,并利用自注意力机制获取模态内的隐藏信息,使特征信息更丰富全面。在Ulm-TSST和Aff-Wild2数据集上唤醒度和愉悦度的CCC均值分别为63.62%和50.09%,证明了该模型的有效性。     

基于注意力机制的多模态人体行为识别算法

提出了基于注意力机制的多模态人体行为识别算法;针对多模态特征的有效融合问题,设计基于注意力机制的双流特征融合卷积网络(TAM3DNet, two-stream attention mechanism 3D network);主干网络采用结合注意力机制的注意力3D网络(AM3DNet, attention mechanism 3D network),将特征图与注意力图进行加权后得到加权行为特征,从而使网络聚焦于肢体运动区域的特征,减弱背景和肢体静止区域的影响;将RGB-D数据的颜色和深度两种模态数据分别作为双流网络的输入,从两条分支网络得到彩色和深度行为特征,然后将融合特征进行分类得到人体行为识别结果。     

基于注意力的多层次混合融合的多任务多模态情感分析

针对多模态情感分析中的模态内部特征表示和模态间的特征融合问题,结合注意力机制和多任务学习,提出了一种基于注意力的多层次混合融合的多任务多模态情感分析模型MAM(multi-level attention and multi-task)。首先,利用卷积神经网络和双向门控循环单元来实现单模态内部特征的提取;其次,利用跨模态注意力机制实现模态间的两两特征融合;再次,在不同层次使用自注意力机制实现模态贡献度选择;最后,结合多任务学习获得情感和情绪的分类结果。在公开的CMU-MOSEI数据集上的实验结果表明,情感和情绪分类的准确率和F;值均有所提升。     

基于注意力融合网络的方面级多模态情感分类

方面级多模态情感分类任务的一个关键是从文本和视觉两种不同模态中准确地提取和融合互补信息, 以检测文本中提及的方面词的情感倾向. 现有的方法大多数只利用单一的上下文信息结合图片信息来分析, 存在对方面和上下文信息、视觉信息的相关性的识别不敏感, 对视觉中的方面相关信息的局部提取不够精准等问题, 此外, 在进行特征融合时, 部分模态信息不全会导致融合效果一般. 针对上述问题, 本文提出一种注意力融合网络AF-Net模型去进行方面级多模态情感分类, 利用空间变换网络STN学习图像中目标的位置信息来帮助提取重要的局部特征; 利用基于Transformer的交互网络对方面和文本以及图像之间的关系进行建模, 实现多模态交互; 同时补充了不同模态特征间的相似信息以及使用多头注意力机制融合多特征信息, 表征出多模态信息, 最后通过Softmax层取得情感分类的结果. 在两个基准数据集上进行实验和对比, 结果表明AF-Net能获得较好的性能, 提升方面级多模态情感分类的效果.     

基于注意力机制和混合网络的小群体情绪识别

针对自然状态下小群体图像的情绪分类,提出基于面部、场景和骨架3种视觉线索的混合深度网络,分别利用3类卷积神经网络(convolutional neural networks,CNN)分支独立学习,通过决策融合获得最终的情绪分类。其中面部CNN通过注意力机制学习不同人脸的权重,获得整张图片关于人脸的特征表示,利用large-margin softmax (L-softmax)损失函数进行判别性学习;使用先进的姿势估计方法 OpenPose获得图像中所有人体骨架,作为基于骨架卷积神经网络的输入。考虑图片的场景信息,将整张图片作为基于场景CNN的输入。实验结果表明,改进模型对自然状态下3种类型的小群体情绪识别鲁棒,取得了较高的准确率。     

基于分块注意力机制和交互位置关系的群组活动识别

复杂场景下的群体活动识别是一项具有挑战性的任务,它涉及一组人在场景中的相互作用和相对空间位置关系。针对当前复杂场景下群组行为识别方法缺乏精细化设计以及没有充分利用个体间交互式特征的问题,提出了基于分块注意力机制和交互位置关系的网络框架,进一步考虑个体肢体语义特征,同时挖掘个体间交互特征相似性与行为一致性的关系。首先,采用原始视频序列和光流图像序列作为网络的输入,并引入一种分块注意力模块来细化个体的肢体运动特征;然后,将空间位置和交互式距离作为个体的交互特征;最后,将个体运动特征和空间位置关系特征融合为群体场景无向图的节点特征,并利用图卷积网络（GCN）进一步捕获全局场景下的活动交互,从而识别群体活动。实验结果表明,此框架在两个群组行为识别数据集（CAD和CAE）上分别取得了92.8%和97.7%的识别准确率,在CAD数据集上与成员关系图（ARG）和置信度能量循环网络（CERN）相比识别准确率分别提高了1.8个百分点和5.6个百分点,同时结合消融实验结果验证了所提算法有较高的识别精度。     

基于多任务学习的多语言语音情感识别方法

由于人类情感的表达受文化和社会的影响,不同语言语音情感的特征差异较大,导致单一语言语音情感识别模型泛化能力不足。针对该问题,提出了一种基于多任务注意力的多语言语音情感识别方法。通过引入语言种类识别辅助任务,模型在学习不同语言共享情感特征的同时也能学习各语言独有的情感特性,从而提升多语言情感识别模型的多语言情感泛化能力。在两种语言的维度情感语料库上的实验表明,所提方法相比于基准方法在Valence和Arousal任务上的相对UAR均值分别提升了3.66%~5.58%和1.27%~6.51%;在四种语言的离散情感语料库上的实验表明,所提方法的相对UAR均值相比于基准方法提升了13.43%~15.75%。因此,提出的方法可以有效地抽取语言相关的情感特征并提升多语言情感识别的性能。     

基于混合分布注意力机制与混合神经网络的语音情绪识别方法

针对现有语音情绪识别中存在无关特征多和准确率较差的问题,提出一种基于混合分布注意力机制与混合神经网络的语音情绪识别方法。该方法在2个通道内,分别使用卷积神经网络和双向长短时记忆网络进行语音的空间特征和时序特征提取,然后将2个网络的输出同时作为多头注意力机制的输入矩阵。同时,考虑到现有多头注意力机制存在的低秩分布问题,在注意力机制计算方式上进行改进,将低秩分布与2个神经网络的输出特征的相似性做混合分布叠加,再经过归一化操作后将所有子空间结果进行拼接,最后经过全连接层进行分类输出。实验结果表明,基于混合分布注意力机制与混合神经网络的语音情绪识别方法比现有其他方法的准确率更高,验证了所提方法的有效性。     

融合动作特征的多模态情绪识别

近年来,利用计算机技术实现基于多模态数据的情绪识别成为自然人机交互和人工智能领域重要 的研究方向之一。利用视觉模态信息的情绪识别工作通常都将重点放在脸部特征上,很少考虑动作特征以及融合 动作特征的多模态特征。虽然动作与情绪之间有着紧密的联系,但是从视觉模态中提取有效的动作信息用于情绪 识别的难度较大。以动作与情绪的关系作为出发点,在经典的 MELD 多模态情绪识别数据集中引入视觉模态的 动作数据,采用 ST-GCN 网络模型提取肢体动作特征,并利用该特征实现基于 LSTM 网络模型的单模态情绪识别。 进一步在 MELD 数据集文本特征和音频特征的基础上引入肢体动作特征,提升了基于 LSTM 网络融合模型的多 模态情绪识别准确率,并且结合文本特征和肢体动作特征提升了上下文记忆模型的文本单模态情绪识别准确率, 实验显示虽然肢体动作特征用于单模态情绪识别的准确度无法超越传统的文本特征和音频特征,但是该特征对于 多模态情绪识别具有重要作用。基于单模态和多模态特征的情绪识别实验验证了人体动作中含有情绪信息,利用 肢体动作特征实现多模态情绪识别具有重要的发展潜力。     

基于注意力机制修正网络的行人属性识别

针对现有行人属性识别方法模型复杂,识别性能较低的问题,提出一种端到端的行人属性识别方法。构建注意力机制修正网络,在主干网络的不同卷积层后添加注意力分支,以提取注意力特征关注属性相关空域;提出一种注意力机制辅助训练方法,将注意力分支与主网络在预测级进行损失融合,通过梯度反向传播修正主网络权重,实现主网络的有效训练;在预测阶段,利用权重修正后的主网络实现属性识别。在RAP数据集上的实验结果表明,提出方法在没有额外辅助信息、不增加主网络体积和计算量的情况下,提升了行人属性识别性能。     

基于超列注意力机制的京剧人物识别

为了克服京剧人物视觉特征提取的难点及满足京剧人物实时识别的需求,提出基于超列注意力机制的卷积神经网络(HCA-CNN)来实现面向京剧人物的细粒度特征提取和识别.该网络中用于关键区域定位的注意力机制借鉴了用于图像分割和细粒度定位的超列(HyperColumn)特征思想,通过超列集基于像素点的形式串联主干分类网络来形成多层...     

多重分形在语音情感识别中的研究

为了克服语音情感线性参数在刻画不同情感类型特征上的不足,将多重分形理论引入语音情感识别中来,通过分析不同语音情感状态下的多重分形特征,提取多重分形谱参数和广义Hurst指数作为新的语音情感特征参数,并结合传统语音声学特征采用支持向量机(SVM)进行语音情感识别。实验结果表明,通过非线性参数的介入,与仅使用传统语音线性特征的识别方法相比,识别系统的准确率和稳定性得到有效提高,因此为语音情感识别提供了一个新的思路。     

基于注意力机制网络的航运监控图像识别模型

针对已有的航运监控图像识别模型C3D里中级表征学习能力有限,有效特征的提取容易受到噪声的干扰,且特征的提取忽视了整体特征与局部特征之间关系的问题,提出了一种新的基于注意力机制网络的航运监控图像识别模型。该模型基于卷积神经网络（CNN）框架,首先,通过特征提取器提取图像的浅层次特征;然后,基于CNN对不同区域激活特征的不同响应强度,生成注意力信息并实现对局部判别性特征的提取;最后,使用多分支的CNN结构融合局部判别性特征和图像全局纹理特征,从而利用局部判别性特征和图像全局纹理特征的交互关系提升CNN学习中级表征的能力。实验结果表明,所提出的模型在航运图像数据集上的识别准确率达到91.8%,相较于目前的C3D模型提高了7.2个百分点,相较于判别滤波器组卷积神经网络（DFL-CNN）模型提高了0.6个百分点。可见所提模型能够准确判断船舶的状态,可以有效应用于航运监控项目。