基于注意力融合网络的方面级多模态情感分类

方面级多模态情感分类任务的一个关键是从文本和视觉两种不同模态中准确地提取和融合互补信息, 以检测文本中提及的方面词的情感倾向. 现有的方法大多数只利用单一的上下文信息结合图片信息来分析, 存在对方面和上下文信息、视觉信息的相关性的识别不敏感, 对视觉中的方面相关信息的局部提取不够精准等问题, 此外, 在进行特征融合时, 部分模态信息不全会导致融合效果一般. 针对上述问题, 本文提出一种注意力融合网络AF-Net模型去进行方面级多模态情感分类, 利用空间变换网络STN学习图像中目标的位置信息来帮助提取重要的局部特征; 利用基于Transformer的交互网络对方面和文本以及图像之间的关系进行建模, 实现多模态交互; 同时补充了不同模态特征间的相似信息以及使用多头注意力机制融合多特征信息, 表征出多模态信息, 最后通过Softmax层取得情感分类的结果. 在两个基准数据集上进行实验和对比, 结果表明AF-Net能获得较好的性能, 提升方面级多模态情感分类的效果.     

方面级多模态协同注意图卷积情感分析模型

目的 方面级多模态情感分析日益受到关注,其目的是预测多模态数据中所提及的特定方面的情感极性。然而目前的相关方法大都对方面词在上下文建模、模态间细粒度对齐的指向性作用考虑不够,限制了方面级多模态情感分析的性能。为了解决上述问题,提出一个方面级多模态协同注意图卷积情感分析模型（aspect-level multimodal co-attention graph convolutional sentiment analysis model,AMCGC）来同时建模方面指向的模态内上下文语义关联和跨模态的细粒度对齐,以提升情感分析性能。方法 AMCGC为了获得方面导向的模态内的局部语义相关性,利用正交约束的自注意力机制生成各个模态的语义图。然后,通过图卷积获得含有方面词的文本语义图表示和融入方面词的视觉语义图表示,并设计两个不同方向的门控局部跨模态交互机制递进地实现文本语义图表示和视觉语义图表示的细粒度跨模态关联互对齐,从而降低模态间的异构鸿沟。最后,设计方面掩码来选用各模态图表示中方面节点特征作为情感表征,并引入跨模态损失降低异质方面特征的差异。结果 在两个多模态数据集上与9种方法进行对比,在Twitter-2015数据集中,相比于性能第2的模型,准确率提高了1.76%;在Twitter-2017数据集中,相比于性能第2的模型,准确率提高了1.19%。在消融实验部分则从正交约束、跨模态损失、交叉协同多模态融合分别进行评估,验证了AMCGC模型各部分的合理性。结论 本文提出的AMCGC模型能更好地捕捉模态内的局部语义相关性和模态之间的细粒度对齐,提升方面级多模态情感分析的准确性。     

融合多模态信息的产品摘要抽取模型

在网络购物平台上,简洁、真实、有效的产品摘要对于提升购物体验至关重要。网上购物无法接触到产品实物,产品图像所含信息是除产品文本描述外的重要视觉信息,因此融合包括产品文本和产品图像在内的多模态信息的产品摘要对于网络购物具有重要的意义。针对融合产品文本描述和产品图像的问题,提出一种融合多模态信息的产品摘要抽取模型。与一般的产品摘要任务的输入只包含产品文本描述不同,该模型引入了产品图像作为一种额外的信息来源,使抽取产生的摘要更丰富。具体来说,首先对产品文本描述和产品图像分别使用预训练模型进行特征表示,从产品文本描述中提取每个句子的文本特征表示,从产品图像中提取产品整体的视觉特征表示;然后使用基于低阶张量的多模态融合方法将每个句子的文本特征和整体视觉特征进行模态融合,得到每个句子的多模态特征表示;最后将所有句子的多模态特征表示输入摘要生成器中以生成最终的产品摘要。在CEPSUM (Chinese E-commerce Product SUMmarization) 2.0数据集上进行对比实验,在CEPSUM 2.0的3个数据子集上,该模型的平均ROUGE-1比TextRank高3.12个百分点,...     

面向方面级情感分类的特征融合学习网络

在方面级情感分类任务中,现有方法强化方面词信息能力较弱,局部特征信息利用不充分.针对上述问题,文中提出面向方面级情感分类的特征融合学习网络.首先,将评论处理为文本、方面和文本-方面的输入序列,通过双向Transformer的表征编码器得到输入的向量表示后,使用注意力编码器进行上下文和方面词的建模,获取隐藏状态,提取语义信息.然后,基于隐藏状态特征,采用方面转换组件生成方面级特定的文本向量表示,将方面信息融入上下文表示中.最后,对于方面级特定的文本向量通过文本位置加权模块提取局部特征后,与全局特征进行融合学习,得到最终的表示特征,并进行情感分类.在英文数据集和中文评论数据集上的实验表明,文中网络提升分类效果.     

基于可信细粒度对齐的多模态方面级情感分析

基于方面的多模态情感分析任务(Multimodal Aspect-Based Sentiment Analysis, MABSA),旨在根据文本和图像信息识别出文本中某特定方面词的情感极性。然而，目前主流的模型并没有充分利用不同模态之间的细粒度语义对齐，而是采用整个图像的视觉特征与文本中的每一个单词进行信息融合，忽略了图像视觉区域和方面词之间的强对应关系，这将导致图片中的噪声信息也被融合进最终的多模态表征中，因此提出了一个可信细粒度对齐模型TFGA(MABSA Based on Trusted Fine-grained Alignment)。具体来说，使用FasterRCNN捕获到图像中包含的视觉目标后，分别计算其与方面词之间的相关性，为了避免视觉区域与方面词的局部语义相似性在图像文本的全局角度不一致的情况，使用置信度对局部语义相似性进行加权约束，过滤掉不可靠的匹配对，使得模型重点关注图片中与方面词相关性最高且最可信的视觉局域信息，降低图片中多余噪声信息的影响；接着提出细粒度特征融合机制，将聚焦到的视觉信息与文本信息进行充分融合，以得到最终的情感分类结果。在Twitter数据集上进行实...     

视觉语言多模态预训练综述

在多模态机器学习领域,为特定任务而制作的人工标注数据昂贵,且不同任务难以进行迁移,从而需要大量重新训练,导致训练多个任务时效率低下、资源浪费。预训练模型通过以自监督为代表的方式进行大规模数据训练,对数据集中不同模态的信息进行提取和融合,以学习其中蕴涵的通用知识表征,从而服务于广泛的相关下游视觉语言多模态任务,这一方法逐渐成为人工智能各领域的主流方法。依靠互联网所获取的大规模图文对与视频数据,以及以自监督学习为代表的预训练方法的进步,视觉语言多模态预训练模型在很大程度上打破了不同视觉语言任务之间的壁垒,提升了多个任务训练的效率并促进了具体任务的性能表现。本文总结视觉语言多模态预训练领域的进展,首先对常见的预训练数据集和预训练方法进行汇总,然后对目前最新方法以及经典方法进行系统概述,按输入来源分为图像—文本预训练模型和视频—文本多模态模型两大类,阐述了各方法之间的共性和差异,并将各模型在具体下游任务上的实验情况进行汇总。最后,总结了视觉语言预训练面临的挑战和未来发展趋势。     

基于样本内外协同表示和自适应融合的多模态学习方法

多模态机器学习是一种新的人工智能范式,结合各种模态和智能处理算法以实现更高的性能.多模态表示和多模态融合是多模态机器学习的2个关键任务.目前,多模态表示方法很少考虑样本间的协同,导致特征表示缺乏鲁棒性,大部分多模态特征融合方法对噪声数据敏感.因此,在多模态表示方面,为了充分学习模态内和模态间的交互,提升特征表示的鲁棒性,提出一种基于样本内和样本间多模态协同的表示方法.首先,分别基于预训练的BERT,Wav2vec 2.0,Faster R-CNN提取文本特征、语音特征和视觉特征;其次,针对多模态数据的互补性和一致性,构建模态特定和模态共用2类编码器,分别学习模态特有和共享2种特征表示;然后,利用中心矩差异和正交性构建样本内协同损失函数,采用对比学习构建样本间协同损失函数;最后,基于样本内协同误差、样本间协同误差和样本重构误差设计表示学习函数.在多模态融合方面,针对每种模态可能在不同时刻表现出不同作用类型和不同级别的噪声,设计一种基于注意力机制和门控神经网络的自适应的多模态特征融合方法.在多模态意图识别数据集MIntRec和情感数据集CMU-MOSI,CMU-MOSEI上的实验结果表明,...     

面向图像文本的多模态处理方法综述

在深度学习领域,解决实际应用问题往往需要结合多种模态信息进行推理和决策,其中视觉和语言信息是交互过程中重要的两种模态。在诸多应用场景中,处理多模态任务往往面临着模型架构组织方式庞杂、训练方法效率低下等问题。综合以上问题,梳理了在图像文本多模态领域的近五年的代表性成果。首先从主流的多模态任务出发,介绍了相关文本和图像多模态数据集以及预训练目标。其次,考虑以Transformer为基础结构的视觉语言模型,结合特征提取方法,从多模态组织架构、跨模态融合方法等角度进行分析,总结比较不同处理策略的共性和差异性。然后从数据输入、结构组件等多角度介绍模型的轻量化方法。最后,对基于图像文本的多模态方法未来的研究方向进行了展望。     

基于自适应门控信息融合的多模态情感分析

多模态情感分析的目标是使用由多种模态提供的互补信息来实现可靠和稳健的情感分析。近年来,通过神经网络提取深层语义特征,在多模态情感分析任务中取得了显著的效果。而多模态信息的不同层次的特征融合也是决定情感分析效果的重要环节。因此,提出了一种基于自适应门控信息融合的多模态情感分析模型(AGIF)。首先,通过门控信息融合网络将Swin Transformer和ResNet提取的不同层次的视觉和色彩特征根据对情感分析的贡献进行有机融合。其次,由于情感的抽象性和复杂性,图像的情感往往由多个细微的局部区域体现,而迭代注意可以根据过去的信息精准定位这些情感判别区域。针对Word2Vec和GloVe无法解决一词多义的问题,采用了最新的ERNIE预训练模型。最后,利用自动融合网络“动态”融合各模态特征,解决了(拼接或TFN)确定性操作构建多模态联合表示所带来的信息冗余问题。在3个公开的真实数据集上进行了大量实验,证明了该模型的有效性。     

面向跨模态检索的协同注意力网络模型

随着图像、文本、声音、视频等多模态网络数据的急剧增长,人们对多样化的检索需求日益强烈,其中的跨模态检索受到广泛关注。然而,由于其存在异构性差异,在不同的数据模态之间寻找内容相似性仍然具有挑战性。现有方法大都将异构数据通过映射矩阵或深度模型投射到公共子空间,来挖掘成对的关联关系,即图像和文本的全局信息对应关系,而忽略了数据内局部的上下文信息和数据间细粒度的交互信息,无法充分挖掘跨模态关联。为此,文中提出文本-图像协同注意力网络模型(CoAN),通过选择性地关注多模态数据的关键信息部分来增强内容相似性的度量。CoAN利用预训练的VGGNet模型和循环神经网络深层次地提取图像和文本的细粒度特征,利用文本-视觉注意力机制捕捉语言和视觉之间的细微交互作用;同时,该模型分别学习文本和图像的哈希表示,利用哈希方法的低存储特性和计算的高效性来提高检索速度。在实验得出,在两个广泛使用的跨模态数据集上,CoAN的平均准确率均值(mAP)超过所有对比方法,文本检索图像和图像检索文本的mAP值分别达到0.807和0.769。实验结果说明,CoAN有助于检测多模态数据的关键信息区域和数据间细粒度的交互信息,充分挖掘跨模态数据的内容相似性,提高检索精度。     

基于注意力双层BiReGU模型的方面术语提取方法

方面术语提取是方面级情感分析中的一项重要任务,目的是从在线产品评论中提取关键的方面术语。针对方面术语提取问题,提出基于注意力机制的双层BiReGU模型。该模型在传统BiLSTM模型的基础上,引入双嵌入机制和ReGU（Residual Gated Unit）作为辅助,以提高特征提取的能力。使用BiReGU学习文本特征表示,更好地捕捉词语间的长期依赖关系;在第一层BiReGU之后引入注意力机制,为文本中每个词语赋予不同的权重,得到融合特征后新的知识表示,再输入到第二层BiReGU中学习更加全局的文本特征表示,最后完成提取方面术语的任务。分别在SemEval 2014的Restaurant数据集和Laptop数据集做了相关的对比实验,实验结果证明了所提出方法的有效性。     

融合位置信息的观点三元组情感分析模型

方面级情感分析主要有两大类任务：a)抽取任务,旨在抽取出语句中的方面词及观点词;b)分类任务,旨在分析情感极性。在这两种复合任务的基础上,针对目前方面词与观点词耦合性较差,导致分类任务出错这一问题,提出了融合位置信息的观点三元组情感分析模型OTPM。该模型利用双向长短时记忆网络获得文本表示,接着利用自注意力机制来增强方面词与情感词之间的关联性,之后在多任务框架中进行观点三元组的抽取,同时将抽取出的表示与位置信息进行加权融合,最后利用biaffine评分器分析加权后的方面词与观点词之间的情感依赖关系,并利用stop-on-non-I算法对三元组进行解码输出三元组。在Lap14、Rest14、Rest15、Rest16四个数据集上进行大量实验,结果表明所提模型优于一系列基线模型。     

基于图注意力网络的方面级别文本情感分析

方面级别文本情感分析旨在分析文本中不同方面所对应的情感趋向。传统基于神经网络的深度学习模型在文本情感分析的过程中,大多直接使用注意力机制而忽略了句法关系的重要性,即不能充分利用方面节点的上下文语义信息,导致情感趋向预测效果不佳。针对该问题,设计一种融合句法信息的图注意力神经网络模型,并将其应用于文本情感分析任务。利用预训练模型BERT进行词嵌入得到初始词向量,将初始词向量输入双向门控循环神经网络以增强特征向量与上下文信息之间的融合,防止重要上下文语义信息丢失。通过融合句法信息的图注意力网络加强不同方面节点之间的交互,从而提升模型的特征学习能力。在SemEval-2014数据集上的实验结果表明,该模型能够充分利用句法信息进行情感分析,其准确率较LSTM及其变种模型至少提升3%,对Restaurant评论进行情感分类预测时准确率高达83.3%。     

Effective deep learning based multimodal sentiment analysis from unstructured big data

More recently, as images, memes and graphics interchange formats have dominated social feeds, typographic/infographic visual content has emerged as an important social media component. This multimodal text combines text and image, defining a novel visual language that must be analysed because it has the potential to modify, confirm or grade the sentiment's polarity. The problem is how to effectively use information from the visual and textual content in image-text posts. This article presents a new deep learning-based multimodal sentiment analysis (MSA) model using multimodal data such as images, text and multimodal text (image with embedded text). The text analytic unit, the discretization control unit, the picture analytic component and the decision-making component are all included in this system. The discretization unit separates the text from the picture using the variant and channel augmented maximally stable extremal regions (VCA-MSERs) technique, which are then analysed as discrete elements and fed into the appropriate image and text analytics units. The text analytics system utilizes a stacked recurrent neural network with multilevel attention and feedback module (SRNN-MAFM) to detect the sentiment of the text. A deep convolutional neural network (CNN) structure with parallel-dilated convolution and self-attention module (PDC-SAM) is developed to forecast the emotional response to visual content. Finally, the decision component employs a Boolean framework including an OR function to evaluate and classify the output into three fine-grained sentiment classes: positive, neutral and negative. The proposed work is simulated in the python platform using the STS-Gold, Flickr 8k and B-T4SA datasets for sentiment analysis of text and visual and multimodal text. Simulation outcomes proved that the suggested method achieved better accuracy of 97.8%, 97.7% and 90% for text, visual and MSA individually compared to other methods.     

基于用户和产品表示的情感分析和评论质量检测联合模型

情感分析旨在判断文本的情感倾向,而评论质量检测旨在判断评论的质量.情感分析和评论质量检测是情感分析中两个关键的任务,这两个任务受多种因素的影响而密切相关,同一个产品的情感倾向具有相似的情感极性;同时,同一个用户发表的评论质量也具有一定的相似性.因此,为了更好地研究情感分类和评论质量检测任务的相关性以及用户信息和产品信息分别对情感分类和评论质量检测的影响,提出了一个情感分析和评论质量检测联合模型.首先,使用深度学习方法学习评论的文本信息作为联系两个任务的基础;然后,将用户评论及产品评论作为用户的表示和产品的表示;在此基础上,采用用户注意力机制对用户的表示进行编码,采用产品注意力机制对产品的表示进行编码;最后,将用户表示和产品表示结合起来进行情感分析和评论质量检测.通过在Yelp2013和Yelp2015数据集上的实验结果表明,该模型与现有的神经网络模型相比,能够有效地提高情感分析和在线评论质量检测的性能.     

基于注意力网络的属性级别情感分析

传统的属性级别情感分析方法缺乏对属性实体与前后文之间交互关系的研究,导致情感分类结果的正确率不高。为了有效提取文本特征,提出了一种利用多头注意力机制学习属性实体与前后文之间关系的属性级别情感分析模型（intra&inter multi-head attention network, IIMAN）,从而提高情感极性判断结果。该模型首先利用BERT预训练完成输入语句的词向量化;通过注意力网络中的内部多头注意力与联合多头注意力学习属性实体与前后文以及前后文内部间的关系;最后通过逐点卷积变换层、面向属性实体的注意力层和输出层完成情感极性分类。通过在三个公开的属性级别情感分析数据集Twitter、laptop、restaurant上的实验证明,IIMAN相较于其他基线模型,正确率和F₁值有了进一步的提升,能够有效提高情感极性分类结果。     

基于语序知识的双通道图卷积网络方面级情感分析

当前大多数基于图卷积网络的方面级情感分析方法利用文本的句法知识、语义知识、情感知识构建文本依赖,但少有研究利用文本语序知识构建文本依赖,导致图卷积网络不能有效地利用文本语序知识引导方面项学习上下文情感信息,从而限制了其性能。针对上述问题,提出基于语序知识的双通道图卷积网络(dual-channel graph convolutional network with word-order knowledge, WKDGCN)模型,该模型由语序图卷积网络(word-order graph convolutional network, WoGCN)和情感知识结合语义知识增强的句法图卷积网络(sentiment and attention-enhanced graph convolutional network, SAGCN)组成。具体地,WoGCN基于文本的语序知识构建图卷积网络,由文本的语序依赖引导方面项特征学习上下文情感信息;SAGCN利用SenticNet中的情感知识结合注意力机制增强句法依赖,利用增强后的句法依赖构建图卷积网络,以此引导方面项特征学习上下文情感信息;最后融合两个图卷积网...