融合注意力机制的多模态影评情感分析

对影评进行情感分析有助于为用户提供更好的服务。针对单模态模型只能选择单一的语义信息和多个模态间的信息无法进行共享等问题,本文提出一种融合注意力机制的BiLSTM-VGG16的中文影评情感分析模型。首先使用BiLSTM、VGG16分别提取文本信息和图像信息的特征值,在注意力机制的作用下,突出文本中情感信息量的部分。在决策层融合文本特征和图像特征,最后使用softmax函数实现影评情感级分类。通过爬虫获取腾讯视频的评论对模型进行训练和测试。模型准确率为0.854,召回率为0.875,F值为0.854,AUC为0.861。由实验结果得出,相比于其他单模态分析模型,多模态分析模型在影视评论情感分析方面取得更好的效果。     

基于BERT和交互注意力的方面级情感分类模型

目前针对方面级的情感分类模型往往忽略了对方面词的单独建模,传统的注意力机制模型可能会给句子中的情感词分配较低的注意力权重。鉴于此,本文提出一种结合交互注意力网络(IAN)和双向编码器表征技术(BERT)的情感分类方法。首先将输入分为3部分：文本、方面词、文本+方面词。通过BERT得到词向量,双向门控单元(BiGRU)负责进行语义信息的提取,隐藏向量分别输入特征提取层,最后将2部分进行拼接,输入softmax层得到情感极性。通过在公开数据集上的实验证明,本文的模型效果能够比基线模型提高5%的精确度。     

基于深度学习的体育评论文本情感分类研究

体育赛事作为公共话题，是网络舆情的来源之一。针对传统词向量语义表示质量不高，深度学习模型特征提取能力不强等问题，提出了基于ERNIE-BiSRU-AT的体育赛事评论文本分类模型。利用预训练模型ERNIE提取词的动态向量表示，BiSRU-AT模块捕获文本的上下文序列特征，并聚焦于对情感极性贡献较大的词。在真实微博女排赛事评论数据集进行实验，ERNIE-BiSRU-AT模型F1分数达到92.35%,高于实验对比的其他模型，验证了模型的有效性。     

基于多头注意力机制的模型层融合维度情感识别方法

近年来,情感识别成为了人机交互领域的研究热点问题,而多模态维度情感识别能够检测出细微情感变化,得到了越来越多的关注多模态维度情感识别中需要考虑如何进行不同模态情感信息的有效融合。针对特征层融合存在有效特征提取和模态同步的问题、决策层融合存在不同模态特征信息的关联问题,本文采用模型层融合策略,提出了基于多头注意力机制的多模态维度情感识别方法,分别构建音频模型、视频模型和多模态融合模型对信息流进行深层特征学习,最后放入双向长短时网络中得到最终情感预测值。所提方法相比于不同基线方法在激活度和愉悦度上均取得了最佳的性能,可以在高层维度对情感信息有效捕捉,进而更好的对音视频信息进行有效融合。      

基于CNNCIFG-Attention模型的文本情感分类

神经网络在处理中文文本情感分类任务时,文本显著特征提取能力较弱,学习速率也相对缓慢.针对这一问题,文中提出一种基于注意力机制的混合网络模型.首先对文本语料进行预处理,利用传统的卷积神经网络对样本向量的局部信息进行特征提取,并将其输入耦合输入和遗忘门网络模型,用以学习前后词句之间的联系.随后,再加入注意力机制层,对深层次...     

基于多模态双向导向注意的视觉问答

针对视觉问答(VQA)任务中现存深度协同注意模型只考虑问题引导图像的单向注意方式,导致多模态学习交互性不足的问题,提出一种多模态双向导向注意力网络.该网络由多模态特征提取模块、双向导向注意力模块、特征融合模块以及分类器组成.将提取出的图像和问题特征分别经过层层注意后输出加权的注意特征;经过特征线性融合后送入softma...     

基于情感融合和层次注意力机制的情感分析

针对两个反义词在相似语境下转化成词向量后空间距离相近,容易造成情感信息丢失,循环神经网络等的特征提取方式容易导致网络依赖增强,难以充分提取局部性特征。针对第一个问题,本文提出情感嵌入模块,在词嵌入的过程中加入情感向量与语义信息作为网络的输入层;针对第二个问题,本文提出层次注意力机制,将融合后的词向量切片形成两个子序列,将单词的词向量输入到双向门控循环网络,利用注意力机制对隐藏层进行加权计算,获得子序列文本信息,通过多个网络层获得整个文本序列信息;最后,经过softmax函数输出文本情感极性。在NLPIR微博语料库和NLPCC2014的微博公开数据集进行实验,表明该情感分析模型在准确率上有所提高,证明了模型的有效性。     

基于ERNIE-BiLSTM的社交网络文本情感分析

社交网络文本情感分析任务中,因短文本信息模糊等特点,传统的词向量模型无法更好地表示词的语义特征,当前短文本情感分类任务多以二分类研究为主,将结果分类为积极情感与消极情感,未能对分类结果更细入的划分。文中提出一种舆情情感分析的ERNIE-BiLSTM方法,实现了对用户评论情感的七种情绪分类,包括恐惧、厌恶、乐观、惊喜、感恩、悲伤和愤怒。ERNIE-BiLSTM方法利用ERNIE预训练模型获取文本的语义信息,结合BiLSTM提取文本的双向特征,最后使用softmax函数获得最终的情感分类结果。实验结果表明,ERNIE-BiLSTM方法具有87.7%的精确率、86.9%的召回率和86.8%的F1得分,比其他方法得到了有效提升。     

基于Bi-GRU和双层注意力机制的商品评论情感分析

本文针对现有商品评论情感分析模型均没有对商品评论文本进行细粒度划分的缺点,提出一种基于双向门控循环网络(Bi-GRU)和双层注意力机制的商品评论情感分类模型。该模型将商品评论文本划分成词级和句子级,通过Bi-GRU提取商品评论在词级和句子级的特征,同时在词级和句子级分别应用注意力机制对相应信息进行权重重分布,通过层级递进的方式获取到商品评论的情感倾向。实验结果表明,本研究提出的商品评论情感分析模型在评论数据集中取得了93.78%的准确率,相对于使用单层注意力机制的Bi-GRU提升了2.6%。     

基于位置感知交叉注意力网络的方面情感分析

针对目前大多数基于深度学习的模型忽略了位置信息在识别方面术语情感任务上起着重要作用的事实,提出了一种基于双向门控循环网络(Bi-GRU)的位置感知交叉注意力模型(PAOAN).该模型先获得文本词向量和方面词向量,并在文本词向量上融合位置信息,通过Bi-GRU网络后,分别得到上下文隐藏表示和方面隐藏表示,再通过交叉注意力机制(Attention-Over-Attention)得到方面术语与句子之间的相互关系,最后通过Softmax层获得其情感标签.实验在SemEval2014数据集上进行,结果表明,本文提出的PAOAN模型相比于其他模型是有效的.     

结合时间注意力机制和单模态标签自动生成策略的自监督多模态情感识别

大多数多模态情感识别方法旨在寻求一种有效的融合机制,构建异构模态的特征,从而学习到具有语义一致性的特征表示。然而,这些方法通常忽略了模态间情感语义的差异性信息。为解决这一问题,提出了一种多任务学习框架,联合训练1个多模态任务和3个单模态任务,分别学习多模态特征间的情感语义一致性信息和各个模态所含情感语义的差异性信息。首先,为了学习情感语义一致性信息,提出了一种基于多层循环神经网络的时间注意力机制(TAM),通过赋予时间序列特征向量不同的权重来描述情感特征的贡献度。然后,针对多模态融合,在语义空间进行了逐语义维度的细粒度特征融合。其次,为了有效学习各个模态所含情感语义的差异性信息,提出了一种基于模态间特征向量相似度的自监督单模态标签自动生成策略(ULAG)。通过在CMU-MOSI,CMU-MOSEI, CH-SIMS 3个数据集上的大量实验结果证实,提出的TAM-ULAG模型具有很强的竞争力：在分类指标(Acc2,F 1)和回归指标(MAE, Corr)上与基准模型的指标相比均有所提升;对于二分类识别准确率,在CMUMOSI和CMU-MOSEI数据集上分别为87.2%和85.8%,而在C...     

基于多元经验模态分解的多元多尺度熵静态平衡能力评估

提出了一种基于多元经验模态分解（Multivariate Empirical Mode Decomposition,MEMD）的多元多尺度熵（Multivarite Multiscale Entropy,MMSE）特征提取方法分析多模态信号,进行人体静态平衡能力评估.首先,采集人体多模态信号,采用多元经验模态分解对多通道信号进行自适应分解,得到一系列多元固有模态函数（Intrinsic Mode Functions,IMFs）,依据T检验和相关系数从中选取最佳的IMF分量进行信号重构;然后,采用多元多尺度熵算法提取特征,用K-均值与支持向量机对比本文特征提取方法与两种传统特征提取方法在处理人体静态平衡能力评估问题时分类效果,并分析两种分类器的人体静态平衡能力评估效果;最后,得出本文最优的特征为基于多元经验模态分解的多元多尺度熵特征,最优的分类方法为支持向量机.     

联合con-GRU与ATGAT模型的情感分析三元组方法

情感分析三元组任务是情感分析任务的研究热点,其目的在于将方面词、情感词与情感极性组成三元组。图神经网络是提取句子特征的有效手段,但其无法关注节点与节点之间的关系,并且注意力权重赋予不合理。为此,提出一种联合双向对抗GRU与基于句法注意力机制的GAT模型。利用依存句法树的句子向量和ATGAT模型提取句子情感词,并将句子用syn-str更新向量表示;再融合句法结构的向量,通过双向对抗GRU提取特征进行情感判断。在三个公开英文数据集中开展实验,结果表明,所提模型相对其他基线模型具有更优异的性能。消融实验和对比实验也说明,所提出的各个网络模型组件比其他组件能更有效地将句法信息与原句向量融合。     

基于注意力机制和双通道神经网络的文本情感分析

深度学习网络对文本情感分析具有重要意义,通过神经网络可以深层次挖掘文本信息,捕获文本情感。针对单模型神经网络结构单一、无法充分提取文本特征的问题,首先提出一种融合注意力机制的双通道复合神经网络(Attention-DRNN),在嵌入层利用word2vec方法进行层嵌入,融入注意力机制对输入词向量进行动态加权。其次,采用双通道结构,利用Text-CNN提取文本局部特征、Bi-LSTM提取文本全局特征,并进行特征融合。然后,通过softmax分类器进行分类。最后,在两个标准数据集上进行测试,通过与LSTM、Bi-LSTM、RNN、Text-CNN单模型神经网络进行对比实验。实验表明Attention-DRNN网络在情感分类任务上具有较好的效果。     

基于SWCNN和双向LSTM的文本情感特征分析方法

针对文本句子中语义角色重叠、高维度文本词向量训练中难以收敛等问题,将情感词标签与卷积神经网络相结合,采用结合情感词的卷积神经网络算法,将词语转为情感标签后与词向量拼接再输入卷积神经网络,将输出的特征再与双向长短期记忆神经网络所获取的特征进行融合,最后通过全连接网络输出情感分类结果。实验结果表明,在微博新冠疫情评论情绪数据集上,本研究所提出的算法模型文本情感特征识别精确度达到89.23%,比其他深度学习算法在准确率上至少提高1.95%,而且训练具有更快的收敛速度,能够为文本情感识别提供一种新的思路与方法。     

基于多模态深度学习的虚假类新闻检测

针对目前网络中有些新闻存在虚假性，缺乏真实性等问题，根据假新闻所包含的数据特征进行分析，选取不同的特征提取方法来针对不同模态数据进行特征提取，并进行特征融合，提出了基于多模态特征融合的检测算法MMDM。首先基于外部信息的文本模态特征提取，然后融合图片物理及语义信息进行特征提取，最后对两个模块特征融合。实验结果表明，多模态特征融合算法检测性能优于其他方法。     

基于BERT-AWC的文本分类方法研究

针对现有文本分类算法处理中文数据时存在的分类精度低、参数量庞大、模型难训练等问题,对BERT算法进行了优化.BERT算法处理中文文本时无法提取词向量特征,为此提出了均匀词向量卷积模块AWC.通过在传统卷积神经网络中引入注意力机制来提取可靠词向量特征,再进一步获取到文本的局部特征,由此弥补了BERT模型无法提取词向量的缺...     

融合多头注意力机制和BiLSTM的电商评论情感分析研究

针对电商评论数据缺乏深层次的情感分析和语义知识关联,不利于系统挖掘潜在的消费情感和客户满意度信息问题,以京东电商评论数据为例,提出一种融合多头注意力机制和双向长短时记忆网络模型(bi-directional long short-term memory,BiLSTM)的电商评论情感分析模型。首先,通过词嵌入将文本数据转化为句向量;其次,构建融合多头注意力机制的BiLSTM模型,利用BiLSTM捕获长距离依赖关系,利用Transformer突出全局关键特征;最后,构建分类器实现电商评论的情感分析。实验结果表明,文章提出方法优于现有的机器学习和深度学习方法,其F₁值为0.927 6。同时,通过详细的对比实验证明了该方法能实现评论文本情感特征的细粒度提取,并能在少样本标注的情况下取得更好的准确率,具有良好的鲁棒性和准确性。     

结合MacBERT的在线课程评论情感分析模型

针对静态词向量语义表征能力弱、传统模块特征抽取不全面等问题,提出了结合MacBERT和多尺度融合网络的在线课程评论情感分析模型。MacBERT模型根据词的具体上下文进行动态编码,提升词的语义表征能力。多尺度融合网络用于捕捉评论文本多层次局部情感特征和全局上下文特征,软注意力机制用于计算每个特征的重要程度,由输出层得到情感分类结果。在真实在线课程评论文本数据集进行实验,结果表明,结合MacBERT和多尺度融合网络模型的F1分数达到了95.27%,高于实验对比模型,证明了模型的有效性。     

结合双预训练语言模型的中文文本分类模型

针对Word2Vec等模型所表示的词向量存在语义模糊从而导致的特征稀疏问题,提出一种结合自编码和广义自回归预训练语言模型的文本分类方法。首先,分别通过BERT、XLNet对文本进行特征表示,提取一词多义、词语位置及词间联系等语义特征;再分别通过双向长短期记忆网络(BiLSTM)充分提取上下文特征,最后分别使用自注意力机制(Self＿Attention)和层归一化(Layer Normalization)实现语义增强,并将两通道文本向量进行特征融合,获取更接近原文的语义特征,提升文本分类效果。将提出的文本分类模型与多个深度学习模型在3个数据集上进行对比,实验结果表明,相较于基于传统的Word2Vec以及BERT、XLNet词向量表示的文本分类模型,改进模型获得更高的准确率和F₁值,证明了改进模型的分类有效性。