基于多层LSTM融合的多模态情绪识别

情绪分析一直是自然语言处理领域的研究热点,而多模态情绪分析是当前该领域的一个挑战。已有研究在上下文信息和不同模态时间序列信息交互方面存在不足,该文提出了一个新颖的多层LSTM融合模型(Multi-LSTMs Fusion Model,MLFN),通过分层LSTM分别设置单模态模内特征提取层、双模态和三模态模间融合层进行文本、语音和图像三个模态之间的深度融合,在考虑模态内部信息特征的同时深度捕获模态之间的交互信息。实验结果表明,基于多层LSTM多模态融合网路能够较好地融合多模态信息,大幅度提升多模态情绪识别的准确率。     

基于多通道LSTM的不平衡情绪分类方法

情绪分类是自然语言处理问题中的重要研究问题之一。情绪分类旨在对文本包含的情绪进行自动分类,该任务是情感分析的一项基本任务。然而,已有的研究都假设各情绪类别的样本数量平衡,这与实际情况并不相符合。该文的研究主要面向不平衡数据的情绪分类任务。具体而言,该文提出了一种基于多通道LSTM神经网络的方法来解决不平衡情绪分类问题。首先,该方法使用欠采样方法获取多组平衡训练语料;其次,使用每一组训练语料学习一个LSTM模型;最后,通过融合多个LSTM模型,获得最终分类结果。实验结果表明该方法明显优于传统的不平衡分类方法。     

一种结合BERT与双层LSTM的复杂长句意图分类方法

传统文本分类方法从复杂长句中提取特征的能力有待提高.为准确识别与分类复杂长句意图,构建一种结合BERT(Bidirectional Encoder Representation from Transformers)迁移学习与长短时记忆网络LSTM(Long Short-Term Memory)的分类方法.使用BERT获取上下文相关的动态词向量,捕捉传统模型难以表示的一词多义特征;在BERT输出层接入LSTM网络,经由词级、句级双层LSTM层次化提取特征,获取细粒度语义表示,进而对句子意图进行准确分类.实验结果表明,该方法在复杂长句意图分类任务上的准确率、召回率以及F1值与已有方法相比均有提高.     

BGCN:基于BERT和图卷积网络的触发词检测

触发词检测是事件抽取的一项基本任务,该任务涉及对触发词进行识别和分类。目前,已有工作主要存在两方面的问题:1)用于触发词检测的神经网络模型只考虑了句子的顺序表示,且通过顺序建模的方法在捕捉长距离依赖关系时效率较低;2)基于表示的方法虽然解决了手动提取特征的问题,但用作初始训练特征的词向量对句子的表示程度有所欠缺,难以捕捉深层的双向表征。因此,文中提出了一种基于BERT模型和GCN网络的触发词检测模型BGCN,该模型通过引入BERT词向量来强化特征表示,并引入句法结构来捕捉长距离依赖,对事件触发词进行检测。实验结果表明,所提方法在ACE2005数据集上的表现优于其他现有的神经网络模型。     

基于极性转移和LSTM递归网络的情感分析

长短时记忆(long short term memory,LSTM)是一种有效的链式循环神经网络(recurrent neural network,R²NN^①),被广泛用于语言模型、机器翻译、语音识别等领域。但由于该网络结构是一种链式结构,不能有效表征语言的结构层次信息,该文将LSTM扩展到基于树结构的递归神经网络(Recursive Neural Network,RNN)上,用于捕获文本更深层次的语义语法信息,并根据句子前后词语间的关联性引入情感极性转移模型。实验证明本文提出的模型优于LSTM、递归神经网络等。
     

基于改进BERT的景点评论情感分析

针对景点推荐领域评论的情感信息未得到充分利用的现状,文章融合残差网络和双向长短期记忆网络提出了一种改进的BERT模型。深度学习模型BERT以无监督的学习方式,通过后续的任务来完成推理和判断,而在语义层面忽略特定领域知识。该文研究多头残差网络（Multi-head residual network,MRN）,可以从多个层面上学习情绪特征,在补充领域知识的同时避免深度神经网络退化,利用BERT预训练模型提供语义特征,动态地将语句的情感嵌入到模型中,并将各层次模型输出的特征与双向长短期记忆网络的输出数据进行特征融合,得到最终的文本情感。该模型对比BERT预训练模型、BERT-BiLSTM模型、BiLSTM模型和卷积神经网络CNN的实验结果,最后得到的F1值和准确率都有显著提高。由此认为,BERT-MRN模型的情感极性分析能力有较好的提升,可以更好地分析景点评论的情感信息。     

基于SVM和LSTM两种模型的商品评论情感分析研究

随着网购的盛行,商品评论数量急剧增长,内容也越来越五花八门。如何高效挖掘处理这些评论是一件非常有价值的事情。对商品评论做情感分析是关于这些评论研究的一个重要方向。现阶段在情感分析研究中最常用的有基于机器学习的方法和基于情感知识分析的方法。本文主要采用机器学习中的SVM方法和深度学习中的LSTM方法分别对从京东网站爬取的商品评论进行模型搭建,然后对比分析。由于LSTM能够保持长期的记忆性,它很好地克服在SVM分类中每个句子的词向量求平均丢失了句子词语之间的顺序信息的缺点,保留了词与词之间的语义信息(如词序信息、上下文信息等),并且通过复杂的非线性计算更好地提取词向量中隐藏的情感信息。因此使用LSTM方法准确率比SVM方法提高不少,在情感分析上表现出非常好的效果。     

基于深度学习的目标人物情绪预测

针对目标人物的情绪变化,本文提出了一种情绪预测方式对情绪进行识别、预测和分析.在情绪预测前,通过一种情绪定量算法对情绪数据集数据进行归一化处理,以得到每种情绪对应的程度系数,为下一步的情绪预测奠定基础.然后汇总目标人物一天的情绪变化得到一种主要情绪,再通过情绪预测算法得到最终的预测结果.本文应用BERT (Bidirectional Encoder Representations from Transformers)神经网络对短对话进行情绪建模,以做到对目标人物的实时情绪预测.结果表明应用本文的训练模型,可以有效判断目标人物的未来情绪波动状况.     

基于BERT的临床术语标准化

电子病历中的临床术语描述形式具有多样性和不规范性,阻碍了医疗数据的分析和利用,因此对临床术语标准化的研究具有重要的现实意义.当前国内医疗机构临床术语标准化主要由人工完成,效率低,成本高.该文提出了一种基于BERT的临床术语标准化方法.该方法使用Jaccard相似度算法从标准术语集中挑选出候选词,基于BERT模型对原始词...     

基于LSTM的层次化篇章依存分析方法

在长距离依赖场景,篇章依存分析的效果欠佳,传统分析方法通常设计大量特征模板来缓解这一瓶颈问题.该文提出一种层次化篇章依存分析方法,减少了篇章分析器所需一次性处理的篇章分析单元的数量,从而缩短了分析器所处理的依存对之间的距离;并通过长短时记忆模型直接处理篇章分析单元中的序列信息,避免了特征提取.在RS T语料库上进行实验...     

基于LSTM的道路拥堵分析模型研究

针对利用交通流量和平均车速等交通要素分析交通拥堵,无法实时分析出用户车辆当前所处道路拥堵的问题,提出一种基于LSTM网络的道路拥堵分析模型.首先采用车辆检测算法判断出当前用户视角中前方车辆位置,并利用位置信息估测车距;然后结合车距信息、车辆与车道位置关系,生成车距信息矩阵;最后通过训练好的神经网络分类模型,以车距信息矩...     

基于字词融合特征的微博情绪识别方法

文本情绪识别是自然语言处理问题中的一项基本任务。该任务旨在通过分析文本判断该文本是否含有情绪。针对该任务,提出了一种基于字词融合特征的微博情绪识别方法。相对于传统方法,所提方法能够充分考虑微博语言的特点,充分利用字词融合特征提升识别性能。具体而言,首先将微博文本分别用字特征和词特征表示;然后利用LSTM模型(或双向LSTM模型)分别从字特征和词特征表示的微博文本中提取隐层特征;最后融合两组隐层特征,得到字词融合特征,从而进行情绪识别。实验结果表明,该方法能够获得更好的情绪识别性能。     

基于模糊分析的LSTM交通流量预测

为提高交通流预测模型的准确性及泛化性,提出一种基于模糊分析的LSTM交通流预测方法实现对交通状态的预估分析.对历史数据采用LSTM神经网络进行训练,获取神经网络权值参数,针对交通流时序数据存在周期性,提出基于模糊聚类分析的策略对LSTM模型的历史训练误差进行聚类.根据当前交通流数据与历史数据的相似度预估LSTM预测模型的在线误差.综合LSTM神经网络预测输出以及基于相似度分析的在线误差预测输出预估交通流状态,给出相应的算法步骤.仿真实验验证了提出方法的有效性,其比单一预测预测模型效果更好.     

基于BERT变种模型的情感分析实现

随着舆论数据的快速增长,情感分析技术在舆论检测中发挥越来越重要的作用。由于文本数据本身的稀疏性和高维性,加上中文语义的复杂性,情感分析面临着巨大挑战。本文提出了基于BERT变种的深度学习模型。首先利用BERT模型将文本编码为词向量,采用权重矩阵对词向量加权,增强语句中情感特征,然后利用BiLSTM提取词向量中上下文特征,利用注意力机制对隐特征向量进行特征加权。经过处理后,利用卷积神经网络提取出文本中重要的局部特征,最后输出到全连接层进行文本的分类。实验表明,相比BERT模型,BiLSTM以及其它文本分类模型,该模型在外卖评论数据集中的精确率明显提高。     

融合BERT多层次特征的短视频网络舆情情感分析研究

自媒体时代与网络社交软件的广泛普及,导致短视频平台极易成为舆情事件起源和发酵的“孵化器”。分析短视频平台中的舆情评论信息,对于舆情事件的预警、处置和引导具有重要意义。鉴于此,结合BERT与TextCNN模型,提出一种融合BERT多层次特征的文本分类模型（BERT-MLFF-TextCNN）,并对抖音短视频平台中的相关评论文本数据进行情感分析。首先,利用BERT预训练模型对输入文本进行编码。其次,提取各编码层中的语义特征向量进行融合。然后,融入自注意力机制突出其关键特征,从而实现特征的有效利用。最后,将所得特征序列输入TextCNN模型中进行分类。实验结果表明,与BERT-TextCNN、GloVeTextCNN和Word2vec-TextCNN模型相比,BERT-MLFF-TextCNN模型表现更优,F1值达到了0.977。通过该模型能够有效识别短视频平台舆情的情感倾向,在此基础上利用TextRank算法进行主题挖掘,实现舆情评论情感极性的主题词可视化,为相关部门的舆情管控工作提供决策参考。     

基于BERT与记忆网络的长文本方面级情感分析

目前在方面级情感分析(ABSA)方法中,利用上下文或方面短语的平均值来计算方面短语或上下文之间注意力得分的方法往往会产生较大的信息损失,导致模型在长文本分类上的性能降低.为此,研究了一种建立在BERT表示上的记忆网络模型,BDMN.首先,把句子构造成多[CLS]的Token嵌入形式,然后,从BERT输出中获取到各短句的...     

基于两种LSTM结构的文本情感分析

随着互联网的迅猛发展,越来越多的用户在互联网上发表着自己的评论,这些评论中包含着很多有价值的信息,而这些对于厂家进一步了解顾客意见,提高产品质量有着重要意义,但是传统的依靠人工进行问卷调查的手段越来越无法满足市场竞争的需要。因此如何从大量文本中获取有价值的信息成为了一项重要的研究课题。本文利用LSTM结构以及其一种变形GRU结构搭建了两个文本情感分类模型,对中文文本进行情感多分类;同时提出了一种伪梯度下降的方法进行模型参数调整,数值实验结果表明这种参数调整方法可以使模型在较短的时间内达到较高的正确率。     

基于BERT和GCN的引文推荐模型

采用一个组织良好的数据集和基于深度学习的模型,实现根据上下文获得论文的引文推荐.模型包括一个文档编码器和一个上下文编码器,使用图卷积网络层(GCN)和预训练模型BERT[1]的双向编码器表示.通过修改相关的PeerRead数据集,建立一个PeerReadPlus新数据集,它包含引用文献的上下文语句和论文元数据.结果表明...     

基于BERT的古文断句研究与应用

古汉语与现代汉语在句法、用词等方面存在巨大的差异。古文句与句之间通常缺少分隔和标点符号,现代读者难以理解。人工断句有助于缓解上述困境,但需要丰富的专业知识,耗时耗力。计算机自动断句有助于加速对古文的准确理解,从而促进古籍研究以及中华文化的弘扬。除自动断句,该文还尝试了自动标点任务。该方案自行预训练古汉语BERT(Bidirectional Encoder Representations from Transformers)模型,并针对具体任务进行微调适配。实验表明,该方案优于目前深度学习中的主流序列切割BiLSTM+CRF模型,在单一文本类别和复合文本类别测试集上的F₁值分别达到89.97%和91.67%。更重要的是,模型表现出了很强的泛化能力,未参与任何训练的《道藏》测试集上的F₁值依然可达到88.76%。自动标点任务仅使用少量较为粗糙的带标点文本训练集时F₁值为70.40%,较BiLSTM+CRF模型提升12.15%。两任务结果均达到当前最佳,相关代码和模型已经开源发布。