基于深度BiLSTM和图卷积网络的方面级情感分析

现有方面级情感分析方法,存在无法获取最优文本表示和使用普通图卷积网络不能提取依存图中深层结构信息的问题。为此,提出了一种基于深度BiLSTM（DBiLSTM）和紧密连接的图卷积网络（DDGCN）模型。首先,通过DBiLSTM获取方面词与上下文单词间的深层语义信息;其次,在原始图卷积网络中加入紧密连接,以生成能提取深层结构信息的紧密图卷积网络;然后,利用改进后的图卷积网络捕获依存图上的结构信息;最终,将融合2种深层信息的文本表示用于情感分类。3个数据集上的实验结果表明,DDGCN模型相比对比模型在准确度和F1上均有提升。     

融合CNN-SAM与GAT的多标签文本分类模型

现有基于神经网络的多标签文本分类研究方法存在两方面不足,一是不能全面提取文本信息特征,二是很少从图结构数据中挖掘全局标签之间的关联性。针对以上两个问题,提出融合卷积神经网络-自注意力机制（CNNSAM）与图注意力网络（GAT）的多标签文本分类模型（CS-GAT）。该模型利用多层卷积神经网络与自注意力机制充分提取文本局部与全局信息并进行融合,得到更为全面的特征向量表示;同时将不同文本标签之间的关联性转变为具有全局信息的边加权图,利用多层图注意力机制自动学习不同标签之间的关联程度,将其与文本上下文语义信息进行交互,获取具有文本语义联系的全局标签信息表示;使用自适应融合策略进一步提取两者特征信息,提高模型的泛化能力。在AAPD、RCV1-V2与EUR-Lex三个公开英文数据集上的实验结果表明,该模型所达到的多标签分类效果明显优于其他主流基线模型。     

一种用于方面级情感分析的知识增强双图卷积网络

近年来,深度神经网络特别是图神经网络在方面级情感分析任务上取得了较大进展,但是仍存在未充分利用外部知识信息、句法依赖树的边关系信息以及知识图谱结构信息的缺陷.针对上述问题,本文提出了一种知识增强的双图卷积网络BGCN-KE(Knowledge-enhanced Bi-Graph Convolutional Network).首先,提出一种融合句法依赖关系与外部知识的子图构造算法,得到节点间语义关系更紧密的知识子图.其次,提出了双图卷积网络,分别利用两个图卷积网络在句法依赖知识子图中引导评论文本的节点学习邻接节点的外部知识,以及在评论文本的句法依赖图中融合特定方面相关的语义信息,从而增强评论文本的特定方面知识表示和语义表示.再次,BGCN-KE引入边关系注意力机制,更好地捕获特定方面和上下文词语间的语义关系.最后,提出了一种多级特征融合机制,充分融合特定方面相关的外部知识、语义信息和边关系特征.多个公共数据集上的实验证明,BGCN-KE的性能优于最新的对比模型.     

基于特征融合的文本情感分类

虽然卷积神经网络（CNN）可以提取局部特征,长短期记忆网络（LSTM）可以提取全局特征,它们都表现出了较 好的分类效果,但CNN在获取文本的上下文全局信息方面有些不足,而LSTM容易忽略词语之间隐含的特征信息。因此,提 出了用CNN_BiLSTM_Attention 并行模型进行文本情感分类。首先,使用CNN提取局部特征,同时BiLSTM提取带有上下文 语义信息的全局特征,之后将两者提取的特征拼接在一起,进行特征融合。这样使得模型既能捕获局部短语级特征,又能捕获 上下文结构信息,并对特征词的重要程度,利用注意力机制分配不同权重,进而提高模型的分类效果。通过与单一模型CNN、 LSTM等深度神经网络模型的对比,本文所提的CNN_BiLSTM_Attention并行模型在综合评价指标F1 score 和准确率上都有 提升,实验结果表明,本文所提模型在文本情感分类任务中取得了较好的结果,比其他神经网络模型有更好的实用价值。     

融入句子中远距离词语依赖的图卷积短文本分类方法

随着图神经网络技术在自然语言处理领域中的广泛应用,基于图神经网络的文本分类研究受到了越来越多的关注,文本构图是图神经网络应用到文本分类中的一项重要研究任务,已有方法在构图时通常不能有效捕获句子中远距离词语的依赖关系。短文本分类是待分类文本中普遍较短的一类特殊文本分类任务,传统的文本表示通常比较稀疏且缺乏丰富的语义信息。基于此,文中提出了一种融入远距离词语依赖关系进行构图的图卷积短文本分类方法。首先结合词语共现关系、文档和词语之间的包含关系、远距离词语依赖关系为整个文本语料库构建一个文本图;然后将文本图输入到图卷积神经网络,通过2层卷积后,对每个文档节点进行类别预测。在on_line_shopping_10_cats、中文论文摘要和酒店评论3个数据集上的实验结果表明,所提方法相比已有基线模型取得了更好的效果。     

融合深度BiGRU与全局图卷积的方面级情感分析模型

现有基于深度学习的方面级情感分析模型需要考虑如何提取深层次的语义信息,其次通过依存树提取句法结构时可能存在信息丢失与数据稀疏问题.针对以上问题,本文提出了基于深度双向门控循环单元与全局双向图卷积网络的神经网络模型(DBG-GBGCN).该模型通过深度双向门控循环单元捕获深层次的语义特征,得到上下文的隐层表示.然后将依存树的邻接矩阵转变为带有全局句法信息的全局矩阵,将此矩阵与上下文的隐层表示一起输入至双向图卷积网络进行特征融合,最后经过掩码层和注意力层得到一个包含深层语义特征与句法结构信息结合的分类特征.实验结果证明,该模型在5个公开数据集上的准确率与F1值均比对比模型有着一定的提升.     

融合语义和句法依存分析的图卷积新闻文本分类

图卷积神经网络GCN已经广泛应用于文本分类任务中，但GCN在文本分类时仅仅根据词语的共现关系来构建文本图，忽略了文本语言本身的规律关系，如语义关系与句法关系，并且GCN不善于提取文本上下文特征和序列特征。针对上述问题，该文提出了一种文本分类模型SEB-GCN,其在文本词共现图的基础上加入了句法文本图与语义文本图，再引入ERNIE和残差双层BiGRU网络来对文本特征进行更深入的学习，从而提高模型的分类效果。实验结果表明，该文提出的SEB-GCN模型在四个新闻数据集上，分类精确度对比其他模型分别提高4.77%、4.4%、4.8%、3.4%、3%,且分类收敛速度也明显快于其他模型。     

基于BTM图卷积网络的短文本分类方法

由于短文本长度较短,在分类时会面临数据稀疏和语义模糊等问题。提出新型图卷积网络BTM_GCN,该网络利用双项主题模型（Biterm Topic Model,BTM）在短文本数据集上训练出固定数量的文档级潜在主题,并作为一种节点嵌入到文本异构图中,再与异构图中的文档节点进行连接,最后利用图卷积网络来捕获文档、词与主题节点之间的高阶邻域信息,从而丰富文档节点的语义信息,缓解短文本语义模糊的问题。在三个英文短文本数据集上的实验结果表明,该方法相比基准模型具有较优的分类效果。     

基于局部特征聚焦的方面级情感分析

现有方面级情感分析模型忽略了各词间句法关系且未能针对性地提取语义信息。为此,提出一种可聚焦局部上下文特征的方面级情感分析模型,其核心思想在于构建局部上下文加权邻接图和动态赋权方法,通过图卷积神经网络生成聚焦于局部上下文信息的方面词特征。具体地,首先采用局部上下文动态赋权方式增加局部上下文的关注度;其次,在提取句法依存关系的基础上为上下文各节点赋权,构建针对局部上下文赋权的邻接图;最后,由图卷积神经网络提取聚焦于局部上下文信息的方面词特征。在公开数据集上的实验结果表明,与ASGCN相比,提出模型在restaurant和laptop数据集中的宏F₁值分别提高了1.76%和1.12%,经过局部上下文加权,聚焦局部特征所得信息有助于提高分类效果。     

基于CNN和BiLSTM网络特征融合的文本情感分析

卷积神经网络（CNN）和循环神经网络（RNN）在自然语言处理上得到广泛应用,但由于自然语言在结构上存在着前后依赖关系,仅依靠卷积神经网络实现文本分类将忽略词的上下文含义,且传统的循环神经网络存在梯度消失或梯度爆炸问题,限制了文本分类的准确率。为此,提出一种卷积神经网络和双向长短时记忆（BiLSTM）特征融合的模型,利用卷积神经网络提取文本向量的局部特征,利用BiLSTM提取与文本上下文相关的全局特征,将两种互补模型提取的特征进行融合,解决了单卷积神经网络模型忽略词在上下文语义和语法信息的问题,也有效避免了传统循环神经网络梯度消失或梯度弥散问题。在两种数据集上进行对比实验,实验结果表明,所提特征融合模型有效提升了文本分类的准确率。     

上下文感知的树递归神经网络下隐式情感分析

针对现有的序列化模型对中文隐式情感分析中特征信息提取不准确以及对篇章级的文本信息提取存在的梯度爆炸或者梯度消失的问题,提出了双向长短时神经网络和上下文感知的树形递归神经网络（context-aware tree recurrent neutral network,CA-TRNN）的并行混合模型。该模型分别利用双向循环长短时记忆神经网络（BiLSTM）提取文本中的上下文信息,树形递归神经网络（TRNN）提取文本中目标句的语义特征信息,最后,使用特定目标句的注意力机制将两个表示信息进行融合表示后,经过softmax得出文本的情感分类结果。采用SMP2019微博中文隐式情感分析任务中的数据进行验证,实验结果表明,所使用的模型（CA-TRNN）可以有效提高分类结果的准确度,时间代价小,具有更好的应用能力。     

GCN-PU:基于图卷积网络的PU文本分类算法

针对PU（Positive and Unlabeled）文本分类问题,提出了一种基于图卷积网络的PU文本分类算法（GCN-PU）,基本思想是给未标注样本加以不同的损失权重。将未标注样本全部视为负类样本,用以训练基于卷积神经网络的文本分类器;取卷积神经网络的倒数第二层的向量为文本的特征向量,以及对应的类别概率,作为图卷积网络的输入;利用图卷积网络得出的类别概率计算每个未标注样本的损失权重,重新训练文本分类器。不断重复上述三个步骤,直到算法参数稳定。在公开数据集20newsgroup上的实验结果表明,GCN-PU算法优于现有的方法,尤其在正类样本较少的情况下。     

基于改进的CBOW与ABiGRU的文本分类研究

文本的表示与文本的特征提取是文本分类需要解决的核心问题,基于此,提出了基于改进的连续词袋模型（CBOW）与ABiGRU的文本分类模型。该分类模型把改进的CBOW模型所训练的词向量作为词嵌入层,然后经过卷积神经网络的卷积层和池化层,以及结合了注意力（Attention）机制的双向门限循环单元（BiGRU）神经网络充分提取了文本的特征。将文本特征向量输入到softmax分类器进行分类。在三个语料集中进行的文本分类实验结果表明,相较于其他文本分类算法,提出的方法有更优越的性能。     

基于自监督学习语言模型的罪名预测研究

针对解决法律判决预测中的罪名预测问题,为了更高效地捕捉案件事实描述中上下文的语义信息,提出了一种结合ALBERT（A Lite BERT）和卷积神经网络CNN（TextCNN）的中文罪名预测模型ALBT。模型利用ALBERT模型将法律文本的事实描述转化成向量表示,提取事实描述中的关键特征,把提取到的特征送入卷积神经网络TextCNN模型中进行分类预测,最终完成对事实描述中的罪名预测。实验在2018“中国法研杯”司法人工智能挑战赛构建的数据集上精度达到了88.1%。实验结果表明,模型在中文罪名预测上能够达到更好的预测效果。     

基于BiGCN和IAM的方面级情感分类模型

目前基于神经网络的方面级情感分类模型很少会考虑上下文单词与方面词之间的句法依存关系,可能会错误地将与方面词语法无关的上下文单词作为方面词的情感特征;另一方面大多数方法也忽略了上下文与方面词之间的交互信息。针对这两个问题,提出了基于双向图卷积网络（BiGCN）和交互注意力机制（IAM）的方面级情感分类模型（BiGCN-IAM）,该模型在句法依存树上使用双向图卷积网络提取上下文单词和方面词之间的句法依存关系,然后使用掩码层得到特定的方面词表示;最后使用交互注意力机制学习上下文与方面词之间的交互信息,同时提取了上下文中的重要情感特征和方面词中对分类有贡献的特征。通过在五个公开数据集上的实验证明,该模型效果优于基线模型。     

基于文本与视觉信息的细粒度图像分类

一般细粒度图像分类只关注图像局部视觉信息,但在一些问题中图像局部的文本 信息对图像分类结果有直接帮助,通过提取图像文本语义信息可以进一步提升图像细分类效果。 我们综合考虑了图像视觉信息与图像局部文本信息,提出一个端到端的分类模型来解决细粒度 图像分类问题。一方面使用深度卷积神经网络获取图像视觉特征,另一方面依据提出的端到端 文本识别网络,提取图像的文本信息,再通过相关性计算模块合并视觉特征与文本特征,送入 分类网络。最终在公共数据集 Con-Text 上测试该方法在图像细分类中的结果,同时也在 SVT 数据集上验证端到端文本识别网络的能力,均较之前方法获得更好的效果。