基于语序知识的双通道图卷积网络方面级情感分析

当前大多数基于图卷积网络的方面级情感分析方法利用文本的句法知识、语义知识、情感知识构建文本依赖,但少有研究利用文本语序知识构建文本依赖,导致图卷积网络不能有效地利用文本语序知识引导方面项学习上下文情感信息,从而限制了其性能。针对上述问题,提出基于语序知识的双通道图卷积网络(dual-channel graph convolutional network with word-order knowledge, WKDGCN)模型,该模型由语序图卷积网络(word-order graph convolutional network, WoGCN)和情感知识结合语义知识增强的句法图卷积网络(sentiment and attention-enhanced graph convolutional network, SAGCN)组成。具体地,WoGCN基于文本的语序知识构建图卷积网络,由文本的语序依赖引导方面项特征学习上下文情感信息;SAGCN利用SenticNet中的情感知识结合注意力机制增强句法依赖,利用增强后的句法依赖构建图卷积网络,以此引导方面项特征学习上下文情感信息;最后融合两个图卷积网...     

面向多方面的双通道知识增强图卷积网络模型

基于方面的情感分析是一项细粒度的情感分析任务，旨在将方面与相应的情感词对齐，以进行特定于方面的情感极性推理。近年来，借助句法依赖信息的图神经网络情感分类方法成为该领域的一个研究热点，但是由于评论语句在内容表达和句法结构上的灵活性，仅利用句法依赖信息的建模方法仍然存在一定的不足。为了发挥情感知识与结构语义信息对评论语句的增强作用，提出一种双通道知识增强图卷积网络模型DualSyn-GCN。一方面根据方面与方面、方面与上下文之间的隐含关系进行句法依赖邻接矩阵的增强，另一方面从外部情感知识对方面的情感依赖进行学习，随后对2种不同增强表示进行融合，从而实现不同表示间的共享与互补。实验结果表明，相较于经典的基于特定方面的图卷积网络模型(ASGCN),该模型在LAP14数据集上的准确率和MF1值分别提升了2.34%和3.26%。     

语义增强的图神经网络方面级文本情感分析

方面级情感分析是一种细粒度文本情感分析技术,可以判断文本目标方面的情感倾向,被广泛应用于商品评价、教育评价等领域,可以辅助用户更全面地了解实体属性并做出精准决策。但是现有方面级情感分析技术大多存在文本句法依存关系特征以及外部知识特征提取不充分的问题,为此,利用图卷积神经网络可以处理异构数据的特点,构建一种语义增强的方面级文本情感分析模型。将文本的词嵌入向量输入双向门控循环神经网络以提取文本和目标方面词的上下文语义信息,依据句法依存关系类型构建加权句法依存图,根据文本单词和外部知识库构建知识子图,使用图卷积神经网络处理加权句法依存图和知识子图,从而获取融合文本句法结构信息的文本特征和体现外部知识信息的目标方面特征,在此基础上,拼接两组特征向量完成情感极性分类。实验结果表明,在Laptop14、Restaurat14和Restaurat15数据集上,该模型的F1值分别达到77.34%、76.58%和68.57%,相比ATAELSTM、TD-LSTM、ASGCN等基线模型,其F1值分别平均提高7.28%、5.71%和6.28%,所提模型通过提取文本句法依存关系特征以及外部知识特征获得了更好的...     

SS-GCN:情感增强和句法增强的方面级情感分析模型

方面级情感分析(Aspect-Based Sentiment Analysis, ABSA)作为知识图谱下游应用，属于细粒度情感分析任务，旨在理解人们对评价目标在方面层次的情感极性。近年来，相关研究已经取得显著进步，但现有方法侧重于利用句子内的顺序性或句法依赖约束，而没有充分利用上下文词与方面词之间的依赖类型。此外，现有的基于图卷积神经网络模型对节点特征保留的能力不足。针对该问题，首先，在句法依赖树的基础上，充分挖掘上下文词与方面词之间的依赖类型，将其融入依赖图的构建；其次，定义了一个“敏感关系集合”,利用它来构建辅助句以增强特定上下文词与方面词之间的关联性，同时结合情感知识网络SenticNet以增强句子的依赖图，进而改进图神经网络的构建；最后，引入上下文保留机制，来减小节点特征在多层图卷积神经网络中的信息损失。提出的SS-GCN模型将并行学习到的句法表示和上下文表示进行融合以完成情感增强和句法增强。在3个公开数据集上进行了广泛的实验，证明了SS-GCN的有效性。     

基于图卷积网络的特定方面情感分析

方面级情感分析是细粒度情感分析的一个基本子任务,旨在预测文本中给定方面或实体的情感极性。语义信息、句法信息及其交互信息对于方面级情感分析是极其重要的。该文提出一种基于图卷积和注意力的网络模型(CA-GCN)。该模型主要分为两部分,一是将卷积神经网络结合双向LSTM获取的丰富特征表示与图卷积神经网络掩码得到的方面特征表示进行融合;二是采用两个多头交互注意力融合方面、上下文和经图卷积神经网络得到的特征信息,而后接入多头自注意力来学习信息交互后句子内部的词依赖关系。与ASGCN模型相比,该模型在三个基准数据集(Twitter、Lap14和Rest14)上准确率分别提升1.06%、1.62%和0.95%,F₁值分别提升1.07%、2.60%和1.98%。     

基于图卷积记忆网络的方面级情感分类

在方面级情感分类中,常用的方法是用卷积神经网络或循环神经网络提取特征,利用注意力权重获取序列中不同词汇的重要程度。但此类方法未能很好地利用文本的句法信息,导致模型不能准确地在评价词与方面词之间建立联系。该文提出一种图卷积神经记忆网络模型(MemGCN)来解决此依赖问题。首先通过记忆网络存储文本表示与辅助信息,然后利用基于依存句法树的图卷积神经网络获取文本的句法信息。最后,使用注意力机制融合句法信息与其他辅助信息。在SemEval 2014任务和Twitter数据集上的实验结果表明,MemGCN显著提升了模型性能。     

基于情感知识的双通道图卷积网络的方面级情感分析

方面级情感分析是一项细粒度情感分析任务,其目标是对句子中给定的方面词进行情感极性分类。当前的情感分类模型大多在依存句法树上构建图神经网络,从依存句法树上学习方面词与上下文之间的信息,缺乏对句子中情感知识的挖掘。针对这个问题,文中提出了一种基于情感知识的双通道图卷积网络的情感分类模型(Dual-channel Graph Convolutional Network with Sentiment Knowledge, SKDGCN)。该模型由情感增强的依存图卷积网络(Sentiment-enhanced Dependency Graph Convolutional Network, SDGCN)和注意力图卷积网络(Attention Graph Convolutional Network, AGCN)组成,两个图卷积网络分别学习方面词与上下文词的句法依赖关系和语义关系。具体地,SDGCN在句法依存树上融合SenticNet中的情感知识以增强句子的依赖关系,使得模型既考虑了上下文词与方面词的句法关系,也考虑了上下文中意见词与方面词的情感信息;AGCN使用注意力机制学习方面词与句子中上下文的语...     

基于融合关系学习网络的行人重识别

基于图卷积神经网络的行人重识别方法面临两个问题:1)在对特征映射构图时,图节点表达的语义信息不够显著;2)选择特征块构图时仅依赖特征块间的相对距离,忽略内容相似性.为了解决这两个问题,文中提出融合关系学习网络的行人重识别.利用注意力机制,使用最大注意力模型,使最重要的特征块更显著,赋予其语义信息.融合相似性度量,从距离和内容两方面对特征块进行相似性计算,度量方式更全面.该算法能够综合地选取近邻特征块,为图卷积神经网络提供更好的输入图结构,使图卷积神经网络提取更鲁棒的结构关系特征.在iLIDS-VID、MARS数据集上的实验验证文中网络的有效性.     

结合图卷积的深层神经网络用于文本分类

随着图卷积网络的发展,图卷积网络已经应用到很多任务中,其中就包含文本分类任务.通过将文本数据表示成图数据,进而在图上应用图卷积,从而捕获文本的结构信息和单词间的长距离依赖关系获得了良好的分类效果.但将文本建模成图模型后,图卷积网络面临着文本上下文语义信息和局部特征信息表示不充分的问题.提出一种新的模型,利用双向长短时记...     

基于图卷积网络的重大事件趋势预测

针对基于公开新闻数据的重大事件趋势预测研究在文本特征提取上语义理解不足问题,提出基于图卷积网络的重大事件趋势预测方法.利用结构化事件信息构建以事件为中心的语义关联图;按时间片粒度分割出局部事件语义关联图,利用预训练词向量对节点文本初始化特征表示;将带有节点特征的局部事件语义关联图输入图卷积网络,聚合节点邻域信息计算图特征表示并输入到分类器,训练预测模型并输出预测结果.以朝鲜核行为趋势预测问题验证所提出方法的有效性,对测试集(2017年3月～2018年3月)预测准确率达到76.92％,全时间段预测准确率为89.58％.预测结果表明,该方法增强了对文本的语义理解,预测精度优于基于专家知识构建特征的方法.     

一种用于方面级情感分析的关系注意力图卷积网络

方面级情感分析是情感分析的子任务，旨在判断评论目标的具体方面所对应的情感极性.近年来，深度神经网络模型在方面级情感分析问题上取得了较大进展.然而，现有的方面级情感分析模型仍存在方面信息丢失、没有充分利用句法依存关系等问题.本文提出了一种基于关系注意力机制的图卷积网络RAGCN(Relational Attention based Graph Convolutional Network).首先，RAGCN通过两个双向长短期记忆网络分别对句子和增强后的方面建模，以引导图卷积网络对向量表示进行更新.其次，为了区分上下文单词对给定方面情感的贡献，提出了一种关系注意力机制.该机制能充分利用评论节点间的边类型，结合双向长短期记忆网络的输出以捕获方面和上下文单词之间的关系.此外，为进一步提高模型的鲁棒性，RAGCN采用门控融合机制来过滤关系注意力层和图卷积网络层的输出，从而获取多更准确的句子表征向量.多个方面级情感分析数据集上的实验结果表明，RAGCN模型在准确度，Macro-F1方面均优于对比模型.     

融合标签关系的法律文本多标签分类方法

随着大数据技术的快速发展,多标签文本分类在司法领域也催生出诸多应用.在法律文本中通常存在多个要素标签,标签之间往往具有相互依赖性或相关性,准确识别这些标签需要多标签分类方法的支持.因此,文中提出融合标签关系的法律文本多标签分类方法.方法构建标签的共现矩阵,利用图卷积网络捕捉标签之间的依赖关系,并结合标签注意力机制,计算法律文本和标签每个词的相关程度,得到特定标签的法律文本语义表示.最后,融合标签图构建的依赖关系和特定标签的法律文本语义表示,对文本进行综合表示,实现文本的多标签分类.在法律数据集上的实验表明,文中方法获得较好的分类精度和稳定性.     

基于图卷积网络的多交互注意方面级情感分析

为解决当前方面级情感分析中提取语义句法信息不充分导致分类结果不准确的问题,提出一种基于图卷积网络的多交互注意模型。基于注意力机制和句法相对距离分别重构带有权重的语义图邻接矩阵和句法图邻接矩阵,以这种方式存储更多信息,结合图卷积网络充分挖掘上下文中更深层次的语义和句法信息;通过掩码机制和交互注意完成方面词与上下文的语义交互和句法交互,捕获相关关联并进行特征融合。在SemEval 2014和Twitter数据集上进行实验,实验结果表明,该模型与基于注意力的模型和基于图卷积网络的模型相比,有更好的分类效果。     

基于情感增强与双图卷积网络的方面级情感分析

方面级情感分析旨在检测给定方面句子的情感极性。现有研究大多在句法依存树上构造图卷积网络,以获取方面词与上下文之间的句法信息。然而这类方法存在提取信息不够丰富、缺乏对句子中情感信息的挖掘等问题。针对上述问题,提出基于情感增强与双图卷积网络的方面级情感分析模型。该模型由双通道图卷积网络组成,旨在挖掘句子中的情感信息、句法信息和语义信息。利用位置信息和情感知识在依存树上构造情感增强依存图,并以此构建情感增强图卷积网络,增强方面词与上下文之间的情感依赖关系,同时挖掘句子中丰富的句法信息特征。构建基于多头注意力机制的图卷积网络,获取句子中的语义特征信息。对双图卷积网络的输出特征进行掩码、平均池化和拼接等操作,并通过情感分类层进行分类。实验结果表明,该模型与经典的图卷积网络模型(ASGCN)相比,在Restaurant、Laptop和Twitter数据集上的准确率和F1值分别提升3.43和5.69、3.13和3.92、3.57和4.02个百分点,具有较好的情感分类性能。     

基于概率分布的图卷积文本分类模型

近年来,图神经网络模型因其对非欧氏数据的建模和对全局依赖关系的捕获能力而广泛应用于文本分类任务。现有的基于图卷积网络的分类模型中的构图方法存在消耗内存过大、难以适应新文本等问题。此外,现有研究中用于描述图节点间的全局依赖关系的方法并不完全适用于分类任务。为解决上述问题,该文设计并提出了基于概率分布的文本分类网络模型,以语料库中的词和标签为节点构建标签-词异构关系图,利用词语在各标签上的概率分布描述节点间的全局依赖关系,并通过图卷积操作进行文本表示学习。在5个公开的文本分类数据集上的实验表明,该文提出的模型在有效缩减图尺寸的同时,相比于其他文本分类网络模型取得了较为先进的结果。     

基于深度BiLSTM和图卷积网络的方面级情感分析

现有方面级情感分析方法,存在无法获取最优文本表示和使用普通图卷积网络不能提取依存图中深层结构信息的问题。为此,提出了一种基于深度BiLSTM（DBiLSTM）和紧密连接的图卷积网络（DDGCN）模型。首先,通过DBiLSTM获取方面词与上下文单词间的深层语义信息;其次,在原始图卷积网络中加入紧密连接,以生成能提取深层结构信息的紧密图卷积网络;然后,利用改进后的图卷积网络捕获依存图上的结构信息;最终,将融合2种深层信息的文本表示用于情感分类。3个数据集上的实验结果表明,DDGCN模型相比对比模型在准确度和F1上均有提升。     

基于多粒度特征融合的新型图卷积网络用于方面级情感分析

方面级情感分析是情感分析中的细粒度任务,旨在检测给定句子中方面词的情感极性。随着图卷积网络的兴起,通过依赖树构建的图卷积网络模型被广泛用于该任务,并取得了令人满意的效果。但大多数研究只获取图卷积网络最后一层输出作为分类层的输入,忽略了其他层的节点特征,且深层图卷积网络存在节点平滑问题。近年来,有研究者将图卷积网络的多层节点特征进行集成,提高了情感分类模型的性能。文中结合自适应特征融合与高速公路网络,提出了一种基于多粒度特征融合的高速公路图卷积网络模型,用于方面级情感分析。首先,该模型通过句法依赖结构和双向的上下文信息构建图卷积网络;同时,在图卷积网络引入高速公路网络缓解深层图卷积网络过平滑的问题,加深图卷积网络的深度。然后,使用自适应融合机制从不同深度图卷积网络获得多粒度节点信息。最后,在公共数据集上进行实验,实验结果表明,与基准模型相比,所提模型能更好地捕获更多粒度的句法信息和长距离依存关系。     

融合预训练语言模型和标签依赖知识的关系抽取方法

关系抽取旨在从未经标注的自由文本中抽取实体间的关系.然而,现有的方法大都孤立地预测每一个关系而未考虑关系标签相互之间的丰富语义关联.该文提出了一种融合预训练语言模型和标签依赖知识的关系抽取模型.该模型通过预训练模型BERT编码得到句子和两个目标实体的语义信息,使用图卷积网络建模关系标签之间的依赖图,并结合上述信息指导最...     

基于图卷积的异质网络节点分类方法

图神经网络能够有效学习网络语义信息,在节点分类任务上取得了良好的效果.但仍面临挑战：如何充分利用异质网络丰富语义信息和全面结构信息使节点分类更精准.针对上述问题,提出了一种基于图卷积的异质网络节点分类框架(heterogeneous network node classification framework, HNNCF),包括异质网络约简和图卷积节点分类,解决异质网络节点分类问题.通过设计转换规则约简异质网络,将异质网络化简为语义化同质网络,利用节点间的关系表示保留异质网络多语义信息,降低网络结构建模复杂度;基于消息传递框架设计图卷积节点分类方法,在语义化同质网络上学习无1-sum约束的邻居权重等网络结构信息,深入挖掘关系语义特征,发现不同连接关系和邻居语义提取的差异性,生成节点的异质语义表示用于节点分类,识别节点类别标签.在3个公开的节点分类数据集上进行了实验,结果表明HNNCF能够充分利用异质网络多种语义信息,有效学习邻居节点权重等网络结构信息,提升节点分类效果.     

图卷积神经网络在自然语言处理中的应用研究

图神经网络构架的出现,给深度学习带来了新的研究方向,图结构能聚合节点的邻居节点以及边的信息来更新该节点的向量表征,捕捉到文本中更丰富和细致的特征,有效帮助文本理解。本文旨在采用近年来前沿的图卷积神经网络模型,在少量标注的训练样本下,针对自然语言处理任务进行研究。通过使用图卷积神经网络模型挖掘文本之间的关系信息来提升自然语言处理相关任务的效果。