基于情感知识的双通道图卷积网络的方面级情感分析

方面级情感分析是一项细粒度情感分析任务,其目标是对句子中给定的方面词进行情感极性分类。当前的情感分类模型大多在依存句法树上构建图神经网络,从依存句法树上学习方面词与上下文之间的信息,缺乏对句子中情感知识的挖掘。针对这个问题,文中提出了一种基于情感知识的双通道图卷积网络的情感分类模型(Dual-channel Graph Convolutional Network with Sentiment Knowledge, SKDGCN)。该模型由情感增强的依存图卷积网络(Sentiment-enhanced Dependency Graph Convolutional Network, SDGCN)和注意力图卷积网络(Attention Graph Convolutional Network, AGCN)组成,两个图卷积网络分别学习方面词与上下文词的句法依赖关系和语义关系。具体地,SDGCN在句法依存树上融合SenticNet中的情感知识以增强句子的依赖关系,使得模型既考虑了上下文词与方面词的句法关系,也考虑了上下文中意见词与方面词的情感信息;AGCN使用注意力机制学习方面词与句子中上下文的语...     

结合图卷积的深层神经网络用于文本分类

随着图卷积网络的发展,图卷积网络已经应用到很多任务中,其中就包含文本分类任务.通过将文本数据表示成图数据,进而在图上应用图卷积,从而捕获文本的结构信息和单词间的长距离依赖关系获得了良好的分类效果.但将文本建模成图模型后,图卷积网络面临着文本上下文语义信息和局部特征信息表示不充分的问题.提出一种新的模型,利用双向长短时记...     

融合图卷积网络模型的无监督社区检测算法

图卷积神经网络（Graph Convolutional Neural Network）能有效地提取非欧式距离数据中的特征信息。提出一种基于图卷积网络模型的无监督社区检测算法。选择图中某些节点添加人工标签来模拟在图上的信号输入,使其满足图卷积网络的传播特征的要求,通过修改后的图卷积网络传播规则将节点本身的标签传递至其相邻节点,通过对同一节点获得的不同标签进行比较后将节点归类,之后优化归类结果并输出社区划分矩阵。使用现实世界的数据集进行测试,并与一些其他社区检测算法进行对比评估。实验结果表明算法在不同类型的数据集中都能得到很好的社区划分效果。     

基于概率分布的图卷积文本分类模型

近年来,图神经网络模型因其对非欧氏数据的建模和对全局依赖关系的捕获能力而广泛应用于文本分类任务。现有的基于图卷积网络的分类模型中的构图方法存在消耗内存过大、难以适应新文本等问题。此外,现有研究中用于描述图节点间的全局依赖关系的方法并不完全适用于分类任务。为解决上述问题,该文设计并提出了基于概率分布的文本分类网络模型,以语料库中的词和标签为节点构建标签-词异构关系图,利用词语在各标签上的概率分布描述节点间的全局依赖关系,并通过图卷积操作进行文本表示学习。在5个公开的文本分类数据集上的实验表明,该文提出的模型在有效缩减图尺寸的同时,相比于其他文本分类网络模型取得了较为先进的结果。     

图卷积网络与自注意机制在文本分类任务上的对比分析

图卷积网络近年来受到大量关注,同时自注意机制作为Transformer结构及众多预训练模型的核心之一也得到广泛运用。该文从原理上分析发现,自注意机制可视为图卷积网络的一种泛化形式,其以所有输入样本为节点,构建有向全连接图进行卷积,且节点间连边权重可学。在多个文本分类数据集上的对比实验一致显示,使用自注意机制的模型较使用图卷积网络的对照模型分类效果更佳,甚至超过了目前图卷积网络用于文本分类任务的最先进水平,并且随着数据规模的增大,两者分类效果的差距也随之扩大。这些证据表明,自注意力机制更具表达能力,在文本分类任务上能够相对图卷积网络带来分类效果的提升。     

基于图卷积神经网络的隐式篇章关系识别

隐式篇章关系识别是篇章关系识别的子任务,其挑战性在于难以学习到具有丰富语义信息和交互信息的论元表示.针对这一难点,该文提出一种基于图卷积神经网络(Graph Convolutional Network,GCN)的隐式篇章关系分类方法.该方法采用预训练语言模型BERT(Bidirectional Encoder Repr...     

基于图卷积神经网络的文本分类方法研究综述

文本分类是自然语言处理领域中常见的任务,机器学习和深度学习在该任务中已有较多研究并取得了很大进展,然而,这些传统方法只能处理欧氏空间的数据,不能完全有效地表达出文本的语义信息。为了打破传统的学习模式,诸多研究开始尝试用图表示文本中各实体间的丰富关系,并利用图卷积神经网络学习文本表示。文中对基于图卷积神经网络的文本分类方法进行了综述,首先概述了图卷积神经网络的背景与原理;其次,利用不同类型的图网络详细阐述了基于图卷积神经网络的文本分类方法,同时分析了图卷积神经网络在网络深度上的局限性,并介绍了深层网络在文本分类任务上的最新进展;最后,通过实验比较了各模型的分类性能,并探讨了该领域的难点与未来的发展方向。     

一种融合用户显隐式阅读偏好的论文推荐模型

在海量学术文献的个性化推荐中,现存基于内容的方法以CNN作为特征提取工具,关注用户的显式阅读偏好,却忽略了全局语义特征,而基于图的方法通常忽略用户和论文之间的高阶关联结构信息。针对以上问题,提出一种混合推荐模型GNPR(Graph Neural Paper Recommendation),能够学习更完整的用户显式阅读偏好及用户和论文之间的高阶关联信息。该方法使用Word2vec和DCNN(Dual Convolutional Neural Network)处理文本,以双层自注意力的特征抽取模式学习文本全局特征,补充用户显式阅读偏好。针对概念、用户、论文和论文元数据等数据构建知识图谱,使用改进的图卷积网络学习用户和论文之间的高阶关联信息,从而挖掘用户隐式的阅读偏好。在CiteULike-a等数据集上验证了GNPR模型的有效性。     

基于多粒度特征融合的新型图卷积网络用于方面级情感分析

方面级情感分析是情感分析中的细粒度任务,旨在检测给定句子中方面词的情感极性。随着图卷积网络的兴起,通过依赖树构建的图卷积网络模型被广泛用于该任务,并取得了令人满意的效果。但大多数研究只获取图卷积网络最后一层输出作为分类层的输入,忽略了其他层的节点特征,且深层图卷积网络存在节点平滑问题。近年来,有研究者将图卷积网络的多层节点特征进行集成,提高了情感分类模型的性能。文中结合自适应特征融合与高速公路网络,提出了一种基于多粒度特征融合的高速公路图卷积网络模型,用于方面级情感分析。首先,该模型通过句法依赖结构和双向的上下文信息构建图卷积网络;同时,在图卷积网络引入高速公路网络缓解深层图卷积网络过平滑的问题,加深图卷积网络的深度。然后,使用自适应融合机制从不同深度图卷积网络获得多粒度节点信息。最后,在公共数据集上进行实验,实验结果表明,与基准模型相比,所提模型能更好地捕获更多粒度的句法信息和长距离依存关系。     

GCN-PU:基于图卷积网络的PU文本分类算法

针对PU（Positive and Unlabeled）文本分类问题,提出了一种基于图卷积网络的PU文本分类算法（GCN-PU）,基本思想是给未标注样本加以不同的损失权重。将未标注样本全部视为负类样本,用以训练基于卷积神经网络的文本分类器;取卷积神经网络的倒数第二层的向量为文本的特征向量,以及对应的类别概率,作为图卷积网络的输入;利用图卷积网络得出的类别概率计算每个未标注样本的损失权重,重新训练文本分类器。不断重复上述三个步骤,直到算法参数稳定。在公开数据集20newsgroup上的实验结果表明,GCN-PU算法优于现有的方法,尤其在正类样本较少的情况下。     

针对文本分类的神经网络模型

文本分类是自然语言处理领域的一项重要任务,具有广泛的应用场景,比如知识问答、文本主题分类、文本情感分析等.解决文本分类任务的方法有很多,如支持向量机（Support Vector Machines,SVM）模型和朴素贝叶斯（Naïve Bayes）模型,现在被广泛使用的是以循环神经网络（Recurrent Neural Network,RNN）和文本卷积网络（TextConventional Neural Network,TextCNN）为代表的神经网络模型.本文分析了文本分类领域中的序列模型和卷积模型,并提出一种组合序列模型和卷积模型的混合模型.在公开数据集上对不同模型进行性能上的对比,验证了组合模型的性能要优于单独的模型.     

Label-Embedding Bi-directional Attentive Model for Multi-label Text Classification

Neural Processing Letters - Multi-label text classification is a critical task in natural language processing field. As the latest language representation model, BERT obtains new state-of-the-art...     

融合文本序列和图信息的海关商品HS编码分类

海关商品HS编码分类是企业和个人进出口贸易的重要国际程序。HS编码分类可以看作是一个文本分类问题,即给定一段商品的描述,确定商品由HS编码表示的所属类别。然而,该任务比一般的文本分类任务更具挑战性,原因是商品描述文本具有特定的层次结构,同时商品描述文本展现出了两个层次上的序列特征,并且商品描述文本还存在关键信息分散且描述形式多样的特点。现有的文本分类方法无法综合考虑以上因素来捕获商品描述文本中的关键信息。对此,文中提出了一种融合文本序列和图信息的神经网络(Text Sequence and Graph Information combination Neural Network,TSGINN)模型,用于解决海关商品HS编码分类问题。TSGINN将HS编码分类问题定义为基于词共现网络的子图分类问题,通过图注意力网络建模非连续词之间的关联关系,同时利用分层的长短期记忆网络结合商品文本层次结构捕获多层次的序列信息。在真实海关商品数据集上进行了实验,结果表明TSGINN模型的HS编码分类效果优于其他分类方法。     

自然语言处理中的文本表示研究

自然语言处理是人工智能的核心技术,文本表示是自然语言处理的基础性和必要性工作,影响甚至决定着自然语言处理系统的质量和性能.探讨了文本表示的基本原理、自然语言的形式化、语言模型以及文本表示的内涵和外延.宏观上分析了文本表示的技术分类,对主流技术和方法,包括基于向量空间、基于主题模型、基于图、基于神经网络、基于表示学习的文...     

基于神经网络的文本分类方法研究

海量文本分析是实现大数据理解和价值发现的重要手段,其中文本分类作为自然语言处理的经典问题受到研究者广泛关注,而人工神经网络在文本分析方面的优异表现使其成为目前的主要研究方向。在此背景下,介绍卷积神经网络、时间递归神经网络、结构递归神经网络和预训练模型等主流方法在文本分类中应用的发展历程,比较不同模型基于常用数据集的分类效果,表明利用人工神经网络结构自动获取文本特征,可避免繁杂的人工特征工程,使文本分类效果得到提升。在此基础上,对未来文本分类的研究方向进行展望。     

基于CNN和BiLSTM网络特征融合的文本情感分析

卷积神经网络（CNN）和循环神经网络（RNN）在自然语言处理上得到广泛应用,但由于自然语言在结构上存在着前后依赖关系,仅依靠卷积神经网络实现文本分类将忽略词的上下文含义,且传统的循环神经网络存在梯度消失或梯度爆炸问题,限制了文本分类的准确率。为此,提出一种卷积神经网络和双向长短时记忆（BiLSTM）特征融合的模型,利用卷积神经网络提取文本向量的局部特征,利用BiLSTM提取与文本上下文相关的全局特征,将两种互补模型提取的特征进行融合,解决了单卷积神经网络模型忽略词在上下文语义和语法信息的问题,也有效避免了传统循环神经网络梯度消失或梯度弥散问题。在两种数据集上进行对比实验,实验结果表明,所提特征融合模型有效提升了文本分类的准确率。     

基于文档标引图模型的文本相似度策略

文档标引图是一种基于短语的图结构文本特征表示模型,能更加全面、准确地表达文本特征信息,实现渐增的文本聚类和信息处理。该文基于文档标引图特征模型,提出文档相似度计算加法策略和乘法策略,采用变换函数对文档相似度值进行调整,增强文档之间的可区分性,改进文本聚类和分类等处理的性能,实例证明了策略的有效性。     

结合Bert与Bi-LSTM的英文文本分类模型

作为自然语言处理技术中的底层任务之一,文本分类任务对于上游任务有非常重要的辅助价值。而随着最近几年深度学习广泛应用于NLP中的上下游任务的趋势,深度学习在下游任务文本分类中性能不错。但是目前的基于深层学习网络的模型在捕捉文本序列的长距离型上下文语义信息进行建模方面仍有不足,同时也没有引入语言信息来辅助分类器进行分类。针对这些问题,提出了一种新颖的结合Bert与Bi-LSTM的英文文本分类模。该模型不仅能够通过Bert预训练语言模型引入语言信息提升分类的准确性,还能基于Bi-LSTM网络去捕捉双向的上下文语义依赖信息对文本进行显示建模。具体而言,该模型主要有输入层、Bert预训练语言模型层、Bi-LSTM层以及分类器层搭建而成。实验结果表明,与现有的分类模型相比较,所提出的Bert-Bi-LSTM模型在MR数据集、SST-2数据集以及CoLA数据集测试中达到了最高的分类准确率,分别为86.2%、91.5%与83.2%,大大提升了英文文本分类模型的性能。     

SynSeq4ED: A Novel Event-Aware Text Representation Learning for Event Detection

Neural Processing Letters - Event detection (ED) is considered as an important task in natural language processing (NLP) which effectively supports to specify instances of multi event types which...