结合图卷积的深层神经网络用于文本分类

随着图卷积网络的发展,图卷积网络已经应用到很多任务中,其中就包含文本分类任务.通过将文本数据表示成图数据,进而在图上应用图卷积,从而捕获文本的结构信息和单词间的长距离依赖关系获得了良好的分类效果.但将文本建模成图模型后,图卷积网络面临着文本上下文语义信息和局部特征信息表示不充分的问题.提出一种新的模型,利用双向长短时记...     

基于词共现与图卷积的文本分类方法

针对文本分类任务中标注数量少的问题,提出了一种基于词共现与图卷积相结合的半监督文本分类方法。模型使用词共现方法统计语料库中单词的词共现信息,过滤词共现信息建立一个包含单词节点和文档节点的大型图结构的文本图,将文本图中邻接矩阵和关于节点的特征矩阵输入到结合注意力机制的图卷积神经网络中实现了对文本的分类。实验结果表明,与目前多种文本分类算法相比,该方法在经典数据集20NG、Ohsumed和MR上均取得了更好的效果。     

松耦合图卷积文本分类网络

文本分类任务是自然语言处理领域内一个重要的研究问题.近年来,因处理复杂网络结构的出色能力,图神经网络模型(Graph Neural Network,GNN)受到广泛关注并被引入到文本分类任务中.在之前的研究中,基于图卷积网络(Graph Convolu-tional Neural Network,GCN)的分类模型使用...     

基于改进归纳式图卷积网络的文本分类方法

针对图嵌入式文本分类方法在预测性能和归纳能力方面的缺陷,在文本图卷积网络(TextGCN)的基础上,进行适当改进。结合预测文本嵌入(PTE)的高效训练和归纳性,在各个网络层中使用不同的图;通过异质图卷积网络架构来学习特征嵌入,利用习得的特征进行归纳推理。实验结果表明,在大量训练样本标注的情况下,所提方法取得了与其它方法相当或稍优的性能。在少量训练样本标注的情况下,所提方法表现更优,性能增益范围为2%～7%,支持更快的训练和泛化性。     

图卷积神经网络综述

由于图数据的广泛存在,图卷积神经网络发展速度越来越快。根据卷积算子定义方式的不同,图卷积神经网络大体可以分为2类,其中一类基于谱方法,另一类基于空间方法。首先对这2类方法中的代表性模型以及二者之间的联系进行详细论述,并进一步全面总结图的池化操作;接着介绍了图卷积神经网络在各个领域中的广泛应用;最后提出了图卷积神经网络的几个可能的发展方向并对全文进行了总结。     

基于双向注意力机制和门控图卷积网络的文本分类方法

现有基于图卷积网络的文本分类模型通常只是通过邻接矩阵简单地融合不同阶的邻域信息来更新节点表示,导致节点的词义信息表达不够充分。此外,基于常规注意力机制的模型只是对单词向量进行正向加权表示,忽略了产生消极作用的单词对最终分类的影响。为了解决上述问题,文中提出了一种基于双向注意力机制和门控图卷积网络的模型。该模型首先利用门控图卷积网络有选择地融合图中节点的多阶邻域信息,保留了之前阶的信息,以此丰富节点的特征表示;其次通过双向注意力机制学习不同单词对分类结果的影响,在给予对分类起积极作用的单词正向权重的同时,对产生消极作用的单词给予负向权重以削弱其在向量表示中的影响,从而提升模型对文档中不同性质节点的甄别能力;最后通过最大池化和平均池化融合单词的向量表示,得到文档表示用于最终分类。在4个基准数据集上进行了实验,结果表明,该方法明显优于基线模型。     

基于概率分布的图卷积文本分类模型

近年来,图神经网络模型因其对非欧氏数据的建模和对全局依赖关系的捕获能力而广泛应用于文本分类任务。现有的基于图卷积网络的分类模型中的构图方法存在消耗内存过大、难以适应新文本等问题。此外,现有研究中用于描述图节点间的全局依赖关系的方法并不完全适用于分类任务。为解决上述问题,该文设计并提出了基于概率分布的文本分类网络模型,以语料库中的词和标签为节点构建标签-词异构关系图,利用词语在各标签上的概率分布描述节点间的全局依赖关系,并通过图卷积操作进行文本表示学习。在5个公开的文本分类数据集上的实验表明,该文提出的模型在有效缩减图尺寸的同时,相比于其他文本分类网络模型取得了较为先进的结果。     

RA-GCN：抑制过平滑现象的文本分类算法

现有大多数利用图神经网络的算法进行文本分类时,忽略了图神经网络的过度平滑问题和由于文本图拓扑差异引入的误差,导致文本分类的性能不佳。针对这一问题,提出了衡量多个文本图表示的平滑度方法WACD以及抑制过平滑现象的正则项RWACD。随后提出了基于注意力和残差的网络结构ARS,用于弥补由于图拓扑差异引起的文本信息的损失。最后,提出了图卷积神经网络文本分类算法RA-GCN。RA-GCN在图表示学习层使用ARS融合文本表示,在读出层使用RWACD抑制过平滑现象。在六个中英文数据集上进行实验,实验结果证明了RA-GCN的分类性能,并通过多个对比实验验证了RWACD和ARS的作用。     

融合语义和句法依存分析的图卷积新闻文本分类

图卷积神经网络GCN已经广泛应用于文本分类任务中,但GCN在文本分类时仅仅根据词语的共现关系来构建文本图,忽略了文本语言本身的规律关系,如语义关系与句法关系,并且GCN不善于提取文本上下文特征和序列特征。针对上述问题,该文提出了一种文本分类模型SEB-GCN,其在文本词共现图的基础上加入了句法文本图与语义文本图,再引入ERNIE和残差双层BiGRU网络来对文本特征进行更深入的学习,从而提高模型的分类效果。实验结果表明,该文提出的SEB-GCN模型在四个新闻数据集上,分类精确度对比其他模型分别提高4.77%、4.4%、4.8%、3.4%、3%,且分类收敛速度也明显快于其他模型。     

GCN-PU:基于图卷积网络的PU文本分类算法

针对PU（Positive and Unlabeled）文本分类问题,提出了一种基于图卷积网络的PU文本分类算法（GCN-PU）,基本思想是给未标注样本加以不同的损失权重。将未标注样本全部视为负类样本,用以训练基于卷积神经网络的文本分类器;取卷积神经网络的倒数第二层的向量为文本的特征向量,以及对应的类别概率,作为图卷积网络的输入;利用图卷积网络得出的类别概率计算每个未标注样本的损失权重,重新训练文本分类器。不断重复上述三个步骤,直到算法参数稳定。在公开数据集20newsgroup上的实验结果表明,GCN-PU算法优于现有的方法,尤其在正类样本较少的情况下。     

融合掩码机制的图卷积文本分类模型

图卷积神经网络在文本分类领域受到广泛关注,但同时存在过平滑的问题。此外,现有研究中掩码机制是在文本结构上进行融合,可能并不完全适用于基于图卷积神经网络的文本分类方法。因此,该文针对图结构提出了融合掩码机制的图卷积神经网络MaskGCN,直接将掩码机制引入文本图结构,并采用全局共享矩阵动态构建文本级别的多粒度文本图。在THUCNews、今日头条和SougoCS数据集上的实验表明,该文模型在有效抑制过平滑的同时,相比于其他文本分类模型取得了较优的结果。     

融合文本图卷积和集成学习的文本分类方法

为了提高文本分类的准确率并解决文本图卷积神经网络对节点特征利用不足的问题,提出了一种新的文本分类模型,其内在融合了文本图卷积和Stacking集成学习方法的优点。该模型首先通过文本图卷积神经网络学习文档和词的全局表达以及文档的语法结构信息,再通过集成学习对文本图卷积提取的特征进行二次学习,以弥补文本图卷积节点特征利用不足的问题,提升单标签文本分类的准确率以及整个模型泛化能力。为了降低集成学习的时间消耗,移除了集成学习中的k折交叉验证机制,融合算法实现了文本图卷积和Stacking集成学习方法的关联。在R8、R52、MR、Ohsumed、20NG等数据集上的分类效果相对于传统的分类模型分别提升了1.5%、2.5%、11%、12%、7%以上,该方法在同领域的分类算法比较中表现优异。     

基于BTM图卷积网络的短文本分类方法

由于短文本长度较短,在分类时会面临数据稀疏和语义模糊等问题.提出新型图卷积网络BTM_GCN,该网络利用双项主题模型(Biterm Topic Model,BTM)在短文本数据集上训练出固定数量的文档级潜在主题,并作为一种节点嵌入到文本异构图中,再与异构图中的文档节点进行连接,最后利用图卷积网络来捕获文档、词与主题节点...     

基于图卷积网络的文本分割模型

文本分割的主要任务是将文本按照主题相关的原则划分为若干个相对独立的文本块。针对现有文本分割模型提取文本段落结构信息、语义相关性及上下文交互等细粒度特征的不足,提出了一种基于图卷积网络（GCN）的文本分割模型TS-GCN。首先,基于文本段落的结构信息与语义逻辑构建出文本图;然后,引入语义相似性注意力来捕获文本段落节点间的细粒度相关性,并借助GCN实现文本段落节点高阶邻域间的信息传递,以此增强模型多粒度提取文本段落主题特征表达的能力。将所提模型与目前常用作文本分割任务基准的代表模型CATS及其基础模型TLT-TS进行对比。实验结果表明在Wikicities数据集上,TS-GCN在未增加任何辅助模块的情况下比TLT-TS的评价指标Pk值下降了0.08个百分点;在Wikielements数据集上,相较于CATS和TLT-TS,所提模型的Pk值分别下降了0.38个百分点和2.30个百分点,可见TLT-TS取得了较好的分割效果。     

基于图卷积网络的行为识别方法综述

行为识别技术具有巨大的应用前景和潜在的经济价值,广泛应用于视频监控、视频检索、人机交互、公共安全等领域.图卷积网络表现出基于图数据的依赖关系进行建模的强大功能,成为行为识别领域的研究热点.基于此,主要概述基于图卷积网络的行为识别方法.图卷积网络主要有两大方法:基于频谱的方法和基于空间的方法.首先,从不同侧面分析两种方法...     

图卷积网络与自注意机制在文本分类任务上的对比分析

图卷积网络近年来受到大量关注,同时自注意机制作为Transformer结构及众多预训练模型的核心之一也得到广泛运用.该文从原理上分析发现,自注意机制可视为图卷积网络的一种泛化形式,其以所有输入样本为节点,构建有向全连接图进行卷积,且节点间连边权重可学.在多个文本分类数据集上的对比实验一致显示,使用自注意机制的模型较使用...     

图卷积神经网络结合注意力机制的机器翻译方法研究

目前一般基于RNN (Recurrent Neural Network)框架下的编码器-解码器翻译模型不能有效挖掘翻译文章中句子的语义以及文本序列等为,因此,研究将图卷积神经网络结合注意力机制对机器翻译,提高翻译准确度的同时保证文章整体性与语义连贯性。实验结果表示,研究模型改变传统编码方式后可以减少维度与参数,在保留源语言文本的整体特征之外,强调了局部特征的强弱关联。通过数据集实证分析后模型的各项指标表现良好,进行长句翻译时,研究模型的Bleu得分提高2.5分,进行篇幅文章翻译时的语义表达准确度达到96%以上,源语句翻译效果优秀,凸显出整体语篇翻译的能力。     

基于文本结构和图卷积网络的生成式摘要

目前主流的生成式自动文摘采用基于编码器—解码器架构的机器学习模型,且通常使用基于循环神经网络的编码器.该编码器主要学习文本的序列化信息,对文本的结构化信息学习能力较差.从语言学的角度来讲,文本的结构化信息对文本重要内容的判断具有重要作用.为了使编码器能够获取文本的结构信息,该文提出了基于文本结构信息的编码器,其使用了图...