图卷积神经网络在自然语言处理中的应用研究

图神经网络构架的出现,给深度学习带来了新的研究方向,图结构能聚合节点的邻居节点以及边的信息来更新该节点的向量表征,捕捉到文本中更丰富和细致的特征,有效帮助文本理解。本文旨在采用近年来前沿的图卷积神经网络模型,在少量标注的训练样本下,针对自然语言处理任务进行研究。通过使用图卷积神经网络模型挖掘文本之间的关系信息来提升自然语言处理相关任务的效果。     

基于随机传播图卷积模型的零样本图像分类

零样本图像分类旨在识别训练时从未出现过的全新类别(未见类别),为此需要利用辅助信息建模未见类和可见类之间的关系。利用图卷积网络(GCN)进行零样本分类的模型可以借助知识图显式地表达类别之间的关系,但 GCN 易受过平滑影响,导致模型性能下降。针对此问题提出了基于随机传播图卷积模型的零样本图像分类方法。该方法使用随机传播机制处理原始特征以达到特征扰动和数据扩增的目的;利用数据中类别层级生成的知识图建模类别之间的语义关系。其中,图中节点代表类别,节点间的边代表类别之间的关系。再构建 GCN对处理后的特征进行训练,从节点中输出包含未见类别的分类器参数,进而实现零样本图像分类。实验结果表明,该方法可以有效地改善零样本图像分类中的时间消耗、分类精度和泛化性能。     

基于元学习和图滤波器的节点分类研究

深度学习在提取数据特征方面取得了巨大的成功，尤其是在处理节点间关系信息丰富的图数据时，通过在频域上使用图滤波器进行图卷积操作，设计出了多种图神经网络。这些图神经网络主要关注设计固定的滤波器或学习简单的滤波器，但这种对滤波器的简化可能会导致滤波器不能适用于所有的图数据。为了解决上述问题，提出了一种基于元学习和图滤波器的节点分类模型MGCN,以提高图滤波器的普适性。模型利用元学习为图卷积神经网络(GCN)的滤波器学习了一组初始化权重，在对滤波器的权重进行微调之后，模型可以快速地适应新任务。为了验证MGCN的有效性，在6个基线数据集上进行了大量实验。实验结果表明，提出的模型相比于传统图神经网络模型可以适用于更加广泛的图数据。     

图网络层级信息挖掘分类算法综述

深度学习作为人工智能的一个研究分支发展迅速,而研究数据主要是语音、图像和视频等,这些具有规则结构的数据通常在欧氏空间中表示。然而许多学习任务需要处理的数据是从非欧氏空间中生成,这些数据特征和其关系结构可以用图来定义。图卷积神经网络通过将卷积定理应用于图,完成节点之间的信息传播与聚合,成为建模图数据一种有效的方法。尽管图卷积神经网络取得了巨大成功,但针对图任务中的节点分类问题,由于深层图结构优化的特有难点——过平滑现象,现有的多数模型都只有两三层的浅层模型架构。在理论上,图卷积神经网络的深层结构可以获得更多节点表征信息,因此针对其层级信息进行研究,将层级结构算法迁移到图数据分析的核心在于图层级卷积算子构建和图层级间信息融合。本文对图网络层级信息挖掘算法进行综述,介绍图神经网络的发展背景、存在问题以及图卷积神经网络层级结构算法的发展,根据不同图卷积层级信息处理将现有算法分为正则化方法和架构调整方法。正则化方法通过重新构建图卷积算子更好地聚合邻域信息,而架构调整方法则融合层级信息丰富节点表征。图卷积神经网络层级特性实验表明,图结构中存在层级特性节点,现有图层级信息挖掘算法仍未对层级特性节点的...     

基于融合关系学习网络的行人重识别

基于图卷积神经网络的行人重识别方法面临两个问题:1)在对特征映射构图时,图节点表达的语义信息不够显著;2)选择特征块构图时仅依赖特征块间的相对距离,忽略内容相似性.为了解决这两个问题,文中提出融合关系学习网络的行人重识别.利用注意力机制,使用最大注意力模型,使最重要的特征块更显著,赋予其语义信息.融合相似性度量,从距离和内容两方面对特征块进行相似性计算,度量方式更全面.该算法能够综合地选取近邻特征块,为图卷积神经网络提供更好的输入图结构,使图卷积神经网络提取更鲁棒的结构关系特征.在iLIDS-VID、MARS数据集上的实验验证文中网络的有效性.     

基于图卷积神经网络的网络节点补全算法

网状数据结构通常获取的网络数据不完整,存在缺失节点.对此,文中提出基于图卷积神经网络的网络节点补全算法.首先对可观测网络进行成对采样,构造目标节点对的封闭子图和特征矩阵.然后利用图卷积神经网络提取子图及特征矩阵的表征向量,用于推断子图中的目标节点对之间是否存在缺失节点,同时判断不同目标节点对间的缺失节点是否为同一节点.最后,在真实网络数据集及人工生成的网络数据集上的实验表明,文中算法可较好解决网络补全问题,在缺失节点比例较大时仍能有效补全网络.     

基于特征对比学习和图卷积的社交网络用户分类

社交网络用户分类旨在通过用户属性和社交关系确定用户的兴趣爱好,可通过图类数据的节点分类实现。多数基于图卷积神经网络(GCN)的节点分类方法仅能处理高同质率数据集,但社交网络数据集通常具有较高的异质率。针对社交网络数据集同质率较低的问题,提出一种基于特征对比学习的图卷积神经网络(CLGCN)模型。通过预训练的组合标签构造相似性矩阵,根据相似性矩阵进行图卷积。利用特征对比学习分别定义类别相同和不同的邻居节点对为正负样本对,最小化特征对比的损失函数,使同类节点对的特征表达相似性更高及异类节点对的特征表达可区分性更强。实验结果表明,CLGCN模型在3个低同质率社交网络数据集上的节点分类准确率分别达到93.5%、81.4%和67.9%,均高于对比模型。     

用于非精确图匹配的改进注意图卷积网络

将传统图卷积网络模型应用于非精确图匹配时,在卷积步骤早期易存在节点特性以及节点之间拓扑特征的损失,从而影响导致匹配性能.针对这一问题,提出了改进注意图卷积网络模型.使用相对较少的参数以端到端的方式学习分层表示,利用自注意机制来区分应该丢弃或保留的节点.首先利用注意图卷积网络来自动学习不同跳上邻域的重要程度;其次,加入自注意池化层,从矩阵图嵌入的各个方面概括图表示;最后,在多个标准图数据集中进行训练和测试.实验结果表明,相较于目前最先进的图核和其他深度学习算法,该方法在标准图数据集上实现了更优的图分类性能.     

图卷积网络与自注意机制在文本分类任务上的对比分析

图卷积网络近年来受到大量关注,同时自注意机制作为Transformer结构及众多预训练模型的核心之一也得到广泛运用。该文从原理上分析发现,自注意机制可视为图卷积网络的一种泛化形式,其以所有输入样本为节点,构建有向全连接图进行卷积,且节点间连边权重可学。在多个文本分类数据集上的对比实验一致显示,使用自注意机制的模型较使用图卷积网络的对照模型分类效果更佳,甚至超过了目前图卷积网络用于文本分类任务的最先进水平,并且随着数据规模的增大,两者分类效果的差距也随之扩大。这些证据表明,自注意力机制更具表达能力,在文本分类任务上能够相对图卷积网络带来分类效果的提升。     

集图卷积和三维方向卷积的点云分类分割模型

现有的深度学习方法在提取点云的局部特征时往往忽略了节点间的位置关系和方向信息，导致不能有效地学习点云的局部特征。为解决这一问题，提出一种集图卷积和三维方向卷积的点云分类分割模型GCN3D。GCN3D模型将图卷积神经网络应用在点云分类分割领域。将点云视作图上的节点，对每个节点求其K近邻，建立局部K近邻邻域内两两节点之间的边，并通过图卷积神经网络参数化边特征以捕捉节点间局部位置关系并更新中心节点特征；使用方向编码模块将节点的邻域划分为八个方位的细粒度的邻域小块，并按照三维空间坐标轴的方向依次将局部邻域结构内的节点特征映射到不同细粒度邻域空间内以提取节点间的方向信息，并且叠加两个方向编码模块增大网络的感受野，提高模型对于稀疏点云数据的鲁棒性并获取局部邻域多尺度特征。在ModelNet40数据集和ShapeNet数据集上分别进行点云分类和点云部分分割的实验。结果表明，相比没有考虑局部特征信息的PointNet,GCN3D模型在ModelNet40数据集上的总体分类精度提高了3.8个百分点，平均分类精度提高了4.3个百分点；在ShapeNet数据集上的平均交并比提高了1.5个百分点。相比其他深度...     

基于非鲁棒特征的图卷积神经网络对抗训练方法

图卷积神经网络可以通过图卷积提取图数据的有效信息,但容易受到对抗攻击的影响导致模型性能下降。对抗训练能够用于提升神经网络鲁棒性,但由于图的结构及节点特征通常是离散的,无法直接基于梯度构造对抗扰动,而在模型的嵌入空间中提取图数据的特征作为对抗训练的样本,能够降低构造复杂度。借鉴集成学习思想,提出一种基于非鲁棒特征的图卷积神经网络对抗训练方法VDERG,分别针对拓扑结构和节点属性两类特征,构建两个图卷积神经网络子模型,通过嵌入空间提取非鲁棒特征,并基于非鲁棒特征完成对抗训练,最后集成两个子模型输出的嵌入向量作为模型节点表示。实验结果表明,提出的对抗训练方法在干净数据上的准确率平均提升了0.8%,在对抗攻击下最多提升了6.91%的准确率。     

一种用于方面级情感分析的知识增强双图卷积网络

近年来,深度神经网络特别是图神经网络在方面级情感分析任务上取得了较大进展,但是仍存在未充分利用外部知识信息、句法依赖树的边关系信息以及知识图谱结构信息的缺陷.针对上述问题,本文提出了一种知识增强的双图卷积网络BGCN-KE(Knowledge-enhanced Bi-Graph Convolutional Network).首先,提出一种融合句法依赖关系与外部知识的子图构造算法,得到节点间语义关系更紧密的知识子图.其次,提出了双图卷积网络,分别利用两个图卷积网络在句法依赖知识子图中引导评论文本的节点学习邻接节点的外部知识,以及在评论文本的句法依赖图中融合特定方面相关的语义信息,从而增强评论文本的特定方面知识表示和语义表示.再次,BGCN-KE引入边关系注意力机制,更好地捕获特定方面和上下文词语间的语义关系.最后,提出了一种多级特征融合机制,充分融合特定方面相关的外部知识、语义信息和边关系特征.多个公共数据集上的实验证明,BGCN-KE的性能优于最新的对比模型.     

基于图卷积的异质网络节点分类方法

图神经网络能够有效学习网络语义信息,在节点分类任务上取得了良好的效果.但仍面临挑战：如何充分利用异质网络丰富语义信息和全面结构信息使节点分类更精准.针对上述问题,提出了一种基于图卷积的异质网络节点分类框架(heterogeneous network node classification framework, HNNCF),包括异质网络约简和图卷积节点分类,解决异质网络节点分类问题.通过设计转换规则约简异质网络,将异质网络化简为语义化同质网络,利用节点间的关系表示保留异质网络多语义信息,降低网络结构建模复杂度;基于消息传递框架设计图卷积节点分类方法,在语义化同质网络上学习无1-sum约束的邻居权重等网络结构信息,深入挖掘关系语义特征,发现不同连接关系和邻居语义提取的差异性,生成节点的异质语义表示用于节点分类,识别节点类别标签.在3个公开的节点分类数据集上进行了实验,结果表明HNNCF能够充分利用异质网络多种语义信息,有效学习邻居节点权重等网络结构信息,提升节点分类效果.     

基于图编码网络的社交网络节点分类方法

针对如何融合节点自身属性以及网络结构信息实现社交网络节点分类的问题,提出了一种基于图编码网络的社交网络节点分类算法。首先,每个节点向邻域节点传播其携带的信息;其次,每个节点通过神经网络挖掘其与邻域节点之间可能隐含的关系,并且将这些关系进行融合;最后,每个节点根据自身信息以及与邻域节点关系的信息提取更高层次的特征,作为节点的表示,并且根据该表示对节点进行分类。在微博数据集上,与经典的深度随机游走模型、逻辑回归算法有以及最近提出的图卷积网络算法相比,所提算法分类准确率均有大于8%的提升;在DBLP数据集上,与多层感知器相比分类准确率提升4.83%,与图卷积网络相比分类准确率提升0.91%。     

基于图卷积神经网络的文本分类方法研究综述

文本分类是自然语言处理领域中常见的任务,机器学习和深度学习在该任务中已有较多研究并取得了很大进展,然而,这些传统方法只能处理欧氏空间的数据,不能完全有效地表达出文本的语义信息。为了打破传统的学习模式,诸多研究开始尝试用图表示文本中各实体间的丰富关系,并利用图卷积神经网络学习文本表示。文中对基于图卷积神经网络的文本分类方法进行了综述,首先概述了图卷积神经网络的背景与原理;其次,利用不同类型的图网络详细阐述了基于图卷积神经网络的文本分类方法,同时分析了图卷积神经网络在网络深度上的局限性,并介绍了深层网络在文本分类任务上的最新进展;最后,通过实验比较了各模型的分类性能,并探讨了该领域的难点与未来的发展方向。     

基于图滤波器的符号属性图链路关系预测算法

带节点属性的符号网络在信息学、生物学等多个领域存应用广泛,链路符号预测是该类数据分析中的一个热点问题。基于符号图神经网络的模型是该问题的最新有效解决方案,但现有方法几乎均基于社会平衡理论,且未充分利用节点属性。针对以上问题,从图信号处理角度设计了一个符号图神经网络,提出了一种端到端的符号属性图链路预测算法。首先,给出了基于低频和高频信号的带通滤波器的符号图神经网络,用于获得基于符号拓扑图的节点嵌入;其次,构造属性相似性图,利用图卷积网络得到属性相似性图节点嵌入;最后,引入注意力机制,融合符号拓扑图与属性相似性图两种节点表达,并将其输入符号判别器,通过Adam优化器训练模型。在三个药物数据集上进行了对比实验与模型设置的影响分析。与典型的符号图卷积网络与符号图谱嵌入,以及最近提出的基于图滤波的符号卷积网络的对比结果表明,该模型在AUC与F1指标上比最好的基线方法提升了8.68%与10.04%。     

图卷积神经网络基础图结构影响研究

为进一步提高基于图卷积神经网络的半监督图节点分类的准确率,本文研究了基础图结构对图卷积神经网络的影响.通过对数据集(Cora、Citeseer及Pubmed)的图结构进行可视化,发现数据集(Cora、Citeseer)的图结构均为非连通图.通过研究非连通图中图拉普拉斯矩阵的"0"特征值和特征向量的特性,提出了通过对图拉普拉斯矩阵的"0"特征值对应的特征向量进行相关运算处理,获取非连通图最大连通分量的方法.该方法有效获取了数据集(Cora、Citeseer)图结构的最大连通分量,去除了非连通小分量.在该最大连通分量上利用3种先进的图卷积神经网络模型(GCN、GAT和GMNN)进行了实验验证,结果表明分类准确率提升了1%-4%,为其它包含小连通分量噪声的数据集更有效地利用图卷积神经网络模型训练提供了参考.     

基于混合特征建模的图卷积网络方法

对于网络中拥有的复杂信息,需要更多的方式抽取其中的有用信息,但现有的单特征图神经网络（GNN）无法完整地刻画网络中的相关特性。针对该问题,提出基于混合特征的图卷积网络（HDGCN）方法。首先,通过图卷积网络（GCN）得到节点的结构特征向量和语义特征向量;然后,通过改进基于注意力机制或门控机制的聚合函数选择性地聚合语义网络节点的特征,增强节点的特征表达能力;最后,通过一种基于双通道图卷积网络的融合机制得到节点的混合特征向量,将节点的结构特征和语义特征联合建模,使特征之间互相补充,提升该方法在后续各种机器学习任务上的表现。在CiteSeer、DBLP和SDBLP三个数据集上进行实验的结果表明,与基于结构特征训练的GCN相比,HDGCN在训练集比例为20%、40%、60%、80%时的Micro?F1值平均分别提升了2.43、2.14、1.86和2.13个百分点,Macro?F1值平均分别提升了1.38、0.33、1.06和0.86个百分点。用拼接或平均值作为融合策略时,准确率相差不超过0.5个百分点,可见拼接和平均值均可作为融合策略。HDGCN在节点分类和聚类任务上的准确率高于单纯使用结构或语义网络训练的模型,并且在输出维度为64、学习率为0.001、2层图卷积层和128维注意力向量时的效果最好。     

基于图卷积神经网络的织物分类研究

织物的分类研究在织物生产、服装设计等领域有着广泛应用。提出织物力模型,结合多帧时序信息和图卷积神经网络,给出一种用图来描述织物运动的新方法,通过分析和提取织物视频中的运动特征,实现织物的分类。该方法使用30种不同织物在风力吹动下的视频作为实验数据集,将视频每一帧作为一个图节点,然后根据视频时序性连接同类织物节点的边。此外结合织物力模型对原视频图像作预处理以提取力流特征作为视觉单词存储,再依据视觉单词探索同类与不同类织物间的潜在联系,由此将欧氏织物视频数据转换为非欧氏织物图数据,最后使用图卷积神经网络进行分类处理。该方法避免了传统织物分类过程中织物纹理、颜色、外部光照等因素的影响,突破了传统分类方法只能对少数织物进行分类的限制,有较好的分类效果。     

一种改进的图卷积网络半监督节点分类

目前大多数图卷积(GC N)关注于提取局部特征信息,忽略了全局特征,使得标签不能有效地传播到整个图上.对此,设计一种可以用于半监督节点分类任务的深度池化对偶图神经网络(DPDNN).该网络引入池化机制,将结构相似的节点聚合为超节点,扩大节点的接收域.通过随机游走得到图全局信息的潜在表示,使用随机游走模型与GC N进行协同训练,从而补充GC N模型在获取整个图拓扑结构信息上的能力.实验结果表明,该网络模型与现有方法相比提高了分类精度,在少量数据标记时效果更为明显.