基于多通道图卷积自编码器的图表示学习

针对基于图卷积的自编码器模型对原始图属性和拓扑信息的保留能力有限、无法学习结构和属性之间深度关联信息等问题,提出基于多通道图卷积自编码器的图表示学习模型。设计拓扑和属性信息保留能力实验,验证了基于图卷积的自编码器模型具备保留节点属性和拓扑结构信息的能力。构建特定信息卷积编码器和一致信息卷积编码器,提取图的属性空间特征、拓扑空间特征以及两者关联特征,生成属性嵌入、拓扑嵌入和一致性嵌入,同时建立与编码器对称的卷积解码器,还原编码器过程。使用重构损失、局部约束和一致性约束,优化各编码器生成的低维嵌入表示。最终将蕴含不同图信息的多种嵌入进行融合,生成各节点的嵌入表示。实验结果表明,该模型在BlogCatalog和Flickr数据集上节点分类的Micro-F1和Macro-F1明显高于基线模型,在Citeseer数据集上节点聚类的精度和归一化互信息相比于表现最优的基线模型提升了11.84%和34.03%。上述实验结果证明了该模型采用的多通道方式能够在低维嵌入中保留更丰富的图信息,提升图机器学习任务的性能表现。     

基于One-Shot聚合自编码器的图表示学习

自编码器（AE）是一种高效的图数据表示学习模型,但大多数图自编码器（GAE）为浅层模型,其效率会随着隐藏层的增加而降低。针对上述问题,提出基于One-Shot聚合（OSA）和指数线性（ELU）函数的GAE模型OSA-GAE和图变分自编码器模型OSA-VGAE。首先,利用多层图卷积网络（GCN）构建编码器,并引入OSA和ELU函数;然后,在解码阶段使用内积解码器恢复图的拓扑结构;此外,为了防止模型训练过程中的参数过拟合,在损失函数中引入正则化项。实验结果表明,OSA和ELU函数可以有效提高深层GAE的性能,改善模型的梯度信息传递。在使用6层GCN时,基准引文数据集PubMed的链接预测任务中,深层OSA-VGAE相较于原始的VGAE在ROC曲线下的面积（AUC）和平均精度（AP）上分别提升了8.67和6.85个百分点,深层OSA-GAE相较于原始的GAE在AP和AUC上分别提升了6.82和4.39个百分点。     

基于重启随机游走的图自编码器

针对现有的图自编码器无法捕捉图中节点之间的上下文信息的问题,提出基于重启随机游走的图自编码器.首先,构造两层图卷积网络编码图的拓扑结构和特征,同时进行重启随机游走捕捉节点之间的上下文信息;其次,为了聚合重启随机游走和图卷积网络获得的表示,设计自适应学习策略,根据两种表示的重要性自适应地分配权重.为了证明该方法的有效性,将图最终的表示应用于节点聚类和链路预测任务.实验结果表明,与基线方法相比,提出的方法实现了更先进的性能.     

基于非鲁棒特征的图卷积神经网络对抗训练方法

图卷积神经网络可以通过图卷积提取图数据的有效信息,但容易受到对抗攻击的影响导致模型性能下降。对抗训练能够用于提升神经网络鲁棒性,但由于图的结构及节点特征通常是离散的,无法直接基于梯度构造对抗扰动,而在模型的嵌入空间中提取图数据的特征作为对抗训练的样本,能够降低构造复杂度。借鉴集成学习思想,提出一种基于非鲁棒特征的图卷积神经网络对抗训练方法VDERG,分别针对拓扑结构和节点属性两类特征,构建两个图卷积神经网络子模型,通过嵌入空间提取非鲁棒特征,并基于非鲁棒特征完成对抗训练,最后集成两个子模型输出的嵌入向量作为模型节点表示。实验结果表明,提出的对抗训练方法在干净数据上的准确率平均提升了0.8%,在对抗攻击下最多提升了6.91%的准确率。     

用于非精确图匹配的改进注意图卷积网络

将传统图卷积网络模型应用于非精确图匹配时,在卷积步骤早期易存在节点特性以及节点之间拓扑特征的损失,从而影响导致匹配性能.针对这一问题,提出了改进注意图卷积网络模型.使用相对较少的参数以端到端的方式学习分层表示,利用自注意机制来区分应该丢弃或保留的节点.首先利用注意图卷积网络来自动学习不同跳上邻域的重要程度;其次,加入自注意池化层,从矩阵图嵌入的各个方面概括图表示;最后,在多个标准图数据集中进行训练和测试.实验结果表明,相较于目前最先进的图核和其他深度学习算法,该方法在标准图数据集上实现了更优的图分类性能.     

基于改进图注意机制的网络嵌入方法研究及应用

网络已被广泛用作抽象现实世界系统以及组织实体之间关系的数据结构;网络嵌入模型是将网络中的节点映射为连续向量空间表示的强大工具;基于图卷积(GCN,graph convolutional neural, GCN)的网络嵌入方法因受其模型迭代过程参数随机优化和聚合函数的影响,容易造成原始节点特征信息丢失的问题;为有效提升网络嵌入效果,针对于图神经网络模型在网络嵌入中节点表征学习的局限性,提出了一种基于二阶邻域基数保留策略的图注意力网络(SNCR-GAT,second-order neighborhood cardinality retention strategy graph attention network),通过聚合二阶邻域特征基数的方式,解决网络节点潜在特征学习过程中重要信息保留问题;通过在节点分类和可视化两个网络嵌入应用任务上进行实验,结果表明,SNCR-GAT模型在网络嵌入上的性能表现相比较基准方法更具优越性。     

基于图滤波器的符号属性图链路关系预测算法

带节点属性的符号网络在信息学、生物学等多个领域存应用广泛,链路符号预测是该类数据分析中的一个热点问题。基于符号图神经网络的模型是该问题的最新有效解决方案,但现有方法几乎均基于社会平衡理论,且未充分利用节点属性。针对以上问题,从图信号处理角度设计了一个符号图神经网络,提出了一种端到端的符号属性图链路预测算法。首先,给出了基于低频和高频信号的带通滤波器的符号图神经网络,用于获得基于符号拓扑图的节点嵌入;其次,构造属性相似性图,利用图卷积网络得到属性相似性图节点嵌入;最后,引入注意力机制,融合符号拓扑图与属性相似性图两种节点表达,并将其输入符号判别器,通过Adam优化器训练模型。在三个药物数据集上进行了对比实验与模型设置的影响分析。与典型的符号图卷积网络与符号图谱嵌入,以及最近提出的基于图滤波的符号卷积网络的对比结果表明,该模型在AUC与F1指标上比最好的基线方法提升了8.68%与10.04%。     

基于双向对齐与属性信息的跨语言实体对齐

实体对齐表示在不同的知识图谱中查找引用相同现实身份的实体。目前主流的基于图嵌入的实体对齐方法中的对齐实体通常具有相似的属性,有效利用属性信息可提升实体对齐效果,同时由于不同知识图谱之间的知识分布差异,仅考虑单个方向的对齐预测会导致预测结果出现偏差。针对上述问题,提出一种改进的跨语言实体对齐方法。利用融合属性信息的双向对齐图卷积网络模型,将前馈神经网络编码实体对应的属性信息与初始的实体嵌入相结合,得到联合属性信息的实体表示,并使用双向对齐机制实现跨语言的实体对齐预测。在3个跨语言数据集上的实验结果表明,该方法通过融合更多的知识图谱信息增强了实体表示能力,并且利用双向对齐机制缓解了数据分布差异问题,相比基于图嵌入的实体对齐方法整体性能更优。     

结合图自编码器与聚类的半监督表示学习方法

节点标签是复杂网络中广泛存在的监督信息,对网络表示学习具有重要作用。基于此,提出了一种结合图自编码器与聚类的半监督表示学习方法（GAECSRL）。首先,以图卷积网络（GCN）和内积函数分别作为编码器和解码器,并构建图自编码器以形成信息传播框架;然后,在编码器生成的低维表示基础上增加k-means聚类模块,从而使图自编码器的训练过程和节点的类别分布划分形成自监督机制;最后,利用节点标签的判别信息对网络低维表示的类别划分进行指导,将网络表示生成、类别划分以及图自编码器的训练构建在一个统一的优化模型中,并获得融合节点标签信息的有效网络表示结果。在仿真实验中,将GAECSRL用于节点分类和链接预测任务。实验结果表明,相比DeepWalk、node2vec、全局结构信息图表示学习（GraRep）、结构化深度网络嵌入（SDNE）和用数据的转导式或归纳式嵌入预测标签和邻居（Planetoid）,在节点分类任务中GAECSRL的Micro?F1指标提高了0.9~24.46个百分点,Macro?F1指标提高了0.76~24.20个百分点;在链接预测任务中,GAECSRL的AUC指标提高了0.33~9.06个百分点,说明GAECSRL获得的网络表示结果能有效提高节点分类和链接预测任务的性能。     

多级特征增强的图表示学习模型

针对图数据的表示学习在推荐系统、链接预测等图下游任务已展现出重要的研究价值。然而目前主流的方法存在一些缺陷：图卷积网络的固定传播模式限制节点表示的语义表达能力,以及编码器-解码器结构中的正则化重建阻碍学习节点间的差异化特征,这些都可能导致节点表示不能很好适应图下游任务。为此,基于互信息最大化理论提出一种多级特征增强的图表示学习模型,能以无监督的方式生成高质量的节点表示。模型使用提取器保留节点原始属性中的差异化特征,利用注意力聚合器维持编码空间中节点分布的局部相关性和全局差异性,应用深度图信息最大化策略统一全局编码规则。实验结果证明,在几个基准图数据集上该模型在直推式学习和归纳式学习下的编码表现均超过了所有的主流对比基线。     

基于图卷积的双通道协同过滤推荐算法

在推荐系统中,利用图卷积网络等方法提取图的高阶信息缓解了冷启动问题。为了在此基础上融合神经网络协同过滤的深层特征提取能力,提出一种基于图卷积的双通道协同过滤推荐算法（GCNCF-2C）。首先,将推荐问题分为上游任务和下游任务;其次,在上游任务中,预训练编码器利用包含残差的一维卷积层和多个图卷积层在两个独立通道中对节点特征和图高阶特征进行分离提取,形成节点的特征表示;最后,解码器通过节点特征进行评级预测,进行端到端的训练。在数据集MovieLens-100K和MovieLens-1M上的实验表明,该算法相比于基线模型在两个数据集上的RMSE指标平均提高1.72%和1.76%,MAE指标平均提高2.7%和1.98%,同时在基于用户和项目的冷启动实验中RMSE指标平均提高5.9%,具有更好的综合性能。     

基于深度BiLSTM和图卷积网络的方面级情感分析

现有方面级情感分析方法,存在无法获取最优文本表示和使用普通图卷积网络不能提取依存图中深层结构信息的问题。为此,提出了一种基于深度BiLSTM（DBiLSTM）和紧密连接的图卷积网络（DDGCN）模型。首先,通过DBiLSTM获取方面词与上下文单词间的深层语义信息;其次,在原始图卷积网络中加入紧密连接,以生成能提取深层结构信息的紧密图卷积网络;然后,利用改进后的图卷积网络捕获依存图上的结构信息;最终,将融合2种深层信息的文本表示用于情感分类。3个数据集上的实验结果表明,DDGCN模型相比对比模型在准确度和F1上均有提升。     

基于图卷积网络的特定方面情感分析

方面级情感分析是细粒度情感分析的一个基本子任务,旨在预测文本中给定方面或实体的情感极性。语义信息、句法信息及其交互信息对于方面级情感分析是极其重要的。该文提出一种基于图卷积和注意力的网络模型(CA-GCN)。该模型主要分为两部分,一是将卷积神经网络结合双向LSTM获取的丰富特征表示与图卷积神经网络掩码得到的方面特征表示进行融合;二是采用两个多头交互注意力融合方面、上下文和经图卷积神经网络得到的特征信息,而后接入多头自注意力来学习信息交互后句子内部的词依赖关系。与ASGCN模型相比,该模型在三个基准数据集(Twitter、Lap14和Rest14)上准确率分别提升1.06%、1.62%和0.95%,F₁值分别提升1.07%、2.60%和1.98%。     

双向数据增强图卷积网络

为解决数据不足对深度学习模型带来的泛化性能较差的问题，研究非欧几里得图的数据增强，在改进半监督节点分类的节点嵌入方法的背景下，提出双向数据增强图卷积网络(TDA-GCN),设计子图增强法，对子图上每一个节点进行增加或删除其相邻的边，其中图熵变化最小的作为增强图，从增强图和原始图的拓扑结构和节点属性中提取嵌入，利用注意力机制自适应融合学习到的嵌入。实验结果表明，该方法优于目前流行的方法，取得了较好结果。     

用于推荐系统的图卷积交叉网络

推荐系统中,因子分解机(FM)等特征交叉模型通常孤立地对待每个用户-物品交互样本,无法显式地利用样本中对象之间的隐含关系,造成了信息孤岛问题,导致学到的特征嵌入不是是最优的、冷门物品无法获得精准的推荐.因此,论文提出结合图表示学习和特征交叉的图卷积交叉网络(GraphCross):图卷积部分利用不同训练样本中对象的关联性构建异构图,并在此基础之上进行图卷积,使得生成的对象嵌入囊括其紧密相关的邻域节点对象的信息,破除了样本的孤立状态;特征交叉部分为FM模型,利用图卷积网络生成的对象嵌入构建特征交叉.GraphCross亦可推广为基于图表示学习-特征交叉的推荐算法框架.实验结果表明,利用图结构可有效提升推荐系统性能,尤其是针对冷门物品的推荐.     

基于图卷积神经网络的小分子属性预测模型

图神经网络作为近年来的热门深度学习算法,已被应用于各个领域。分子性质预测作为药物开发过程中的一项基本任务,围绕着分子属性预测任务涌现出许多优秀的机器学习模型,然而传统机器学习模型大多采用人工设计的分子描述符作为分子表示,这会导致信息丢失从而影响预测效果。图神经网络将分子数据表示为分子图,可以有效避免这一问题。文章采用图卷积神经网络对分子属性预测任务进行建模。模型在大型基准数据集QM9中取得了优于其他模型的误差分数。     

结合图卷积的深层神经网络用于文本分类

随着图卷积网络的发展,图卷积网络已经应用到很多任务中,其中就包含文本分类任务.通过将文本数据表示成图数据,进而在图上应用图卷积,从而捕获文本的结构信息和单词间的长距离依赖关系获得了良好的分类效果.但将文本建模成图模型后,图卷积网络面临着文本上下文语义信息和局部特征信息表示不充分的问题.提出一种新的模型,利用双向长短时记...     

融合画像和文本信息的轻量级关系图注意推荐模型

针对当前基于图神经网络的推荐系统受数据稀疏影响推荐效率不高的问题,提出融合画像和文本信息的轻量级关系图注意推荐模型(LightRGAN)。首先,利用用户画像和项目画像初始化用户和项目的嵌入表示。其次,引入评论、项目描述和项目类型作为辅助信息,并通过基于多头注意力机制的文本嵌入网络挖掘同一用户评论集和描述集中文本之间的潜在联系。然后,通过融合注意力机制的轻量级关系图卷积网络学习用户和项目的嵌入表示。最后,对各层嵌入表示加权求和并通过预测网络计算匹配分数。在三个公开数据集上的实验结果表明LightRGAN的效果优于多个现有的基线模型,评估指标HR@20、NDCG@20较最优基线模型最少提升了2.58%、2.37%。     

基于方面-词性感知的方面级情感分析

方面级情感分析是自然语言处理的研究热点之一,其任务目的是预测句子中给定方面的情感极性。目前已有研究大多忽略了方面词和特定词性单词在过滤情感极性相关上下文语义信息和理解上下文语法信息中的作用。为此,提出一种基于方面-词性感知的图卷积网络ASP＿POSGCN。采用双向长短期记忆网络建模上下文和词性信息,经由门控机制筛选方面词相关上下文语义信息,再使用词性信息隐藏层状态进一步过滤;同时设计方面-词性感知矩阵算法,根据不同词性单词对方面词情感极性的贡献重构句子原始依存关系以获取重构依存句法图,将原始依存句法图和重构依存句法图应用于双通道图卷积网络和多图感知机制;最后,使用过滤后的上下文语义信息与双通道图卷积网络的输出计算注意力得到最终分类表示。实验结果表明,该模型在Twitter、Laptop14、Restaurant14和Restaurant164个公开数据集上的准确率分别为74.57%、79.15%、83.84%、91.23%,F1值分别为72.59%、75.76%、77.00%、77.11%,与传统方面级情感分析基准模型相比均有提升,有助于方面级的情感极性分类。     

融合链接预测相似度矩阵的属性网络嵌入算法

在属性网络中,与节点相关联的属性信息有助于提升网络嵌入各种任务的性能,但网络是一种图状结构,节点不仅包含属性信息还隐含着丰富的结构信息。为了充分融合结构信息,首先通过定义节点的影响力特性、空间关系特征;然后根据链接预测领域基于相似度的定义构建相似度矩阵,将节点二元组中的关联向量映射到相似度矩阵这一关系空间中,从而保留与节点相关的结构向量信息;再基于图的拉普拉斯矩阵融合属性信息和标签特征,将上述三类信息集成到一个最优化框架中;最后,通过二阶导数求局部最大值计算投影矩阵获取节点的特征表示进行网络嵌入。实验结果表明,提出的算法能够充分利用节点二元组的邻接结构信息,相比于其他基准网络嵌入算法,本模型在节点分类任务上取得了更好的结果。