基于二阶图卷积自编码器的图表示学习

图卷积自编码器是一类高效的图表示学习模型,在链路预测等任务中具有出色性能。然而现有模型大多依赖图卷积网络对邻接矩阵和属性矩阵进行编码,未充分利用二阶信息等高阶结构特征。针对上述问题,提出了基于二阶信息的图卷积自编码器模型SeVGAE。首先使用图卷积和二阶图卷积生成变分自编码器的均值和方差,然后学习嵌入向量表示原始图的混合概率分布,最后使用内积解码器恢复拓扑结构。在链接预测任务中,SeGVAE表现优于基线模型,Citeseer数据集上的AUC和AP相较原始的VGAE分别提升了3.26%和2.56%。实验结果表明,二阶信息的引入能够在低维嵌入中保留更丰富的图信息,提升模型性能。模型在处理属性信息不足、拓扑信息不准确的图数据时具有较为明显的优势,在边缘和属性均缺失40%的极端情况下,SeVGAE的AUC和AP相较VGAE提升4.79%和3.47%。     

用于非精确图匹配的改进注意图卷积网络

将传统图卷积网络模型应用于非精确图匹配时,在卷积步骤早期易存在节点特性以及节点之间拓扑特征的损失,从而影响导致匹配性能.针对这一问题,提出了改进注意图卷积网络模型.使用相对较少的参数以端到端的方式学习分层表示,利用自注意机制来区分应该丢弃或保留的节点.首先利用注意图卷积网络来自动学习不同跳上邻域的重要程度;其次,加入自注意池化层,从矩阵图嵌入的各个方面概括图表示;最后,在多个标准图数据集中进行训练和测试.实验结果表明,相较于目前最先进的图核和其他深度学习算法,该方法在标准图数据集上实现了更优的图分类性能.     

基于重启随机游走的图自编码器

针对现有的图自编码器无法捕捉图中节点之间的上下文信息的问题,提出基于重启随机游走的图自编码器.首先,构造两层图卷积网络编码图的拓扑结构和特征,同时进行重启随机游走捕捉节点之间的上下文信息;其次,为了聚合重启随机游走和图卷积网络获得的表示,设计自适应学习策略,根据两种表示的重要性自适应地分配权重.为了证明该方法的有效性,将图最终的表示应用于节点聚类和链路预测任务.实验结果表明,与基线方法相比,提出的方法实现了更先进的性能.     

自适应融合邻域聚合和邻域交互的图卷积网络

图表示学习是在保持图中节点性质不变的前提下,获取节点的低维表示向量,为下游任务提供有效的数据支持。现有图表示学习算法大多关注于聚合邻域特征,对于挖掘其他非线性信息关注不足。针对这一问题,提出了自适应融合邻域聚合和邻域交互的图卷积网络AFAI-GCN。首先,采用双通道图卷积网络建模邻域聚合,并利用生成的嵌入表示计算邻域交互项来补充算法学习的信息;然后,结合注意力机制构建自适应融合模块,增加对重要信息的关注,提高融合信息项的任务相关性;最后,通过信息一致性约束和差异性约束增强节点特征一致性和嵌入表示差异性。在三个公共引文数据集上进行了节点分类和可视化任务,结果显示,AFAI-GCN与图卷积网络（GCN）、邻域聚合和交互图卷积网络（AIR-GCN）等算法相比,在Cora、Citeseer、Pubmed数据集上分类准确率分别提高了1.0～1.6个百分点、1.1～2.4个百分点和0.3～0.9个百分点;在可视化任务中团簇内聚合程度更高,不同的团簇边界更清晰;算法学习过程中收敛速度更快,准确率曲线更平滑。实验结果表明该框架较好地提升了基准算法的性能。     

基于非鲁棒特征的图卷积神经网络对抗训练方法

图卷积神经网络可以通过图卷积提取图数据的有效信息,但容易受到对抗攻击的影响导致模型性能下降。对抗训练能够用于提升神经网络鲁棒性,但由于图的结构及节点特征通常是离散的,无法直接基于梯度构造对抗扰动,而在模型的嵌入空间中提取图数据的特征作为对抗训练的样本,能够降低构造复杂度。借鉴集成学习思想,提出一种基于非鲁棒特征的图卷积神经网络对抗训练方法VDERG,分别针对拓扑结构和节点属性两类特征,构建两个图卷积神经网络子模型,通过嵌入空间提取非鲁棒特征,并基于非鲁棒特征完成对抗训练,最后集成两个子模型输出的嵌入向量作为模型节点表示。实验结果表明,提出的对抗训练方法在干净数据上的准确率平均提升了0.8%,在对抗攻击下最多提升了6.91%的准确率。     

多级特征增强的图表示学习模型

针对图数据的表示学习在推荐系统、链接预测等图下游任务已展现出重要的研究价值。然而目前主流的方法存在一些缺陷：图卷积网络的固定传播模式限制节点表示的语义表达能力,以及编码器-解码器结构中的正则化重建阻碍学习节点间的差异化特征,这些都可能导致节点表示不能很好适应图下游任务。为此,基于互信息最大化理论提出一种多级特征增强的图表示学习模型,能以无监督的方式生成高质量的节点表示。模型使用提取器保留节点原始属性中的差异化特征,利用注意力聚合器维持编码空间中节点分布的局部相关性和全局差异性,应用深度图信息最大化策略统一全局编码规则。实验结果证明,在几个基准图数据集上该模型在直推式学习和归纳式学习下的编码表现均超过了所有的主流对比基线。     

基于图滤波器的符号属性图链路关系预测算法

带节点属性的符号网络在信息学、生物学等多个领域存应用广泛,链路符号预测是该类数据分析中的一个热点问题。基于符号图神经网络的模型是该问题的最新有效解决方案,但现有方法几乎均基于社会平衡理论,且未充分利用节点属性。针对以上问题,从图信号处理角度设计了一个符号图神经网络,提出了一种端到端的符号属性图链路预测算法。首先,给出了基于低频和高频信号的带通滤波器的符号图神经网络,用于获得基于符号拓扑图的节点嵌入;其次,构造属性相似性图,利用图卷积网络得到属性相似性图节点嵌入;最后,引入注意力机制,融合符号拓扑图与属性相似性图两种节点表达,并将其输入符号判别器,通过Adam优化器训练模型。在三个药物数据集上进行了对比实验与模型设置的影响分析。与典型的符号图卷积网络与符号图谱嵌入,以及最近提出的基于图滤波的符号卷积网络的对比结果表明,该模型在AUC与F1指标上比最好的基线方法提升了8.68%与10.04%。     

用于推荐系统的图卷积交叉网络

推荐系统中,因子分解机(FM)等特征交叉模型通常孤立地对待每个用户-物品交互样本,无法显式地利用样本中对象之间的隐含关系,造成了信息孤岛问题,导致学到的特征嵌入不是是最优的、冷门物品无法获得精准的推荐.因此,论文提出结合图表示学习和特征交叉的图卷积交叉网络(GraphCross):图卷积部分利用不同训练样本中对象的关联性构建异构图,并在此基础之上进行图卷积,使得生成的对象嵌入囊括其紧密相关的邻域节点对象的信息,破除了样本的孤立状态;特征交叉部分为FM模型,利用图卷积网络生成的对象嵌入构建特征交叉.GraphCross亦可推广为基于图表示学习-特征交叉的推荐算法框架.实验结果表明,利用图结构可有效提升推荐系统性能,尤其是针对冷门物品的推荐.     

结合图自编码器与聚类的半监督表示学习方法

节点标签是复杂网络中广泛存在的监督信息,对网络表示学习具有重要作用。基于此,提出了一种结合图自编码器与聚类的半监督表示学习方法（GAECSRL）。首先,以图卷积网络（GCN）和内积函数分别作为编码器和解码器,并构建图自编码器以形成信息传播框架;然后,在编码器生成的低维表示基础上增加k-means聚类模块,从而使图自编码器的训练过程和节点的类别分布划分形成自监督机制;最后,利用节点标签的判别信息对网络低维表示的类别划分进行指导,将网络表示生成、类别划分以及图自编码器的训练构建在一个统一的优化模型中,并获得融合节点标签信息的有效网络表示结果。在仿真实验中,将GAECSRL用于节点分类和链接预测任务。实验结果表明,相比DeepWalk、node2vec、全局结构信息图表示学习（GraRep）、结构化深度网络嵌入（SDNE）和用数据的转导式或归纳式嵌入预测标签和邻居（Planetoid）,在节点分类任务中GAECSRL的Micro?F1指标提高了0.9~24.46个百分点,Macro?F1指标提高了0.76~24.20个百分点;在链接预测任务中,GAECSRL的AUC指标提高了0.33~9.06个百分点,说明GAECSRL获得的网络表示结果能有效提高节点分类和链接预测任务的性能。     

基于数据关联感知的无监督深度融合指针网络模型

为了提高组合优化问题可行解集合的收敛性和泛化性,根据不同无监督学习策略的特点,提出一种基于数据关联感知的深度融合指针网络模型(DMAG-PN),模型通过指针网络框架将Mogrifier LSTM、多头注意力机制与图卷积神经网络三者融合.首先,编码器模块中的嵌入层对输入序列进行编码,引入多头注意力机制获取编码矩阵中的特征信息;然后构建数据关联模型探索序列节点间的关联性,采用图卷积神经网络获取其多维度关联特征信息并融合互补,旨在生成多个嵌入有效捕捉序列深层的节点特征和边缘特征;最后,基于多头注意力机制的解码器模块以节点嵌入数据和融合图嵌入数据作为输入,生成选择下一个未访问节点的全局概率分布.采用对称旅行商问题作为测试问题,与当前先进算法进行对比,实验结果表明,所提出DMAG-PN模型在泛化性和求解精确性方面获得较大的改进与提高,预训练好的DMAG-PN模型能够直接对大规模实例进行端到端的求解,避免传统算法迭代搜索的过程,具有较高的求解效率.     

基于节点相似度的无监督属性图嵌入模型

属性图嵌入旨在将属性图中的节点表示为低维向量,并同时保留节点的拓扑信息和属性信息.属性图嵌入已经有一系列相关工作,然而它们大多数提出的是有监督或半监督的算法.在实际应用中,需要标记的节点数量多,导致这些属性图嵌入算法的难度大,且需要消耗巨大的人力物力.针对上述问题以无监督的视角重新分析,提出了一种无监督的属性图嵌入算法...     

一种精细表示多值属性的知识图谱嵌入模型

知识图谱嵌入模型KR-EAR用实体及其属性值的嵌入(向量)来定义属性三元组的评分函数,导致多值属性的不同属性值学得的嵌入很相似,即KR-EAR未能精细地表示多值属性,从而影响下游任务的准确度。论文通过改进KR-EAR的属性三元组表示来提出一种精细表示多值属性的知识图谱嵌入模型,称为KGE-EAV。在KGE-EAV的属性值空间中,每个实体都对应一个超平面,该实体的每个属性值嵌入都在该超平面上形成一个投影向量;KGE-EAV用这样的投影向量(而不是属性值嵌入)来定义属性三元组的评分函数,从而可以为多值属性的不同属性值学得不同的嵌入。实验表明,在实体预测和属性预测两项任务上,KGE-EAV的准确度均优于KR-EAR和三个基线模型。     

融合双层注意力机制的属性网络节点嵌入

属性网络嵌入旨在学习网络中节点的低维表示,具有拓扑和属性相似的节点在嵌入空间彼此接近.注意力机制能有效学习网络中节点与其邻居的相对重要性并基于邻居重要性聚合节点表示.据此,提出一种在属性网络中融合双层注意力机制的节点嵌入算法NETA,可以有效地实现属性网络嵌入.该算法首先从拓扑结构捕获直接邻居,基于属性关系捕获间接邻居...     

A block-based generative model for attributed network embedding

Attributed network embedding has attracted plenty of interest in recent years. It aims to learn task-independent, low-dimensional, and continuous vectors for nodes preserving both topology and attribute information. Most of the existing methods, such as random-walk based methods and GCNs, mainly focus on the local information, i.e., the attributes of the neighbours. Thus, they have been well studied for assortative networks (i.e., networks with communities) but ignored disassortative networks (i.e., networks with multipartite, hubs, and hybrid structures), which are common in the real world. To model both assortative and disassortative networks, we propose a block-based generative model for attributed network embedding from a probability perspective. Specifically, the nodes are assigned to several blocks wherein the nodes in the same block share the similar linkage patterns. These patterns can define assortative networks containing communities or disassortative networks with the multipartite, hub, or any hybrid structures. To preserve the attribute information, we assume that each node has a hidden embedding related to its assigned block. We use a neural network to characterize the nonlinearity between node embeddings and node attributes. We perform extensive experiments on real-world and synthetic attributed networks. The results show that our proposed method consistently outperforms state-of-the-art embedding methods for both clustering and classification tasks, especially on disassortative networks.

     

Node Embedding Research Over Temporal Graph

Compared with conventional graph data analysis methods, the graph embedding algorithm provides a new graph data analysis strategy. It aims to encode graph nodes into vectors to mine or analyze graph data more effectively using neural network related technologies. Some classic tasks have been improved significantly by graph embedding methods, such as node classification, link prediction, and traffic flow prediction. Although substantial breakthroughs have been made by former researchers in graph embedding, the nodes embedding problem over temporal graph has been seldom studied. In this study, we propose an adaptive temporal graph embedding (ATGED), attempting to encode temporal graph nodes into vectors by combining previous research and the information propagation characteristics. First, an adaptive cluster method is proposed by solving the situation that nodes active frequency varies types of graph. Then, a new node walk strategy is designed in order to store the time sequence between nodes, and also the walking list will be stored in a bidirectional multi-tree in the walking process to get complete walking lists fast. Last, based on the basic walking characteristics and graph topology, an important node sampling strategy is proposed to train the satisfied neural network as soon as possible. Sufficient experiments demonstrate that the proposed method surpasses existing embedding methods in terms of node clustering, reachability prediction, and node classification in temporal graphs.     

基于节点相似性的图注意力网络表示学习模型

图注意力网络(GAT)通过注意力机制聚合节点的邻居信息以提取节点的结构特征,然而并没有考虑网络中潜在的节点相似性特征。针对以上问题,提出了一种考虑网络中相似节点的网络表示学习方法NSGAN。首先,在节点层面上,通过图注意力机制分别学习相似网络和原始网络的结构特征;其次,在图层面上,将两个网络对应的节点嵌入通过基于图层面的注意力机制聚合在一起,生成节点最终的嵌入表示。在三个数据集上进行节点分类实验,NSGAN比传统的图注意力网络方法的准确率提高了约2%。     

基于对抗图卷积的网络表征学习框架

现有的网络表征方法及其相关变体的侧重点在于保存网络的拓扑结构或使重构误差最小,忽略隐变量的数据分布问题.基于此种情况,文中提出基于对抗图卷积的网络表征学习框架(AGCN),使网络模型不仅可以组合图的结构信息和节点的属性信息,提高网络表征学习性能,而且可以学习数据分布.与此同时,在AGCN的基础上提出端到端的多任务学习框架(MTL),在一个学习阶段可以同时进行链接预测和节点分类任务.实验表明,MTL性能较优.     

时序图节点嵌入策略的研究

相较于传统的图数据分析方法,图嵌入算法是一种面向图节点的新型图数据分析策略.其旨在通过将图节点向量化表达,进而在节点向量基础上,利用神经网络相关技术,更有效地进行图数据分析或挖掘工作,如在节点分类、链接预测及交通流预测等经典问题上效果显著.虽然研究者们在图嵌入方面已取得了诸多成果,但是面向时序图的节点嵌入问题却未被充分...     

一种深度自监督聚类集成算法

针对聚类集成中一致性函数设计问题,本文提出一种深度自监督聚类集成算法。该算法首先根据基聚类划分结果采用加权连通三元组算法计算样本之间的相似度矩阵,基于相似度矩阵表达邻接关系,将基聚类由特征空间中的数据表示变换至图数据表示;在此基础上,基聚类的一致性集成问题被转化为对基聚类图数据表示的图聚类问题。为此,本文利用图神经网络构造自监督聚类集成模型,一方面采用图自动编码器学习图的低维嵌入,依据低维嵌入似然分布估计聚类集成的目标分布;另一方面利用聚类集成目标对低维嵌入过程进行指导,确保模型获得的图低维嵌入与聚类集成结果是一致最优的。在大量数据集上进行了仿真实验,结果表明本文算法相比HGPA、CSPA和MCLA等算法可以进一步提高聚类集成结果的准确性。