图神经网络综述

随着互联网和计算机信息技术的不断发展,图神经网络已成为人工智能和大数据处理领域的重要研究方向.图神经网络可对相邻节点间的信息进行有效传播和聚合,并将深度学习理念应用于非欧几里德空间的数据处理中.简述图计算、图数据库、知识图谱、图神经网络等图结构的相关研究进展,从频域和空间域角度分析与比较基于不同信息聚合方式的图神经网络结构,重点讨论图神经网络与深度学习技术相结合的研究领域,总结归纳图神经网络在动作检测、图系统、文本和图像处理任务中的具体应用,并对图神经网络未来的发展方向进行展望.     

图神经网络综述

近几年来,将深度学习应用到处理和图结构数据相关的任务中越来越受到人们的关注.图神经网络的出现使其在上述任务中取得了重大突破,比如在社交网络、自然语言处理、计算机视觉甚至生命科学等领域得到了非常广泛的应用.图神经网络可以把实际问题看作图中节点之间的连接和消息传播问题,对节点之间的依赖关系进行建模,从而能够很好地处理图结构数据.鉴于此,系统综述了图神经网络模型以及应用.首先从谱域、空间域和池化3方面对图卷积神经网络进行了阐述.然后,描述了基于注意力机制和自编码器的图神经网络模型,并补充了一些其他方法实现的图神经网络.其次,总结了针对图神经网络能不能做大做深等问题的讨论分析.进而,概括了图神经网络的4个框架.还详细说明了在图神经网络在自然语言处理、计算机视觉等方面的应用.最后,对图神经网络未来的研究进行了展望和总结.相较于已有的图神经网络综述文章,详细阐述了谱理论知识,并对基于谱域的图卷积神经网络体系进行全面总结.同时,给出了针对空间域图卷积神经网络效率低的改进模型这一新的分类标准.并总结了针对图神经网络表达能力、理论保障等的讨论分析,增加了新的框架模型.在应用部分,阐述了图神经网络的最新应用.     

GSO:基于图神经网络的深度学习计算图子图替换优化框架

深度学习在各种实际应用中取得了巨大成功,如何有效提高各种复杂的深度学习模型在硬件设备上的执行效率是该领域重要的研究内容之一.深度学习框架通常将深度学习模型表达为由基础算子构成的计算图,为了提高计算图的执行效率,传统的深度学习系统通常基于一些专家设计的子图替换规则,采用启发式搜索算法来优化计算图.它们的不足主要有:1)搜...     

图神经网络及其在图像处理领域的研究进展

图神经网络（graph neural network,GNN）是一种基于深度学习的图结构数据处理模型,因良好的可解释性和对图结构数据强大的非线性拟合能力而受到研究者广泛关注。随着GNN的逐步优化,GNN与图像处理技术实现融合发展,在图像分类、人体解析和视觉问答等方面取得重大突破。对图像处理技术和传统神经网络理论进行介绍,并对五类GNN的原理、特点和不足进行分析与总结;同时从数据集和性能评估指标两个角度对文中所述的常用模型进行对比与总结,并补充介绍了九种常见的图像处理领域公共数据集;最后深入分析了GNN在图像处理领域中有待改进的方面,并对其应用前景进行展望。     

基于子图分解的图聚类神经网络

聚类是机器学习的核心任务之一,其主要目的是将无标签数据中的不同簇数据进行分离。深度聚类算法使用深度神经网络联合优化聚类目标与特征提取,极大地提高了聚类性能。图聚类是深度聚类领域近两年研究的一个重要分支,其在处理图结构数据上有极大的优势。提出一种新的图聚类方案：基于子图分解的图聚网络,该模型在图自编码器的基础上通过构建多个子图,并在子图的嵌入空间中加以组稀疏约束达到最终的聚类目的。     

图神经网络社区发现研究综述

社区结构是复杂网络中普遍存在的拓扑特性之一,发现社区结构是复杂网络分析的基本任务.社区发现旨在将网络划分为多个子结构,对于理解网络、揭示网络的潜在功能有着重要作用.图神经网络是一种处理图结构数据的模型,具有从图中对数据进行特征提取和表示的优势,已经成为人工智能和大数据领域的重要研究方向.网络数据就是典型的图结构数据,使用图神经网络模型解决社区发现问题,是社区发现研究的一个新方向.首先对GNN模型进行深入探讨,分析GNN社区发现过程,并从重叠社区和非重叠社区这两个方面详细讨论现有GNN社区发现取得的进展以及未来可研究的方向.     

图神经网络推荐方法研究

图神经网络因其特性在许多应用领域展露锋芒,将图神经网络与推荐相结合成为研究热点之一.在推荐中使用图神经网络方法,能够在复杂环境中显著提高推荐的水平.对图神经网络的方法、个性化推荐和群组推荐分别进行总结介绍;对基于图神经网络的推荐方法进行概述,重点对图神经网络及其近年来在推荐领域的研究成果进行归纳总结;分析了推荐研究现状...     

图神经网络前沿进展与应用

图结构数据是现实生活中广泛存在的一类数据形式.宏观上的互联网、知识图谱、社交网络数据,微观上的蛋白质、化合物分子等都可以用图结构来建模和表示.由于图结构数据的复杂性和异质性,对图结构数据的分析和处理一直是研究界的难点和重点.图神经网络(Graph Neural Network,GNN)是近年来出现的一种利用深度学习直接对图结构数据进行学习的框架,其优异的性能引起了学者高度的关注和深入的探索.通过在图中的节点和边上制定一定的策略,GNN将图结构数据转化为规范而标准的表示,并输入到多种不同的神经网络中进行训练,在节点分类、边信息传播和图聚类等任务上取得优良的效果.与其他图学习算法相比较,GNN能够学习到图结构数据中的节点以及边的内在规律和更加深层次的语义特征.由于具有对图结构数据强大的非线性拟合能力,因此在不同领域的图相关问题上,GNN都表现出更高的准确率和更好的鲁棒性.本文在现有GNN研究的基础上,首先概述了GNN的出现历程,并介绍了相关概念和定义.之后本文着重讨论和对比了GNN中的各种算法框架,包括核心思想、任务划分、学习方式、优缺点、适用范围、实现成本等.此外,本文对GNN算法在多个不同领域下的应用场景进行了详细的阐述,将GNN与其他图学习算法的优缺点作了联系和比较.针对存在的一些问题和挑战,本文勾画了GNN的未来方向和发展趋势,最后对全文进行了全面而细致的总结.     

基于图神经网络的动态网络异常检测算法

动态变化的图数据在现实应用中广泛存在,有效地对动态网络异常数据进行挖掘,具有重要的科学价值和实践意义.大多数传统的动态网络异常检测算法主要关注于网络结构的异常,而忽视了节点和边的属性以及网络变化的作用.提出一种基于图神经网络的异常检测算法,将图结构、属性以及动态变化的信息引入模型中,来学习进行异常检测的表示向量.具体地,改进图上无监督的图神经网络框架DGI,提出一种面向动态网络无监督表示学习算法Dynamic-DGI.该方法能够同时提取网络本身的异常特性以及网络变化的异常特性,用于表示向量的学习.实验结果表明,使用该算法学得的网络表示向量进行异常检测,得到的结果优于最新的子图异常检测算法SpotLight,并且显著优于传统的网络表示学习算法.除了能够提升异常检测的准确度,该算法也能够挖掘网络中存在的有实际意义的异常.     

基于卷积图神经网络的滚动轴承故障诊断算法

针对常规深度学习方法在直接处理一维时域振动信号进行故障诊断时诊断准确度较低的问题,提出了一种基于一维卷积神经网络(Convolution Neural Network,CNN)与图神经网络(Graph Neural Network,GNN)的滚动轴承故障诊断算法(CGNN).首先通过一维卷积层对振动信号做自适应滤波与数...     

图神经网络加速结构综述

近年来,新兴的图神经网络因其强大的图学习和推理能力,得到学术界和工业界的广泛关注,被认为是推动人工智能领域迈入“认知智能”阶段的核心力量.图神经网络融合传统图计算和神经网络的执行过程,形成了不规则与规则的计算和访存行为共存的混合执行模式.传统处理器结构设计以及面向图计算和神经网络的加速结构不能同时应对2种对立的执行行为,无法满足图神经网络的加速需求.为解决上述问题,面向图神经网络应用的专用加速结构不断涌现,它们为图神经网络定制计算硬件单元和片上存储层次,优化计算和访存行为,取得了良好的加速效果.以图神经网络执行行为带来的加速结构设计挑战为出发点,从整体结构设计以及计算、片上访存、片外访存层次对该领域的关键优化技术进行详实而系统地分析与介绍.最后还从不同角度对图神经网络加速结构设计的未来方向进行了展望,期望能为该领域的研究人员带来一定的启发.     

大规模图神经网络系统综述

图神经网络(GNN)是一类基于深度学习的处理图域信息的方法,它通过将图广播操作和深度学习算法结合,可以让图的结构信息和顶点属性信息都参与到学习中,在顶点分类、图分类、链接预测等应用中表现出良好的效果和可解释性,已成为一种广泛应用的图分析方法.然而现有主流的深度学习框架(如TensorFlow、PyTorch等)没有为图...     

基于元路径的图Transformer神经网络

图神经网络作为一种新的深度学习模型,被广泛运用在图数据中,并极大地推动了推荐系统、社交网络、知识图谱等应用的发展.现有的异构图神经网络通常事先定义了多条元路径来学习异构图中的复合关系.然而,这些模型通常在特征聚合步骤中只考虑单条元路径,导致模型只关注了元路径的局部结构,忽略了元路径之间的全局相关性;还有一些模型则是忽略掉了元路径的中间节点和边信息,导致模型无法学习到元路径内部的语义信息.针对以上问题,本文提出一种基于元路径的图Transformer神经网络(MaGTNN).该模型首先将异构图采样为基于元路径的多关系子图,利用提出的位置编码和边编码的方法来获取元路径中的语义信息.随后使用改进的图Transformer层计算出目标节点与其元邻居的相似度,并利用该相似度来聚合其所有的元邻居信息.在3个公开数据集的节点分类和节点聚类任务中, MaGTNN均高于最新的基准模型.     

The Graph Neural Network Model

Many underlying relationships among data in several areas of science and engineering, e.g., computer vision, molecular chemistry, molecular biology, pattern recognition, and data mining, can be represented in terms of graphs. In this paper, we propose a new neural network model, called graph neural network (GNN) model, that extends existing neural network methods for processing the data represented in graph domains. This GNN model, which can directly process most of the practically useful types of graphs, e.g., acyclic, cyclic, directed, and undirected, implements a function tau(G,n) isin IR^m that maps a graph G and one of its nodes n into an m-dimensional Euclidean space. A supervised learning algorithm is derived to estimate the parameters of the proposed GNN model. The computational cost of the proposed algorithm is also considered. Some experimental results are shown to validate the proposed learning algorithm, and to demonstrate its generalization capabilities.     

一种面向图神经网络的图重构防御方法

近年来,图神经网络在图表示学习领域中取得了较好表现广泛应用于日常生活中,例如电子商务、社交媒体和生物学等.但是研究表明,图神经网络容易受到精心设计的对抗攻击迷惑,使其无法正常工作.因此,提高图神经网络的鲁棒性至关重要.已有研究提出了一些提高图神经网络鲁棒性的防御方法,然而如何在确保模型主任务性能的前提下降低对抗攻击的攻击成功率仍存在挑战.通过观察不同攻击产生的对抗样本发现,对抗攻击生成的对抗连边所对应的节点对之间通常存在低结构相似性和低节点特征相似性的特点.基于上述发现,提出了一种面向图神经网络的图重构防御方法GRD-GNN,分别从图结构和节点特征考虑,采用共同邻居数和节点相似度2种相似度指标检测对抗连边并实现图重构,使得重构的图结构删除对抗连边,且添加了增强图结构关键特征的连边,从而实现有效防御.最后,论文在3个真实数据集上展开防御实验,验证了GRD-GNN相比其他防御方法均能取得最佳的防御性能,且不影响正常图数据的分类任务.此外,利用可视化方法对防御结果做解释,解析方法的有效性.     

面向时空图建模的图小波卷积神经网络模型

时空图建模是分析图形结构系统中各要素空间关系与时间趋势的一个基础工作.传统的时空图建模方法,主要基于图中节点与节点关系固定的显式结构进行空间关系挖掘,这严重限制了模型的灵活性.此外,未考虑节点间的时空依赖关系的传统建模方法不能捕获节点间的长时时空趋势.为了克服这些缺陷,研究并提出了一种新的用于时空图建模的图神经网络模型,即面向时空图建模的图小波卷积神经网络模型（Graph Wavelet Convolutional Neural Network for Spatiotemporal Graph Modeling,GWNN-STGM）,称为GWNN-STGM.在GWNN-STGM中设计了一个图小波卷积神经网络层,并在该网络层中设计并引入了自适应邻接矩阵进行节点嵌入学习,使得模型能够在不需要结构先验知识的情况下,从数据集中自动发现隐藏的结构信息.此外,GWNN-STGM还包含了一个堆叠的扩张因果卷积网络层,使模型的感受野能够随着卷积网络层数的增加呈指数增长,从而能够处理长时序列.GWNN-STGM成功将图小波卷积神经网络层和扩张因果卷积网络层两个模块进行有效集成.通过在公共交通网络数据集上试验发现,提出的GWNN-STGM的性能优于其他的基准模型,这表明设计的图小波卷积神经网络模型在从输入数据集中探索时空结构方面具有很大的潜力.     

面向鲁棒图结构防御的过参数化图神经网络

图数据在现实应用中普遍存在, 图神经网络(GNN)被广泛应用于分析图数据, 然而 GNN的性能会被图结构上的对抗攻击剧烈影响. 应对图结构上的对抗攻击, 现有的防御方法一般基于图内聚先验进行低秩图结构重构. 但是现有的图结构对抗防御方法无法自适应秩真值进行低秩图结构重构, 同时低秩图结构与下游任务语义存在错配. 为了解决以上问题, 基于过参数化的隐式正则效应提出过参数化图神经网络(OPGNN)方法, 并形式化证明所提方法可以自适应求解低秩图结构, 同时证明节点深层表征上的过参数化残差链接可以有效解决语义错配. 在真实数据集上的实验结果表明, OPGNN方法相对于现有基线方法具有更好的鲁棒性, 同时, OPGNN 方法框架在不同的图神经网络骨干上如 GCN、APPNP 和 GPRGNN 上显著有效.