基于梯度结构的图神经网络对抗攻击

图神经网络在半监督节点分类任务中取得了显著的性能. 研究表明, 图神经网络容易受到干扰, 因此目前已有研究涉及图神经网络的对抗鲁棒性. 然而, 基于梯度的攻击不能保证最优的扰动. 提出了一种基于梯度和结构的对抗性攻击方法, 增强了基于梯度的扰动. 该方法首先利用训练损失的一阶优化生成候选扰动集, 然后对候选集进行相似性评估, 根据评估结果排序并选择固定预算的修改以实现攻击. 通过在5个数据集上进行半监督节点分类任务来评估所提出的攻击方法. 实验结果表明, 在仅执行少量扰动的情况下, 节点分类精度显著下降, 明显优于现有攻击方法.     

图对抗防御研究进展

图神经网络(GNN)在多个领域的复杂任务中已经得到成功的应用,但研究表明其易受到对抗攻击而导致性能严重下降,这种脆弱性影响了包含节点分类、链路预测和社团探测在内的所有应用.图对抗攻击已经可以高效地实施,这带来了严重的安全隐患和隐私问题,图对抗防御致力于提高GNN的鲁棒性和泛化能力以抵御对抗攻击.综述了图对抗防御算法研究进展,首先,介绍了图对抗防御的背景和相关概念,并对图对抗防御研究发展脉络进行梳理和分析.然后,根据防御算法的不同防御策略将算法分为四类,包括攻击检测、对抗训练、可认证鲁棒性以及免疫防御,对每类防御算法原理进行分析总结.在此基础上,分析了每种防御算法的原理和实现,并从防御策略、目标任务、优缺点和实验数据等方面对典型算法进行全面的比较.最后,通过对现有图对抗防御算法全面、系统的分析,对防御算法当前存在的问题及未来发展方向进行了总结和探讨,为图对抗防御进一步的发展提供帮助.     

图对抗攻击研究综述

将深度学习用于图数据建模已经在包括节点分类、链路预测和图分类等在内的复杂任务中表现出优异的性能,但是图神经网络同样继承了深度神经网络模型容易在微小扰动下导致错误输出的脆弱性,引发了将图神经网络应用于金融、交通等安全关键领域的担忧。研究图对抗攻击的原理和实现,可以提高对图神经网络脆弱性和鲁棒性的理解,从而促进图神经网络更广泛的应用,图对抗攻击已经成为亟待深入研究的领域。介绍了图对抗攻击相关概念,将对抗攻击算法按照攻击策略分为拓扑攻击、特征攻击和混合攻击三类;进而,归纳每类算法的核心思想和策略,并比较典型攻击的具体实现方法及优缺点。通过分析现有研究成果,总结图对抗攻击存在的问题及其发展方向,为图对抗攻击领域进一步的研究和发展提供帮助。     

基于特征拓扑融合的黑盒图对抗攻击

在大数据时代，数据之间的紧密关联性是普遍存在的，图数据分析挖掘已经成为大数据技术的重要发展趋势。近几年，图神经网络作为一种新型的图表示学习工具引起了学术界和工业界的广泛关注。目前图神经网络已经在很多实际应用中取得了巨大的成功。最近人工智能的安全性和可信性成为了人们关注的重点，很多工作主要针对图像等规则数据的深度学习对抗攻击。文中主要聚焦于图数据这种典型非欧氏结构的黑盒对抗攻击问题，在图神经网络模型信息(结构、参数)未知的情况下，对图数据进行非随机微小扰动，从而实现对模型的对抗攻击，模型性能随之下降。基于节点选择的对抗攻击策略是一类重要的黑盒图对抗攻击方法，但现有方法在选择对抗攻击节点时主要依靠节点的拓扑结构信息(如度信息)而未充分考虑节点的特征信息，文中面向引文网络提出了一种基于特征拓扑融合的黑盒图对抗攻击方法。所提方法在选择重要性节点的过程中将图节点特征信息和拓扑结构信息进行融合，使得选出的节点在特征和拓扑两方面对于图数据都是重要的，攻击者对挑选出的重要节点施加不易察觉的扰动后对图数据产生了较大影响，进而实现对图神经网络模型的攻击。在3个基准数据集上进行实验，结果表明，所提出的攻击策...     

面向图神经网络的对抗攻击与防御综述

面向已有的图神经网络的攻击与防御方法，较全面地综述了图神经网络对抗攻防技术与鲁棒性分析。首先，综述了图神经网络在不同任务下的对抗攻击与基于不同策略的防御方法，并全面介绍了鲁棒性分析技术；随后，介绍了常用的基准数据集与评价指标；最后，提出了未来可能的研究方向和发展趋势。     

一种面向图分类攻击的对抗检测算法

近年来，图分类是一个在不同领域具有实际应用价值的基本问题.同时，有关图分类任务的恶意攻击层出不穷.现有的方法主要集中在提高图分类模型的精度上，忽略了鲁棒性和可解释性.此外大部分工作是使用对抗图来减少恶意攻击的负面影响，通常忽视了干净图的潜力，主要是因为它们无法区分对抗图和正常图.因此，本文研究了通过特征转换来探索干净图和对抗图之间的内在差异，从而增强图神经网络对恶意攻击的鲁棒性问题.特别地，提出了一种新的对抗检测机制，可以通过干净图创建有监督的知识来训练检测能力.最后在3种真实数据集上，对3种图分类攻击展开对抗检测实验.实验结果表明联合动态对抗检测的性能最优，检测率高达90%,可有效检测对抗图.     

多视图对比增强的异质图结构学习方法

异质图神经网络作为一种异质图表示学习的方法,可以有效地抽取异质图中的复杂结构与语义信息,在节点分类和连接预测任务上取得了优异的表现,为知识图谱的表示与分析提供了有力的支撑.现有的异质图由于存在一定的噪声交互或缺失部分交互,导致异质图神经网络在节点聚合、更新时融入错误的邻域特征信息,从而影响模型的整体性能.为解决该问题,提出了多视图对比增强的异质图结构学习模型.该模型首先利用元路径保持异质图中的语义信息,并通过计算每条元路径下节点之间特征相似度生成相似度图,将其与元路径图融合,实现对图结构的优化.通过将相似度图与元路径图作为不同视图进行多视图对比,实现无监督信息的情况下优化图结构,摆脱对监督信号的依赖.最后,为解决神经网络模型在训练初期学习能力不足、生成的图结构中往往存在错误交互的问题,设计了一个渐进式的图结构融合方法.通过将元路径图和相似度图递增地加权相加,改变图结构融合过程中相似度图所占的比例,在抑制了因模型学习能力弱引入过多的错误交互的同时,达到了用相似度图中的交互抑制原有干扰交互或补全缺失交互的目的,实现了对异质图结构的优化.选择节点分类与节点聚类作为图结构学习的验证任务,在4种...     

基于特征和结构信息增强的图神经网络集成学习框架

近年来,图神经网络由于其丰富的表征和推理能力受到广泛的关注,然而,目前的研究聚焦于卷积策略和网络结构的调整以获得更高的性能,不可避免地面临单一模型局限性的约束。受到集成学习思想的启发,面向图神经网络创新性地提出一套集成学习框架(EL-GNN)。不同于常规的文本和图像数据,图数据除了特征信息外还包括了丰富的拓扑结构信息。因此,EL-GNN不仅将不同基分类器的预测结果进行融合,还在集成阶段额外补充了结构信息。此外,基于特征相似或结构邻居节点通常具有相似标签的先验假设,借助特征图重构,进一步优化集成策略,充分平衡了节点的特征和结构信息。大量实验表明,提出的集成策略取得了良好的成效,并EL-GNN在节点分类任务上显著优于现有模型。     

改进的基于奇异值分解的图卷积网络防御方法

图神经网络（GNN）容易受到对抗性攻击而导致性能下降，影响节点分类、链路预测和社区检测等下游任务，因此GNN的防御方法具有重要研究价值。针对GNN在面对对抗性攻击时鲁棒性差的问题，以图卷积网络（GCN）为模型，提出一种改进的基于奇异值分解（SVD）的投毒攻击防御方法 ISVDatt。在投毒攻击场景下，该方法可对扰动图进行净化处理。GCN遭受投毒攻击后，首先筛选并删除特征差异较大的连边使图保持特征光滑性；然后进行SVD和低秩近似操作使扰动图保持低秩性，并完成对它的净化处理；最后将净化后的扰动图用于GCN模型训练，从而实现对投毒攻击的有效防御。在开源的Citeseer、Cora和Pubmed数据集上针对Metattack和DICE(Delete Internally,Connect Externally)攻击进行实验，并与基于SVD、Pro＿GNN和鲁棒图卷积网络（RGCN）的防御方法进行了对比，结果显示ISVDatt的防御效果相对较优，虽然分类准确率比Pro＿GNN低，但复杂度低，时间开销可以忽略不计。实验结果表明ISVDatt能有效抵御投毒攻击，兼顾算法的复杂度和通用性，具有较高的实用...     

基于非鲁棒特征的图卷积神经网络对抗训练方法

图卷积神经网络可以通过图卷积提取图数据的有效信息,但容易受到对抗攻击的影响导致模型性能下降。对抗训练能够用于提升神经网络鲁棒性,但由于图的结构及节点特征通常是离散的,无法直接基于梯度构造对抗扰动,而在模型的嵌入空间中提取图数据的特征作为对抗训练的样本,能够降低构造复杂度。借鉴集成学习思想,提出一种基于非鲁棒特征的图卷积神经网络对抗训练方法VDERG,分别针对拓扑结构和节点属性两类特征,构建两个图卷积神经网络子模型,通过嵌入空间提取非鲁棒特征,并基于非鲁棒特征完成对抗训练,最后集成两个子模型输出的嵌入向量作为模型节点表示。实验结果表明,提出的对抗训练方法在干净数据上的准确率平均提升了0.8%,在对抗攻击下最多提升了6.91%的准确率。     

Towards Defense Against Adversarial Attacks on Graph Neural Networks via Calibrated Co-Training

Graph neural networks (GNNs) have achieved significant success in graph representation learning. Nevertheless, the recent work indicates that current GNNs are vulnerable to adversarial perturbations, in particular structural perturbations. This, therefore, narrows the application of GNN models in real-world scenarios. Such vulnerability can be attributed to the model’s excessive reliance on incomplete data views (e.g., graph convolutional networks (GCNs) heavily rely on graph structures to make predictions). By integrating the information from multiple perspectives, this problem can be effectively addressed, and typical views of graphs include the node feature view and the graph structure view. In this paper, we proposeC²oG, which combines these two typical views to train sub-models and fuses their knowledge through co-training. Due to the orthogonality of the views, sub-models in the feature view tend to be robust against the perturbations targeted at sub-models in the structure view.C²oGallows sub-models to correct one another mutually and thus enhance the robustness of their ensembles. In our evaluations,C²oGsignificantly improves the robustness of graph models against adversarial attacks without sacrificing their performance on clean datasets.     

图神经网络前沿进展与应用

图结构数据是现实生活中广泛存在的一类数据形式.宏观上的互联网、知识图谱、社交网络数据,微观上的蛋白质、化合物分子等都可以用图结构来建模和表示.由于图结构数据的复杂性和异质性,对图结构数据的分析和处理一直是研究界的难点和重点.图神经网络(Graph Neural Network,GNN)是近年来出现的一种利用深度学习直接对图结构数据进行学习的框架,其优异的性能引起了学者高度的关注和深入的探索.通过在图中的节点和边上制定一定的策略,GNN将图结构数据转化为规范而标准的表示,并输入到多种不同的神经网络中进行训练,在节点分类、边信息传播和图聚类等任务上取得优良的效果.与其他图学习算法相比较,GNN能够学习到图结构数据中的节点以及边的内在规律和更加深层次的语义特征.由于具有对图结构数据强大的非线性拟合能力,因此在不同领域的图相关问题上,GNN都表现出更高的准确率和更好的鲁棒性.本文在现有GNN研究的基础上,首先概述了GNN的出现历程,并介绍了相关概念和定义.之后本文着重讨论和对比了GNN中的各种算法框架,包括核心思想、任务划分、学习方式、优缺点、适用范围、实现成本等.此外,本文对GNN算法在多个不同领域下的应用场景进行了详细的阐述,将GNN与其他图学习算法的优缺点作了联系和比较.针对存在的一些问题和挑战,本文勾画了GNN的未来方向和发展趋势,最后对全文进行了全面而细致的总结.     

Pre-Train and Learn:Preserving Global Information for Graph Neural Networks

Graph neural networks(GNNs) have shown great power in learning on graphs.However,it is still a challenge for GNNs to model information faraway from the source node.The ability to preserve global information can enhance graph representation and hence improve classification precision.In the paper,we propose a new learning framework named G-GNN(Global information for GNN) to address the challenge.First,the global structure and global attribute features of each node are obtained via unsupervised pre-training,and those global features preserve the global information associated with the node.Then,using the pre-trained global features and the raw attributes of the graph,a set of parallel kernel GNNs is used to learn different aspects from these heterogeneous features.Any general GNN can be used as a kernal and easily obtain the ability of preserving global information,without having to alter their own algorithms.Extensive experiments have shown that state-of-the-art models,e.g.,GCN,GAT,Graphsage and APPNP,can achieve improvement with G-GNN on three standard evaluation datasets.Specially,we establish new benchmark precision records on Cora(84.31％) and Pubmed(80.95％) when learning on attributed graphs.     

面向图卷积神经网络鲁棒防御方法

近来对图卷积神经网络（GCNs）的研究及其应用日益成熟,虽然它的性能已经达到很高的水准,但GCNs在受到对抗攻击时模型鲁棒性较差。现有的防御方法大都基于启发式经验算法,没有考虑GCNs结构脆弱的原因。最近,已有研究表明GCNs脆弱的原因是非鲁棒的聚合函数。本文从崩溃点和影响函数抗差性角度出发,分析平尾均值函数和均值聚合函数二者的鲁棒性。平尾均值相较于均值函数,其崩溃点更高。平尾均值的影响函数跳跃有界,可抵抗异常值;而均值函数的影响函数无界,对异常值十分敏感。随后在GCNs框架的基础上,通过将图卷积算子中的聚合函数更换为更为鲁棒的平尾均值,提出一种改进的鲁棒防御方法WinsorisedGCN。最后采用Nettack对抗攻击方法研究分析所提出的模型在不同扰动代价下的鲁棒性,通过准确率和分类裕度评价指标对模型性能进行评估。实验结果表明,所提出的防御方案相较于其他基准模型,能够在保证模型准确率的前提下,有效提高模型在对抗攻击下的鲁棒性。     

大规模图神经网络系统综述

图神经网络(GNN)是一类基于深度学习的处理图域信息的方法,它通过将图广播操作和深度学习算法结合,可以让图的结构信息和顶点属性信息都参与到学习中,在顶点分类、图分类、链接预测等应用中表现出良好的效果和可解释性,已成为一种广泛应用的图分析方法.然而现有主流的深度学习框架(如TensorFlow、PyTorch等)没有为图...     

面向多GPU的图神经网络训练加速

图神经网络由于其强大的表示能力和灵活性最近取得了广泛的关注. 随着图数据规模的增长和显存容量的限制, 基于传统的通用深度学习系统进行图神经网络训练已经难以满足要求, 无法充分发挥GPU设备的性能. 如何高效利用GPU硬件进行图神经网络的训练已经成为该领域重要的研究问题之一. 传统做法是基于稀疏矩阵乘法, 完成图神经网络中的计算过程, 当面对GPU显存容量限制时, 通过分布式矩阵乘法, 把计算任务分发到每个设备上, 这类方法的主要不足有: (1)稀疏矩阵乘法忽视了图数据本身的稀疏分布特性, 计算效率不高; (2)忽视了GPU本身的计算和访存特性, 无法充分利用GPU硬件. 为了提高训练效率, 现有一些研究通过图采样方法, 减少每轮迭代的计算带价和存储需求, 同时也可以支持灵活的分布式拓展, 但是由于采样随机性和方差, 它们往往会影响训练的模型精度. 为此, 提出了一套面向多GPU的高性能图神经网络训练框架, 为了保证模型精度, 基于全量图进行训练, 探索了不同的多GPU图神经网络切分方案, 研究了GPU上不同的图数据排布对图神经网络计算过程中GPU性能的影响, 并提出了稀疏块感知的GPU访存优化技术. 基于C++和CuDNN实现了该原型系统, 在4个不同的大规模GNN数据集上的实验表明: (1)通过图重排优化, 提高了GPU约40%的缓存命中率, 计算加速比可达2倍; (2)相比于现有系统DGL, 取得了5.8倍的整体加速比.     

知识图谱增强的图神经网络推荐研究进展

已有推荐方法主要基于用户与项目的历史交互行为,未充分运用用户及项目相关特征信息,推荐效果并不理想。知识图谱（knowledge graph,KG）增强的图神经网络（graph neural network,GNN）推荐,是以用户与项目交互行为构建的交互图为基础,引入同为图结构的知识图谱,并运用图神经网络技术进行处理,从而实现个性化推荐。深入探讨了现有知识图谱增强的图神经网络推荐研究进展。首先在对图神经网络推荐和知识图谱推荐进行探讨的基础上,从项目知识图谱和协同知识图谱视角,深入分析了当前知识图谱增强的图神经网络推荐取得的相关研究成果;然后从大规模动态知识图谱处理、用户对项目属性的偏好挖掘、知识图谱的图嵌入学习等方面,指出了已有知识图谱增强的图神经网络推荐研究存在的主要问题;最后从动态时序知识图谱增强的GNN推荐、元学习的知识图谱增强GNN推荐、多模态知识图谱增强的GNN推荐、知识图谱增强的GNN跨领域推荐等方面,展望了知识图谱增强的图神经网络推荐未来主要研究方向。