图对抗攻击研究综述

将深度学习用于图数据建模已经在包括节点分类、链路预测和图分类等在内的复杂任务中表现出优异的性能,但是图神经网络同样继承了深度神经网络模型容易在微小扰动下导致错误输出的脆弱性,引发了将图神经网络应用于金融、交通等安全关键领域的担忧。研究图对抗攻击的原理和实现,可以提高对图神经网络脆弱性和鲁棒性的理解,从而促进图神经网络更广泛的应用,图对抗攻击已经成为亟待深入研究的领域。介绍了图对抗攻击相关概念,将对抗攻击算法按照攻击策略分为拓扑攻击、特征攻击和混合攻击三类;进而,归纳每类算法的核心思想和策略,并比较典型攻击的具体实现方法及优缺点。通过分析现有研究成果,总结图对抗攻击存在的问题及其发展方向,为图对抗攻击领域进一步的研究和发展提供帮助。     

面向图神经网络的对抗攻击与防御综述

面向已有的图神经网络的攻击与防御方法,较全面地综述了图神经网络对抗攻防技术与鲁棒性分析.首先,综述了图神经网络在不同任务下的对抗攻击与基于不同策略的防御方法,并全面介绍了鲁棒性分析技术;随后,介绍了常用的基准数据集与评价指标;最后,提出了未来可能的研究方向和发展趋势.     

图对抗防御研究进展

图神经网络(GNN)在多个领域的复杂任务中已经得到成功的应用,但研究表明其易受到对抗攻击而导致性能严重下降,这种脆弱性影响了包含节点分类、链路预测和社团探测在内的所有应用.图对抗攻击已经可以高效地实施,这带来了严重的安全隐患和隐私问题,图对抗防御致力于提高GNN的鲁棒性和泛化能力以抵御对抗攻击.综述了图对抗防御算法研究进展,首先,介绍了图对抗防御的背景和相关概念,并对图对抗防御研究发展脉络进行梳理和分析.然后,根据防御算法的不同防御策略将算法分为四类,包括攻击检测、对抗训练、可认证鲁棒性以及免疫防御,对每类防御算法原理进行分析总结.在此基础上,分析了每种防御算法的原理和实现,并从防御策略、目标任务、优缺点和实验数据等方面对典型算法进行全面的比较.最后,通过对现有图对抗防御算法全面、系统的分析,对防御算法当前存在的问题及未来发展方向进行了总结和探讨,为图对抗防御进一步的发展提供帮助.     

一种面向图分类攻击的对抗检测算法

近年来，图分类是一个在不同领域具有实际应用价值的基本问题.同时，有关图分类任务的恶意攻击层出不穷.现有的方法主要集中在提高图分类模型的精度上，忽略了鲁棒性和可解释性.此外大部分工作是使用对抗图来减少恶意攻击的负面影响，通常忽视了干净图的潜力，主要是因为它们无法区分对抗图和正常图.因此，本文研究了通过特征转换来探索干净图和对抗图之间的内在差异，从而增强图神经网络对恶意攻击的鲁棒性问题.特别地，提出了一种新的对抗检测机制，可以通过干净图创建有监督的知识来训练检测能力.最后在3种真实数据集上，对3种图分类攻击展开对抗检测实验.实验结果表明联合动态对抗检测的性能最优，检测率高达90%,可有效检测对抗图.     

基于梯度结构的图神经网络对抗攻击

图神经网络在半监督节点分类任务中取得了显著的性能. 研究表明, 图神经网络容易受到干扰, 因此目前已有研究涉及图神经网络的对抗鲁棒性. 然而, 基于梯度的攻击不能保证最优的扰动. 提出了一种基于梯度和结构的对抗性攻击方法, 增强了基于梯度的扰动. 该方法首先利用训练损失的一阶优化生成候选扰动集, 然后对候选集进行相似性评估, 根据评估结果排序并选择固定预算的修改以实现攻击. 通过在5个数据集上进行半监督节点分类任务来评估所提出的攻击方法. 实验结果表明, 在仅执行少量扰动的情况下, 节点分类精度显著下降, 明显优于现有攻击方法.     

基于特征拓扑融合的黑盒图对抗攻击

在大数据时代，数据之间的紧密关联性是普遍存在的，图数据分析挖掘已经成为大数据技术的重要发展趋势。近几年，图神经网络作为一种新型的图表示学习工具引起了学术界和工业界的广泛关注。目前图神经网络已经在很多实际应用中取得了巨大的成功。最近人工智能的安全性和可信性成为了人们关注的重点，很多工作主要针对图像等规则数据的深度学习对抗攻击。文中主要聚焦于图数据这种典型非欧氏结构的黑盒对抗攻击问题，在图神经网络模型信息(结构、参数)未知的情况下，对图数据进行非随机微小扰动，从而实现对模型的对抗攻击，模型性能随之下降。基于节点选择的对抗攻击策略是一类重要的黑盒图对抗攻击方法，但现有方法在选择对抗攻击节点时主要依靠节点的拓扑结构信息(如度信息)而未充分考虑节点的特征信息，文中面向引文网络提出了一种基于特征拓扑融合的黑盒图对抗攻击方法。所提方法在选择重要性节点的过程中将图节点特征信息和拓扑结构信息进行融合，使得选出的节点在特征和拓扑两方面对于图数据都是重要的，攻击者对挑选出的重要节点施加不易察觉的扰动后对图数据产生了较大影响，进而实现对图神经网络模型的攻击。在3个基准数据集上进行实验，结果表明，所提出的攻击策...     

一种针对关系不确定性的贝叶斯异质图神经网络

由不同类型的节点和边组成的异质图在现实世界中具有广泛的应用场景.近年来,针对此类图数据的异质图神经网络研究与应用取得了很好的进展,但是现有的异质图神经网络在构建时没有考虑到异质图中存在关系的不确定性问题,因而在面对包含不确定性的关系的对抗性实例干扰时也暴露出鲁棒性较弱的缺点.针对上述问题,本文提出贝叶斯异质图神经网络模型(Bayesian Heterogeneous Neural Network,BHNN),用于解决异质图中关系不确定性问题并提高模型的鲁棒性. BHNN首先基于异质图的领域知识预定义不同的元路径,然后针对表示单一关系的每条元路径构建由相同类型节点构成的元路径邻居图,每个元路径邻居图被看作是一个随机图参数族的实现并可以使用随机块模型对其建模,最后结合贝叶斯方法对随机图的参数和节点标签的联合后验进行推理得到节点的预测标签的概率分布.节点分类实验结果表明:在ACM、DBLP和IMDB三个基准数据集上,相比较于目前最好的图数据训练模型,BHNN的微F1与宏F1分别平均提高了1.59%与1.36%,这验证了本文算法的有效性和优越性.在节点攻击实验中,相比较于基准方法中的图神经网络...     

基于插值法的对抗攻击防御算法

深度神经网络(DNN)在预测过程中会受到对抗攻击而输出错误的结果,因此研究具有防御能力的新型深度学习算法,对于提高神经网络的鲁棒性和安全性有重要的价值。文章主要研究应对对抗样本攻击的被动防御方法,提出基于插值法的对抗攻击防御算法(Interpolation Defense Algorithm,IDA),实验结果表明,本算法可以提高神经网络对于对抗样本的识别率。     

基于对抗点的局部点云神经网络特征匹配攻击EI北大核心CSCD

对基于点云神经网络的局部形状特征匹配模型进行对抗攻击,有益于评估并提高其对抗鲁棒性.针对上述问题,提出了3种基于对抗点的攻击方法,包括通过移动原始待匹配局部点云中点的坐标进行对抗点扰动;计算局部点云的显著图,通过添加点到显著图中关键点的位置并施加位移进行对抗点添加;通过将显著图中的关键点移动到形状中心位置进行对抗点删除.在3DMatch数据集上针对DIP模型和SpinNet模型的实验结果表明,3种攻击方法均能实现有效攻击;攻击的效果与所设置的扰动大小有关;在保证隐蔽性的前提下,随着扰动的增大,攻击效果逐渐显著,如DIP模型被攻击后的特征匹配召回率可从100%降低至2%.     

图神经网络推荐方法研究

图神经网络因其特性在许多应用领域展露锋芒,将图神经网络与推荐相结合成为研究热点之一.在推荐中使用图神经网络方法,能够在复杂环境中显著提高推荐的水平.对图神经网络的方法、个性化推荐和群组推荐分别进行总结介绍;对基于图神经网络的推荐方法进行概述,重点对图神经网络及其近年来在推荐领域的研究成果进行归纳总结;分析了推荐研究现状...     

Towards Defense Against Adversarial Attacks on Graph Neural Networks via Calibrated Co-Training

Graph neural networks (GNNs) have achieved significant success in graph representation learning. Nevertheless, the recent work indicates that current GNNs are vulnerable to adversarial perturbations, in particular structural perturbations. This, therefore, narrows the application of GNN models in real-world scenarios. Such vulnerability can be attributed to the model’s excessive reliance on incomplete data views (e.g., graph convolutional networks (GCNs) heavily rely on graph structures to make predictions). By integrating the information from multiple perspectives, this problem can be effectively addressed, and typical views of graphs include the node feature view and the graph structure view. In this paper, we proposeC²oG, which combines these two typical views to train sub-models and fuses their knowledge through co-training. Due to the orthogonality of the views, sub-models in the feature view tend to be robust against the perturbations targeted at sub-models in the structure view.C²oGallows sub-models to correct one another mutually and thus enhance the robustness of their ensembles. In our evaluations,C²oGsignificantly improves the robustness of graph models against adversarial attacks without sacrificing their performance on clean datasets.     

图神经网络前沿进展与应用

图结构数据是现实生活中广泛存在的一类数据形式.宏观上的互联网、知识图谱、社交网络数据,微观上的蛋白质、化合物分子等都可以用图结构来建模和表示.由于图结构数据的复杂性和异质性,对图结构数据的分析和处理一直是研究界的难点和重点.图神经网络(Graph Neural Network,GNN)是近年来出现的一种利用深度学习直接对图结构数据进行学习的框架,其优异的性能引起了学者高度的关注和深入的探索.通过在图中的节点和边上制定一定的策略,GNN将图结构数据转化为规范而标准的表示,并输入到多种不同的神经网络中进行训练,在节点分类、边信息传播和图聚类等任务上取得优良的效果.与其他图学习算法相比较,GNN能够学习到图结构数据中的节点以及边的内在规律和更加深层次的语义特征.由于具有对图结构数据强大的非线性拟合能力,因此在不同领域的图相关问题上,GNN都表现出更高的准确率和更好的鲁棒性.本文在现有GNN研究的基础上,首先概述了GNN的出现历程,并介绍了相关概念和定义.之后本文着重讨论和对比了GNN中的各种算法框架,包括核心思想、任务划分、学习方式、优缺点、适用范围、实现成本等.此外,本文对GNN算法在多个不同领域下的应用场景进行了详细的阐述,将GNN与其他图学习算法的优缺点作了联系和比较.针对存在的一些问题和挑战,本文勾画了GNN的未来方向和发展趋势,最后对全文进行了全面而细致的总结.     

Pre-Train and Learn:Preserving Global Information for Graph Neural Networks

Graph neural networks(GNNs) have shown great power in learning on graphs.However,it is still a challenge for GNNs to model information faraway from the source node.The ability to preserve global information can enhance graph representation and hence improve classification precision.In the paper,we propose a new learning framework named G-GNN(Global information for GNN) to address the challenge.First,the global structure and global attribute features of each node are obtained via unsupervised pre-training,and those global features preserve the global information associated with the node.Then,using the pre-trained global features and the raw attributes of the graph,a set of parallel kernel GNNs is used to learn different aspects from these heterogeneous features.Any general GNN can be used as a kernal and easily obtain the ability of preserving global information,without having to alter their own algorithms.Extensive experiments have shown that state-of-the-art models,e.g.,GCN,GAT,Graphsage and APPNP,can achieve improvement with G-GNN on three standard evaluation datasets.Specially,we establish new benchmark precision records on Cora(84.31％) and Pubmed(80.95％) when learning on attributed graphs.     

面向图卷积神经网络鲁棒防御方法

近来对图卷积神经网络（GCNs）的研究及其应用日益成熟,虽然它的性能已经达到很高的水准,但GCNs在受到对抗攻击时模型鲁棒性较差。现有的防御方法大都基于启发式经验算法,没有考虑GCNs结构脆弱的原因。最近,已有研究表明GCNs脆弱的原因是非鲁棒的聚合函数。本文从崩溃点和影响函数抗差性角度出发,分析平尾均值函数和均值聚合函数二者的鲁棒性。平尾均值相较于均值函数,其崩溃点更高。平尾均值的影响函数跳跃有界,可抵抗异常值;而均值函数的影响函数无界,对异常值十分敏感。随后在GCNs框架的基础上,通过将图卷积算子中的聚合函数更换为更为鲁棒的平尾均值,提出一种改进的鲁棒防御方法WinsorisedGCN。最后采用Nettack对抗攻击方法研究分析所提出的模型在不同扰动代价下的鲁棒性,通过准确率和分类裕度评价指标对模型性能进行评估。实验结果表明,所提出的防御方案相较于其他基准模型,能够在保证模型准确率的前提下,有效提高模型在对抗攻击下的鲁棒性。     

基于非鲁棒特征的图卷积神经网络对抗训练方法

图卷积神经网络可以通过图卷积提取图数据的有效信息,但容易受到对抗攻击的影响导致模型性能下降。对抗训练能够用于提升神经网络鲁棒性,但由于图的结构及节点特征通常是离散的,无法直接基于梯度构造对抗扰动,而在模型的嵌入空间中提取图数据的特征作为对抗训练的样本,能够降低构造复杂度。借鉴集成学习思想,提出一种基于非鲁棒特征的图卷积神经网络对抗训练方法VDERG,分别针对拓扑结构和节点属性两类特征,构建两个图卷积神经网络子模型,通过嵌入空间提取非鲁棒特征,并基于非鲁棒特征完成对抗训练,最后集成两个子模型输出的嵌入向量作为模型节点表示。实验结果表明,提出的对抗训练方法在干净数据上的准确率平均提升了0.8%,在对抗攻击下最多提升了6.91%的准确率。     

大规模图神经网络系统综述

图神经网络(GNN)是一类基于深度学习的处理图域信息的方法,它通过将图广播操作和深度学习算法结合,可以让图的结构信息和顶点属性信息都参与到学习中,在顶点分类、图分类、链接预测等应用中表现出良好的效果和可解释性,已成为一种广泛应用的图分析方法.然而现有主流的深度学习框架(如TensorFlow、PyTorch等)没有为图...     

面向多GPU的图神经网络训练加速

图神经网络由于其强大的表示能力和灵活性最近取得了广泛的关注. 随着图数据规模的增长和显存容量的限制, 基于传统的通用深度学习系统进行图神经网络训练已经难以满足要求, 无法充分发挥GPU设备的性能. 如何高效利用GPU硬件进行图神经网络的训练已经成为该领域重要的研究问题之一. 传统做法是基于稀疏矩阵乘法, 完成图神经网络中的计算过程, 当面对GPU显存容量限制时, 通过分布式矩阵乘法, 把计算任务分发到每个设备上, 这类方法的主要不足有: (1)稀疏矩阵乘法忽视了图数据本身的稀疏分布特性, 计算效率不高; (2)忽视了GPU本身的计算和访存特性, 无法充分利用GPU硬件. 为了提高训练效率, 现有一些研究通过图采样方法, 减少每轮迭代的计算带价和存储需求, 同时也可以支持灵活的分布式拓展, 但是由于采样随机性和方差, 它们往往会影响训练的模型精度. 为此, 提出了一套面向多GPU的高性能图神经网络训练框架, 为了保证模型精度, 基于全量图进行训练, 探索了不同的多GPU图神经网络切分方案, 研究了GPU上不同的图数据排布对图神经网络计算过程中GPU性能的影响, 并提出了稀疏块感知的GPU访存优化技术. 基于C++和CuDNN实现了该原型系统, 在4个不同的大规模GNN数据集上的实验表明: (1)通过图重排优化, 提高了GPU约40%的缓存命中率, 计算加速比可达2倍; (2)相比于现有系统DGL, 取得了5.8倍的整体加速比.     

KENN: 线性结构熵的图核神经网络

图神经网络(graph neural network, GNN)是一种利用深度学习直接对图结构数据进行表征的框架,近年来受到人们越来越多的关注.然而传统的基于消息传递聚合的图神经网络(messaging passing GNN, MP-GNN)忽略了不同节点的平滑速度,无差别地聚合了邻居信息,易造成过平滑现象.为此,研究并提出一种线性结构熵的图核神经网络分类方法,即KENN.它首先利用图核方法对节点子图进行结构编码,判断子图之间的同构性,进而利用同构系数来定义不同邻居间的平滑系数.其次基于低复杂度的线性结构熵提取图的结构信息,加深和丰富图数据的结构表达能力.通过将线性结构熵、图核和图神经网络三者进行深度融合提出了图核神经网络分类方法.它不仅可以解决生物分子数据节点特征的稀疏问题,也可以解决社交网络数据以节点度作为特征所产生的信息冗余问题,同时还使得图神经网络能够自适应调整对图结构特征的表征能力,使其超越MP-GNN的上界(WL测试).最后,在7个公开的图分类数据集上实验验证了所提出模型的性能优于其他的基准模型.