基于改进投影梯度下降算法的图卷积网络投毒攻击

图神经网络在面对节点分类、链路预测、社区检测等与图数据处理相关的任务时,容易受到对抗性攻击的安全威胁。基于梯度的攻击方法具有有效性和高效性,被广泛应用于图神经网络对抗性攻击,高效利用攻击梯度信息与求取离散条件下的攻击梯度是攻击离散图数据的关键。提出基于改进投影梯度下降算法的投毒攻击方法。将模型训练参数看作与扰动相关的函数,而非固定的常数,在模型的对抗训练中考虑了扰动矩阵的影响,同时在更新攻击样本时研究模型对抗训练的作用,实现数据投毒与对抗训练两个阶段的结合。采用投影梯度下降算法对变量实施扰动,并将其转化为二进制,以高效利用攻击梯度信息,从而解决贪婪算法中时间开销随扰动比例线性增加的问题。实验结果表明,当扰动比例为5%时,相比Random、DICE、Min-max攻击方法,在Citeseer、Cora、Cora_ml和Polblogs数据集上图卷积网络模型被该方法攻击后的分类准确率分别平均降低3.27%、3.06%、3.54%、9.07%,在时间开销和攻击效果之间实现了最佳平衡。     

一种面向图神经网络的图重构防御方法

近年来,图神经网络在图表示学习领域中取得了较好表现广泛应用于日常生活中,例如电子商务、社交媒体和生物学等.但是研究表明,图神经网络容易受到精心设计的对抗攻击迷惑,使其无法正常工作.因此,提高图神经网络的鲁棒性至关重要.已有研究提出了一些提高图神经网络鲁棒性的防御方法,然而如何在确保模型主任务性能的前提下降低对抗攻击的攻击成功率仍存在挑战.通过观察不同攻击产生的对抗样本发现,对抗攻击生成的对抗连边所对应的节点对之间通常存在低结构相似性和低节点特征相似性的特点.基于上述发现,提出了一种面向图神经网络的图重构防御方法GRD-GNN,分别从图结构和节点特征考虑,采用共同邻居数和节点相似度2种相似度指标检测对抗连边并实现图重构,使得重构的图结构删除对抗连边,且添加了增强图结构关键特征的连边,从而实现有效防御.最后,论文在3个真实数据集上展开防御实验,验证了GRD-GNN相比其他防御方法均能取得最佳的防御性能,且不影响正常图数据的分类任务.此外,利用可视化方法对防御结果做解释,解析方法的有效性.     

基于雾扰动的图像分类对抗性攻击方法

对抗性攻击是研究深度神经网络脆弱性的前沿技术.然而现有工作大多关注基于加性噪声扰动的攻击,无法代表现实世界中的扰动因素,阻碍了对抗性攻击的实际应用.雾作为现实世界中广泛存在的自然现象,对图像造成显著影响,不可避免地对深度模型构成潜在威胁.本文首次尝试从对抗性攻击的角度研究雾对深度神经网络的影响,并提出两种基于雾扰动的对抗性攻击方法:基于优化的雾扰动对抗性攻击OAdvHaze,在深度神经网络的指引下优化大气散射模型参数,以合成有雾图像,该方法具有较高的攻击成功率.预测式雾扰动对抗性攻击PAdvHaze,采用深度神经网络直接预测雾合成参数,提高了对抗性攻击的速度.本文在ILSVRC 2012和NIPS 2017两个公开数据集上验证了所提出方法的有效性, OAdvHaze和PAdvHaze取得了与最先进攻击方法相当的攻击成功率和可迁移性.该工作将有助于评估和提高深度神经网络对现实世界中潜在雾扰动的鲁棒性.     

改进的基于奇异值分解的图卷积网络防御方法

图神经网络（GNN）容易受到对抗性攻击而导致性能下降，影响节点分类、链路预测和社区检测等下游任务，因此GNN的防御方法具有重要研究价值。针对GNN在面对对抗性攻击时鲁棒性差的问题，以图卷积网络（GCN）为模型，提出一种改进的基于奇异值分解（SVD）的投毒攻击防御方法 ISVDatt。在投毒攻击场景下，该方法可对扰动图进行净化处理。GCN遭受投毒攻击后，首先筛选并删除特征差异较大的连边使图保持特征光滑性；然后进行SVD和低秩近似操作使扰动图保持低秩性，并完成对它的净化处理；最后将净化后的扰动图用于GCN模型训练，从而实现对投毒攻击的有效防御。在开源的Citeseer、Cora和Pubmed数据集上针对Metattack和DICE(Delete Internally,Connect Externally)攻击进行实验，并与基于SVD、Pro＿GNN和鲁棒图卷积网络（RGCN）的防御方法进行了对比，结果显示ISVDatt的防御效果相对较优，虽然分类准确率比Pro＿GNN低，但复杂度低，时间开销可以忽略不计。实验结果表明ISVDatt能有效抵御投毒攻击，兼顾算法的复杂度和通用性，具有较高的实用...     

基于特征拓扑融合的黑盒图对抗攻击

在大数据时代，数据之间的紧密关联性是普遍存在的，图数据分析挖掘已经成为大数据技术的重要发展趋势。近几年，图神经网络作为一种新型的图表示学习工具引起了学术界和工业界的广泛关注。目前图神经网络已经在很多实际应用中取得了巨大的成功。最近人工智能的安全性和可信性成为了人们关注的重点，很多工作主要针对图像等规则数据的深度学习对抗攻击。文中主要聚焦于图数据这种典型非欧氏结构的黑盒对抗攻击问题，在图神经网络模型信息(结构、参数)未知的情况下，对图数据进行非随机微小扰动，从而实现对模型的对抗攻击，模型性能随之下降。基于节点选择的对抗攻击策略是一类重要的黑盒图对抗攻击方法，但现有方法在选择对抗攻击节点时主要依靠节点的拓扑结构信息(如度信息)而未充分考虑节点的特征信息，文中面向引文网络提出了一种基于特征拓扑融合的黑盒图对抗攻击方法。所提方法在选择重要性节点的过程中将图节点特征信息和拓扑结构信息进行融合，使得选出的节点在特征和拓扑两方面对于图数据都是重要的，攻击者对挑选出的重要节点施加不易察觉的扰动后对图数据产生了较大影响，进而实现对图神经网络模型的攻击。在3个基准数据集上进行实验，结果表明，所提出的攻击策...     

基于龙格库塔法的对抗攻击方法

深度神经网络在许多领域中取得了显著的成果, 但相关研究结果表明, 深度神经网络很容易受到对抗样本的影响. 基于梯度的攻击是一种流行的对抗攻击, 引起了人们的广泛关注. 研究基于梯度的对抗攻击与常微分方程数值解法之间的关系, 并提出一种新的基于常微分方程数值解法-龙格库塔法的对抗攻击方法. 根据龙格库塔法中的预测思想, 首先在原始样本中添加扰动构建预测样本, 然后将损失函数对于原始输入样本和预测样本的梯度信息进行线性组合, 以确定生成对抗样本中需要添加的扰动. 不同于已有的方法, 所提出的方法借助于龙格库塔法中的预测思想来获取未来的梯度信息(即损失函数对于预测样本的梯度), 并将其用于确定所要添加的对抗扰动. 该对抗攻击具有良好的可扩展性, 可以非常容易地集成到现有的所有基于梯度的攻击方法. 大量的实验结果表明, 相比于现有的先进方法, 所提出的方法可以达到更高的攻击成功率和更好的迁移性.     

基于对抗点的局部点云神经网络特征匹配攻击EI北大核心CSCD

对基于点云神经网络的局部形状特征匹配模型进行对抗攻击,有益于评估并提高其对抗鲁棒性.针对上述问题,提出了3种基于对抗点的攻击方法,包括通过移动原始待匹配局部点云中点的坐标进行对抗点扰动;计算局部点云的显著图,通过添加点到显著图中关键点的位置并施加位移进行对抗点添加;通过将显著图中的关键点移动到形状中心位置进行对抗点删除.在3DMatch数据集上针对DIP模型和SpinNet模型的实验结果表明,3种攻击方法均能实现有效攻击;攻击的效果与所设置的扰动大小有关;在保证隐蔽性的前提下,随着扰动的增大,攻击效果逐渐显著,如DIP模型被攻击后的特征匹配召回率可从100%降低至2%.     

图对抗攻击研究综述

将深度学习用于图数据建模已经在包括节点分类、链路预测和图分类等在内的复杂任务中表现出优异的性能,但是图神经网络同样继承了深度神经网络模型容易在微小扰动下导致错误输出的脆弱性,引发了将图神经网络应用于金融、交通等安全关键领域的担忧。研究图对抗攻击的原理和实现,可以提高对图神经网络脆弱性和鲁棒性的理解,从而促进图神经网络更广泛的应用,图对抗攻击已经成为亟待深入研究的领域。介绍了图对抗攻击相关概念,将对抗攻击算法按照攻击策略分为拓扑攻击、特征攻击和混合攻击三类;进而,归纳每类算法的核心思想和策略,并比较典型攻击的具体实现方法及优缺点。通过分析现有研究成果,总结图对抗攻击存在的问题及其发展方向,为图对抗攻击领域进一步的研究和发展提供帮助。     

基于稀疏扰动的对抗样本生成方法

近年来,深度神经网络(deep neural network, DNN)在图像领域取得了巨大的进展.然而研究表明, DNN容易受到对抗样本的干扰,表现出较差的鲁棒性.通过生成对抗样本攻击DNN,可以对DNN的鲁棒性进行评估,进而采取相应的防御方法提高DNN的鲁棒性.现有对抗样本生成方法依旧存在生成扰动稀疏性不足、扰动幅度过大等缺陷.提出一种基于稀疏扰动的对抗样本生成方法——SparseAG (sparse perturbation based adversarial example generation),该方法针对图像样本能够生成较为稀疏并且幅度较小的扰动.具体来讲, SparseAG方法首先基于损失函数关于输入图像的梯度值迭代地选择扰动点来生成初始对抗样本,每一次迭代按照梯度值由大到小的顺序确定新增扰动点的候选集,选择使损失函数值最小的扰动添加到图像中.其次,针对初始扰动方案,通过一种扰动优化策略来提高对抗样本的稀疏性和真实性,基于每个扰动的重要性来改进扰动以跳出局部最优,并进一步减少冗余扰动以及冗余扰动幅度.选取CIFAR-10数据集以及ImageNet数据集,在目标攻击以及非目...     

基于单"音频像素"扰动的说话人识别隐蔽攻击

目前针对说话人识别的攻击需要对音频注入长时间的扰动,因此容易被机器或者管理人员发现提出了一种新颖的基于单"音频像素"扰动的针对说话人识别的隐蔽攻击.该攻击利用了差分进化算法不依赖于模型的黑盒特性和不依赖梯度信息的搜索模式,克服了已有攻击中扰动时长无法被约束的问题,实现了使用单"音频像素"扰动的有效攻击.特别地,设计了 一种基于音频段-音频点-扰动值多元组的候选点构造模式,针对音频数据的时序特性,解决了在攻击方案中差分进化算法的候选点难以被描述的问题攻击在LibriSpeech数据集上针对60个人的实验表明这一攻击能达到100％的成功率还开展了大量的实验探究不同条件(如性别、数据集、说话人识别方法等)对于隐蔽攻击性能的影响.上述实验的结果为进行有效地攻击提供了指导.同时,提出了分别基于去噪器、重建算法和语音压缩的防御思路.     

基于Rectified Adam和颜色不变性的对抗迁移攻击

深度神经网络在物体检测、图像分类、自然语言处理、语音识别等众多领域上得到广泛应用.然而,深度神经网络很容易受到对抗样本(即在原有样本上施加人眼无法察觉的微小扰动)的攻击,而且相同的扰动可以跨模型、甚至跨任务地欺骗多个分类器.对抗样本这种跨模型迁移特性,使得深度神经网络在实际生活的应用受到了很大限制.对抗样本对神经网络的威胁,激发了研究者对对抗攻击的研究兴趣.虽然研究者们已提出了不少对抗攻击方法,但是大多数这些方法(特别是黑盒攻击方法)的跨模型的攻击能力往往较差,尤其是对经过对抗训练、输入变换等的防御模型.为此,提出了一种提高对抗样本可迁移性的方法:RLI-CI-FGSM. RLI-CI-FGSM是一种基于迁移的攻击方法,在替代模型上,使用基于梯度的白盒攻击RLI-FGSM生成对抗样本,同时使用CIM扩充源模型,使RLI-FGSM能够同时攻击替代模型和扩充模型.具体而言,RLI-FGSM算法将Radam优化算法与迭代快速符号下降法相结合,并利用目标函数的二阶导信息来生成对抗样本,避免优化算法陷入较差的局部最优.基于深度神经网络具有一定的颜色变换不变性,CIM算法通过优化对颜色变换图像集合...     

基于腐蚀批归一化层的对抗攻击算法

目前在对抗样本生成研究领域,基于梯度的攻击方法由于生成速度快和资源消耗低而得到广泛应用。然而,现有大多数基于梯度的攻击方法所得对抗样本的黑盒攻击成功率并不高。最强基于梯度的攻击方法在攻击6个先进防御黑盒模型时的平均成功率只有78.2%。为此,提出一种基于腐蚀深度神经网络架构中批归一化层的对抗攻击算法来改进现有基于梯度的攻击方法,以实现所得对抗样本的黑盒攻击成功率进一步提升。在一个ImageNet兼容数据集上做了大量实验,实验结果表明所提出的算法在单模型攻击和集成模型攻击中均能与现有基于梯度的攻击方法有效组合,实现在几乎不增加额外计算开销条件下增强对抗样本的攻击性能。此外,所提算法还使得最强基于梯度的攻击方法针对6个先进防御黑盒模型的平均攻击成功率提升了9.0个百分点。     

局部可视对抗扰动生成方法

深度神经网络极易受到局部可视对抗扰动的攻击.文中以生成对抗网络为基础,提出局部可视对抗扰动生成方法.首先,指定被攻击的分类网络作为判别器,并在训练过程中固定参数不变.再构建生成器模型,通过优化欺骗损失、多样性损失和距离损失,使生成器产生局部可视对抗扰动,并叠加在不同输入样本的任意位置上攻击分类网络.最后,提出类别比较法,分析局部可视对抗扰动的有效性.在公开的图像分类数据集上实验表明,文中方法攻击效果较好.     

Improving transferability of adversarial examples with powerful affine-shear transformation attack

Image classification models based on deep neural networks have made great improvements on various tasks, but they are still vulnerable to adversarial examples that could increase the possibility of misclassification. Various methods are proposed to generate adversarial examples under white-box attack circumstances that have achieved a high success rate. However, most existing adversarial attacks only achieve poor transferability when attacking other unknown models with the black-box scenario settings. In this paper, we propose a new method that generates adversarial examples based on affine-shear transformation from the perspective of deep model input layers and maximizes the loss function during each iteration. This method could improve the transferability and the input diversity of adversarial examples, and we also optimize the above adversarial examples generation process with Nesterov accelerated gradient. Extensive experiments on ImageNet Dataset indicate that our proposed method could exhibit higher transferability and achieve higher attack success rates on both single model settings and ensemble-model settings. It can also combine with other gradient-based methods and image transformation-based methods to further build more powerful attacks.     

基于非鲁棒特征的图卷积神经网络对抗训练方法

图卷积神经网络可以通过图卷积提取图数据的有效信息,但容易受到对抗攻击的影响导致模型性能下降。对抗训练能够用于提升神经网络鲁棒性,但由于图的结构及节点特征通常是离散的,无法直接基于梯度构造对抗扰动,而在模型的嵌入空间中提取图数据的特征作为对抗训练的样本,能够降低构造复杂度。借鉴集成学习思想,提出一种基于非鲁棒特征的图卷积神经网络对抗训练方法VDERG,分别针对拓扑结构和节点属性两类特征,构建两个图卷积神经网络子模型,通过嵌入空间提取非鲁棒特征,并基于非鲁棒特征完成对抗训练,最后集成两个子模型输出的嵌入向量作为模型节点表示。实验结果表明,提出的对抗训练方法在干净数据上的准确率平均提升了0.8%,在对抗攻击下最多提升了6.91%的准确率。     

基于生成式对抗网络的通用性对抗扰动生成方法

深度神经网络在图像分类应用中具有很高的准确率,然而,当在原始图像中添加微小的对抗扰动后,深度神经网络的分类准确率会显著下降。研究表明,对于一个分类器和数据集存在一种通用性对抗扰动,其可对大部分原始图像产生攻击效果。文章设计了一种通过生成式对抗网络来制作通用性对抗扰动的方法。通过生成式对抗网络的训练,生成器可制作出通用性对抗扰动,将该扰动添加到原始图像中制作对抗样本,从而达到攻击的目的。文章在CIFAR-10数据集上进行了无目标攻击、目标攻击和迁移性攻击实验。实验表明,生成式对抗网络生成的通用性对抗扰动可在较低范数约束下达到89%的攻击成功率,且利用训练后的生成器可在短时间内制作出大量的对抗样本,利于深度神经网络的鲁棒性研究。     

Robust graph convolutional networks with directional graph adversarial training

Graph convolutional networks (GCNs), an emerging type of neural network model on graphs, have presented state-of-the-art performance on the node classification task. However, recent studies show that neural networks are vulnerable to the small but deliberate perturbations on input features. And GCNs could be more sensitive to the perturbations since the perturbations from neighbor nodes exacerbate the impact on a target node through the convolution. Adversarial training (AT) is a regularization technique that has been shown capable of improving the robustness of the model against perturbations on image classification. However, directly adopting AT on GCNs is less effective since AT regards examples as independent of each other and does not consider the impact from connected examples. In this work, we explore AT on graph and propose a graph-specific AT method, Directional Graph Adversarial Training (DGAT), which incorporates the graph structure into the adversarial process and automatically identifies the impact of perturbations from neighbor nodes. Concretely, we consider the impact from the connected nodes to define the neighbor perturbation which restricts the perturbation direction on node features towards their neighbor nodes, and additionally introduce an adversarial regularizer to defend the worst-case perturbations. In this way, DGAT can resist the impact of worst-case adversarial perturbations and reduce the impact of perturbations from neighbor nodes. Extensive experiments demonstrate that DGAT can effectively improve the robustness and generalization performance of GCNs. Specially, GCNs with DGAT can provide better performance when there are rare few labels available for training.

     

Transfer-based Adversarial Attack with Rectified Adam and Color Invariance

Deep Neural Networks (DNNs) have been widely used in object detection, image classification, natural language processing, speech recognition, and other fields. Nevertheless, DNNs are vulnerable to adversarial examples which are formed by adding imperceptible perturbations to original samples. Moreover, the same perturbation can deceive multiple classifiers across models and even across tasks. The cross-model transfer characteristics of adversarial examples limit the application of DNNs in real life, and the threat of adversarial examples to DNNs has stimulated researchers'' interest in adversarial attacks. Recently, researchers have proposed several adversarial attack methods, but most of these methods (especially the black-box attack) have poor cross-model attack ability for defense models with adversarial training or input transformation in particular. Therefore, this study proposes a method to improve the transferability of adversarial examples, namely, RLI-CI-FGSM. RLI-CI-FGSM is a transfer-based attack method, which employs the gradient-based white-box attack RLI-FGSM to generate adversarial examples on the substitution model and adopts CIM to expand the source model so that RLI-FGSM can attack both the substitution model and the extended model at the same time. Specifically, RLI-FGSM integrates the RAdam optimization algorithm into the Iterative Fast Gradient Sign Method (I-FGSM) and makes use of the second-derivative information of the objective function to generate adversarial examples, which prevents the optimization algorithm from falling into a poor local optimum. Based on the color invariance property of DNNs, CIM optimizes the perturbations of image sets with color transformation to generate adversarial examples that can be transferred and are less sensitive to the attacked white-box model. Experimental results show that the proposed method has a high success rate on both normal and adversarial network models.