颜色模型扰动的语义对抗样本生成方法

卷积神经网络是一种具有强大特征提取能力的深度神经网络,其在众多领域得到了广泛应用。但是,研究表明卷积神经网络易受对抗样本攻击。不同于传统的以梯度迭代生成对抗扰动的方法,提出了一种基于颜色模型的语义对抗样本生成方法,利用人类视觉和卷积模型在识别物体中表现出的形状偏好特性,通过颜色模型的扰动变换来生成对抗样本。在样本生成过程中其不需要目标模型的网络参数、损失函数或者相关结构信息,仅依靠颜色模型的变换和通道信息的随机扰动,所以这是一种可以完成黑盒攻击的对抗样本。     

基于几何关系的跨模型通用扰动生成方法

对抗攻击通过在神经网络模型的输入样本上添加经设计的扰动，使模型高置信度地输出错误结果。对抗攻击研究主要针对单一模型应用场景，对多模型的攻击主要通过跨模型迁移攻击来实现，而关于跨模型通用攻击方法的研究很少。通过分析多模型攻击扰动的几何关系，明确了不同模型间对抗方向的正交性和对抗方向与决策边界间的正交性，并据此设计了跨模型通用攻击算法和相应的优化策略。在CIFAR10、SVHN数据集和六种常见神经网络模型上，对所提算法进行了多角度的跨模型对抗攻击验证。实验结果表明，给定实验场景下的算法攻击成功率为1.0，二范数模长不大于0.9，相较于跨模型迁移攻击，所提算法在六种模型上的平均攻击成功率最多提高57%，并且具有更好的通用性。     

Nesterov动量迭代降噪对抗攻击算法NMI-FGSM&Whey

目前基于深度神经网络的图像分类器易受到对抗样本的攻击,而对抗样本往往是某种算法攻击原始样本所生成的特定图像.本文针对攻击算法的弱鲁棒性及低隐蔽性提出一种基于Nesterov-Momentum动量迭代以及Whey优化的NMI-FGSM&Whey攻击算法.首先在一般动量迭代攻击中加入Nesterov项,其次于生成对抗样本之...     

一种融合对抗层的图像通用对抗扰动生成算法

随着深度神经网络的广泛应用,其安全性问题日益突出.研究图像对抗样本生成可以提升神经网络的安全性.针对现有通用对抗扰动算法攻击成功率不高的不足,提出一种在深度神经网络中融合对抗层的图像通用对抗扰动生成算法.首先,在神经网络中引入对抗层的概念,提出一种基于对抗层的图像对抗样本产生框架;随后,将多种典型的基于梯度的对抗攻击算法融入到对抗层框架,理论分析了所提框架的可行性和可扩展性;最后,在所提框架下,给出了一种基于RMSprop的通用对抗扰动产生算法.在多个图像数据集上训练了5种不同结构的深度神经网络分类模型,并将所提对抗层算法和4种典型的通用对抗扰动算法分别用于攻击这些分类模型,比较它们的愚弄率.对比实验表明,所提通用对抗扰动生成算法具有兼顾攻击成功率和攻击效率的优点,只需要1%的样本数据就可以获得较高的攻击成率.     

基于生成对抗网络的目标检测黑盒迁移攻击算法

目标检测被广泛应用到自动驾驶、工业、医疗等各个领域. 利用目标检测算法解决不同领域中的关键任务逐渐成为主流. 然而基于深度学习的目标检测模型在对抗样本攻击下, 模型的鲁棒性存在严重不足, 通过加入微小扰动构造的对抗样本很容易使模型预测出错. 这极大地限制了目标检测模型在关键安全领域的应用. 在实际应用中的模型普遍是黑盒模型, 现有的针对目标检测模型的黑盒攻击相关研究不足, 存在鲁棒性评测不全面, 黑盒攻击成功率较低, 攻击消耗资源较高等问题. 针对上述问题, 提出基于生成对抗网络的目标检测黑盒攻击算法, 所提算法利用融合注意力机制的生成网络直接输出对抗扰动, 并使用替代模型的损失和所提的类别注意力损失共同优化生成网络参数, 可以支持定向攻击和消失攻击两种场景. 在Pascal VOC数据集和MS COCO数据集上的实验结果表明, 所提方法比目前攻击方法的黑盒迁移攻击成功率更高, 并且可以在不同数据集之间进行迁移攻击.     

对抗攻击威胁基于卷积神经网络的网络流量分类

深度学习算法被广泛地应用于网络流量分类,具有较好的分类效果,应用卷积神经网络不仅能大幅提高网络流量分类的准确性,还能简化其分类过程.然而,神经网络面临着对抗攻击等安全威胁,这些安全威胁对基于神经网络的网络流量分类的影响有待进一步的研究和验证.文中提出了基于卷积神经网络的网络流量分类的对抗攻击方法,通过对由网络流量转换成的深度学习输入图像添加人眼难以识别的扰动,使得卷积神经网络对网络流量产生错误的分类.同时,针对这种攻击方法,文中也提出了基于混合对抗训练的防御措施,将对抗攻击形成的对抗流量样本和原始流量样本混合训练以增强分类模型的鲁棒性.文中采用公开数据集进行实验,实验结果表明,所提对抗攻击方法能导致基于卷积神经网络的网络流量分类方法的准确率急剧下降,通过混合对抗训练则能够有效地抵御对抗攻击,从而提高模型的鲁棒性.     

基于稀疏扰动的对抗样本生成方法

近年来,深度神经网络(deep neural network, DNN)在图像领域取得了巨大的进展.然而研究表明, DNN容易受到对抗样本的干扰,表现出较差的鲁棒性.通过生成对抗样本攻击DNN,可以对DNN的鲁棒性进行评估,进而采取相应的防御方法提高DNN的鲁棒性.现有对抗样本生成方法依旧存在生成扰动稀疏性不足、扰动幅度过大等缺陷.提出一种基于稀疏扰动的对抗样本生成方法——SparseAG (sparse perturbation based adversarial example generation),该方法针对图像样本能够生成较为稀疏并且幅度较小的扰动.具体来讲, SparseAG方法首先基于损失函数关于输入图像的梯度值迭代地选择扰动点来生成初始对抗样本,每一次迭代按照梯度值由大到小的顺序确定新增扰动点的候选集,选择使损失函数值最小的扰动添加到图像中.其次,针对初始扰动方案,通过一种扰动优化策略来提高对抗样本的稀疏性和真实性,基于每个扰动的重要性来改进扰动以跳出局部最优,并进一步减少冗余扰动以及冗余扰动幅度.选取CIFAR-10数据集以及ImageNet数据集,在目标攻击以及非目...     

基于特征变换的图像检索对抗防御

对抗攻击在图像分类中较早被研究,目的是产生可以误导神经网络预测的不可察觉的扰动.最近,图像检索中的对抗攻击也被广泛探索,研究结果表明最先进的基于深度神经网络的图像检索模型同样容易受到干扰,从而将不相关的图像返回.文中首次尝试研究无需训练的图像检索模型的对抗防御方法,根据图像基本特征因素对输入图像进行变换,以在预测阶段消除对抗攻击的影响.所提方法探索了4种图像特征变换方案,即调整大小、填充、总方差最小化和图像拼接,这些都是在查询图像被送入检索模型之前对其执行的.文中提出的防御方法具有以下优点:1)不需要微调和增量训练过程;2)仅需极少的额外计算;3)多个方案可以灵活集成.大量实验的结果表明,提出的变换策略在防御现有的针对主流图像检索模型的对抗攻击方面是非常有效的.     

用于白盒目标攻击的GAN对抗样本生成

深度神经网络易受对抗样本攻击的影响并产生错误输出,传统的生成对抗样本的方法都是从优化角度生成对抗样本.文中提出基于生成对抗网络(GAN)的对抗样本生成方法,使用GAN进行白盒目标攻击,训练好的生成器对输入样本产生扰动,生成对抗样本.使用四种损失函数约束生成对抗样本的质量并提高攻击成功率.在MNIST、CIFAR-10、ImageNet数据集上的大量实验验证文中方法的有效性,文中方法的攻击成功率较高.     

基于积分损失的对抗样本生成算法

随着计算机性能的飞速提升和数据量的爆炸式增长,深度学习在越来越多的领域取得了惊人的成果。然而,研究者们发现深度网络也存在对抗攻击。在图像分类领域,攻击者可以通过向原始的图片上加入人为设计的微小的扰动,来使得深度神经网络分类器给出错误的分类,而这种扰动对于人类来说是不可见的,加入了扰动之后的图片就是对抗样本。基于梯度攻击的对抗样本生成算法(projected gradient descent, PGD)是目前有效的攻击算法,但是这类算法容易产生过拟合。该文提出了积分损失快速梯度符号法,利用积分损失来衡量输入对于损失函数的重要性程度,规避梯度更新方向上可能陷入局部最优值的情况,不仅进一步提升了对抗样本的攻击成功率,而且也增加了对抗样本的迁移性。实验结果证明了所提方法的有效性,可以作为测试防御模型的一个基准。     

Transfer-based Adversarial Attack with Rectified Adam and Color Invariance

Deep Neural Networks (DNNs) have been widely used in object detection, image classification, natural language processing, speech recognition, and other fields. Nevertheless, DNNs are vulnerable to adversarial examples which are formed by adding imperceptible perturbations to original samples. Moreover, the same perturbation can deceive multiple classifiers across models and even across tasks. The cross-model transfer characteristics of adversarial examples limit the application of DNNs in real life, and the threat of adversarial examples to DNNs has stimulated researchers'' interest in adversarial attacks. Recently, researchers have proposed several adversarial attack methods, but most of these methods (especially the black-box attack) have poor cross-model attack ability for defense models with adversarial training or input transformation in particular. Therefore, this study proposes a method to improve the transferability of adversarial examples, namely, RLI-CI-FGSM. RLI-CI-FGSM is a transfer-based attack method, which employs the gradient-based white-box attack RLI-FGSM to generate adversarial examples on the substitution model and adopts CIM to expand the source model so that RLI-FGSM can attack both the substitution model and the extended model at the same time. Specifically, RLI-FGSM integrates the RAdam optimization algorithm into the Iterative Fast Gradient Sign Method (I-FGSM) and makes use of the second-derivative information of the objective function to generate adversarial examples, which prevents the optimization algorithm from falling into a poor local optimum. Based on the color invariance property of DNNs, CIM optimizes the perturbations of image sets with color transformation to generate adversarial examples that can be transferred and are less sensitive to the attacked white-box model. Experimental results show that the proposed method has a high success rate on both normal and adversarial network models.     

面向恶意软件检测模型的黑盒对抗攻击方法

深度学习方法已被广泛应用于恶意软件检测中并取得了较好的预测精度,但同时深度神经网络容易受到对输入数据添加细微扰动的对抗攻击,导致模型输出错误的预测结果,从而使得恶意软件检测失效。针对基于深度学习的恶意软件检测方法的安全性,提出了一种面向恶意软件检测模型的黑盒对抗攻击方法。首先在恶意软件检测模型内部结构参数完全未知的前提下,通过生成对抗网络模型来生成恶意软件样本;然后使生成的对抗样本被识别成预先设定的目标类型以实现目标攻击,从而躲避恶意软件检测;最后,在Kaggle竞赛的恶意软件数据集上展开实验,验证了所提黑盒攻击方法的有效性。进一步得到,生成的对抗样本也可对其他恶意软件检测方法攻击成功,这验证了其具有较强的攻击迁移性。     

面向鲁棒学习的对抗训练技术综述

深度学习在众多领域取得了巨大成功。然而，其强大的数据拟合能力隐藏着不可解释的“捷径学习”现象，从而引发深度模型脆弱、易受攻击的安全隐患。众多研究表明，攻击者向正常数据中添加人类无法察觉的微小扰动，便可能造成模型产生灾难性的错误输出，这严重限制了深度学习在安全敏感领域的应用。对此，研究者提出了各种对抗性防御方法。其中，对抗训练是典型的启发式防御方法。它将对抗攻击与对抗防御注入一个框架，一方面通过攻击已有模型学习生成对抗样本，另一方面利用对抗样本进一步开展模型训练，从而提升模型的鲁棒性。为此，本文围绕对抗训练，首先，阐述了对抗训练的基本框架；其次，对对抗训练框架下的对抗样本生成、对抗模型防御性训练等方法与关键技术进行分类梳理；然后，对评估对抗训练鲁棒性的数据集及攻击方式进行总结；最后，通过对当前对抗训练所面临挑战的分析，本文给出了其未来的几个发展方向。     

基于孪生结构的对抗样本攻击动态防御方法

神经网络模型已被广泛应用于多个研究领域,但神经网络模型本身存在易受到对抗样本攻击的缺点,如在图像分类中,只需在原始图片中添加微小的对抗扰动生成对抗样本,就可以轻易欺骗神经网络分类模型,这给许多领域的应用安全带来严重的威胁。因此,研究如何提高神经网络分类模型对对抗样本攻击的防御能力成为深度学习安全领域的研究热点。目前常用的对抗样本攻击防御方法往往只侧重于提高模型对对抗样本分类的鲁棒性,或者只侧重于检测拦截对抗样本,而对抗训练需要收集大量对抗样本,且难以防御新类型的对抗样本攻击,对于使用额外的分类器去检测对抗样本的方法,则存在着易受到二次攻击等缺点。针对这些问题,提出一种基于孪生神经网络结构的对抗样本攻击动态防御方法,利用孪生结构可比较两个输入相似性的特点,从孪生神经网络两侧的预测差异着手,检测图片在动态滤波前后是否存在不同的攻击效果,从而筛选出带有动态扰动的对抗样本。实验结果表明,在没有收集特定种类的对抗样本进行训练的情况下,该方法对多种对抗样本攻击取得了良好的通用防御效果,其中在FGSM对抗样本测试集上的防御准确率达到95.35%,在DeepFool和JSMA对抗样本测试集上的防御准确...     

针对卷积神经网络流量分类器的对抗样本攻击防御

随着深度学习的兴起,深度神经网络被成功应用于多种领域,但研究表明深度神经网络容易遭到对抗样本的恶意攻击.作为深度神经网络之一的卷积神经网络(CNN)目前也被成功应用于网络流量的分类问题,因此同样会遭遇对抗样本的攻击.为提高CNN网络流量分类器防御对抗样本的攻击,本文首先提出批次对抗训练方法,利用训练过程反向传播误差的特...     

基于图像着色的无限制攻击

深度学习目前被广泛应用于计算机视觉、机器人技术和自然语言处理等领域。然而,已有研究表明,深度神经网络在对抗样本面前很脆弱,一个精心制作的对抗样本就可以使深度学习模型判断出错。现有的研究大多通过产生微小的Lp范数扰动来误导分类器的对抗性攻击,但是取得的效果并不理想。本文提出一种新的对抗攻击方法——图像着色攻击,将输入样本转为灰度图,设计一种灰度图上色方法指导灰度图着色,最终利用经过上色的图像欺骗分类器实现无限制攻击。实验表明,这种方法制作的对抗样本在欺骗几种最先进的深度神经网络图像分类器方面有不俗表现,并且通过了人类感知研究测试。     

多媒体模型对抗攻防综述

近年来,随着以深度学习为代表的人工智能技术的快速发展和广泛应用,人工智能正深刻地改变着社会生活的各方面.然而,人工智能模型也容易受到来自精心构造的"对抗样本"的攻击.通过在干净的图像或视频样本上添加微小的人类难以察觉的扰动,就能够生成可以欺骗模型的样本,进而使多媒体模型在推理过程中做出错误决策,为多媒体模型的实际应用部...     

深度学习中的对抗攻击与防御

对抗样本是被添加微小扰动的原始样本,用于误导深度学习模型的输出决策,严重威胁到系统的可用性,给系统带来极大的安全隐患。为此,详细分析了当前经典的对抗攻击手段,主要包括白盒攻击和黑盒攻击。根据对抗攻击和防御的发展现状,阐述了近年来国内外的相关防御策略,包括输入预处理、提高模型鲁棒性、恶意检测。最后,给出了未来对抗攻击与防御领域的研究方向。     

基于局部邻域滤波的对抗攻击检测方法

目前,卷积神经网络在语音识别、图像分类、自然语言处理、语义分割等方面都取得了良好的应用成果,是计算机应用研究最广泛的技术之一。但研究人员发现当向输入中加入特定的微小扰动时,卷积神经网络(CNN)模型容易产生错误的预测结果,这类含有微小扰动的图像被称为对抗样本,CNN模型易受对抗样本的攻击。对抗样本的出现可能会对安全敏感的领域带来潜在的应用威胁。已有较多的防御方法被提出,其中许多方法对特定攻击方法具有较好的防御效果,但由于实际应用中无法知晓攻击者采用的攻击方式,因此提出不依赖攻击方法的通用防御策略是一个值得研究的问题。为有效地防御各类对抗攻击,本文提出了基于局部邻域滤波的对抗攻击检测方法。首先,通过像素间的相关性对图像进行RGB空间切割。其次将相似的图像块组成立方体。然后,基于立方体中邻域的局部滤波进行去噪,即:通过邻域立方体的3个块得到邻域数据的3维标准差,用于Wiener滤波。再将滤波后的块组映射回RGB彩色空间。最后,将未知样本和它的滤波样本分别作为输入,对模型的分类进行一致性检验,如果模型对他们的分类不相同,则该未知样本为对抗样本,否则为良性样本。实验表明本文检测方法在不同模型中...     

基于深度神经网络的对抗样本技术综述

深度学习在完成一些难度极高的任务中展现了惊人的能力,但深度神经网络难以避免对刻意添加了扰动的样本（称为“对抗样本”）进行错误的分类。“对抗样本”逐渐成为深度学习安全领域的研究热点。研究对抗样本产生的原因和作用机理,有助于从安全性和鲁棒性方面优化模型。在掌握对抗样本原理的基础上,对经典对抗样本攻击方法进行分类总结,根据不同的攻击原理将攻击方法分为白盒攻击与黑盒攻击两个大类,并引入非特定目标攻击、特定目标攻击、全像素添加扰动攻击和部分像素添加扰动攻击等细类。在ImageNet数据集上对几种典型攻击方法进行复现,通过实验结果,比较几种生成方法的优缺点,分析对抗样本生成过程中的突出问题。并对对抗样本的应用和发展作了展望。