一种融合对抗层的图像通用对抗扰动生成算法

随着深度神经网络的广泛应用,其安全性问题日益突出.研究图像对抗样本生成可以提升神经网络的安全性.针对现有通用对抗扰动算法攻击成功率不高的不足,提出一种在深度神经网络中融合对抗层的图像通用对抗扰动生成算法.首先,在神经网络中引入对抗层的概念,提出一种基于对抗层的图像对抗样本产生框架;随后,将多种典型的基于梯度的对抗攻击算法融入到对抗层框架,理论分析了所提框架的可行性和可扩展性;最后,在所提框架下,给出了一种基于RMSprop的通用对抗扰动产生算法.在多个图像数据集上训练了5种不同结构的深度神经网络分类模型,并将所提对抗层算法和4种典型的通用对抗扰动算法分别用于攻击这些分类模型,比较它们的愚弄率.对比实验表明,所提通用对抗扰动生成算法具有兼顾攻击成功率和攻击效率的优点,只需要1%的样本数据就可以获得较高的攻击成率.     

Simplex噪声区域中目标特征的对抗攻击算法

针对当前黑盒环境中,主流的图像对抗攻击算法在有限的目标模型访问查询次数条件下攻击准确率低的问题,提出一种基于目标特征和限定区域采样的目标攻击算法.首先根据原始图像和目标图像生成初始对抗样本;然后在Simplex-mean噪声区域中进行扰动采样,并根据对抗样本和原始图像差异度以及目标特征区域位置决定扰动大小;最后将扰动作...     

一种基于局部扰动的图像对抗样本生成方法

近年来, 随着人工智能的研究和发展, 深度学习被广泛应用。深度学习在自然语言处理、计算机视觉等多个领域表现出良好的效果。特别是计算机视觉方面, 在图像识别和图像分类中, 深度学习具备非常高的准确性。然而越来越多的研究表明, 深度神经网络存在着安全隐患, 其中就包括对抗样本攻击。对抗样本是一种人为加入特定扰动的数据样本, 这种特殊样本在传递给已训练好的模型时, 神经网络模型会输出与预期结果不同的结果。在安全性要求较高的场景下, 对抗样本显然会对采用深度神经网络的应用产生威胁。目前国内外对于对抗样本的研究主要集中在图片领域, 图像对抗样本就是在图片中加入特殊信息的图片数据, 使基于神经网络的图像分类模型做出错误的分类。已有的图像对抗样本方法主要采用全局扰动方法,即将这些扰动信息添加在整张图片上。相比于全局扰动, 局部扰动将生成的扰动信息添加到图片的非重点区域, 从而使得对抗样本隐蔽性更强, 更难被人眼发现。本文提出了一种生成局部扰动的图像对抗样本方法。该方法首先使用 Yolo 目标检测方法识别出图片中的重点位置区域, 然后以 MIFGSM 方法为基础, 结合 Curls 方法中提到的先梯度下降再梯度上升的思想,在非重点区域添加扰动信息, 从而生成局部扰动的对抗样本。实验结果表明, 在对抗扰动区域减小的情况下可以实现与全局扰动相同的攻击成功率。     

基于深度神经网络的对抗样本技术综述

深度学习在完成一些难度极高的任务中展现了惊人的能力,但深度神经网络难以避免对刻意添加了扰动的样本（称为“对抗样本”）进行错误的分类。“对抗样本”逐渐成为深度学习安全领域的研究热点。研究对抗样本产生的原因和作用机理,有助于从安全性和鲁棒性方面优化模型。在掌握对抗样本原理的基础上,对经典对抗样本攻击方法进行分类总结,根据不同的攻击原理将攻击方法分为白盒攻击与黑盒攻击两个大类,并引入非特定目标攻击、特定目标攻击、全像素添加扰动攻击和部分像素添加扰动攻击等细类。在ImageNet数据集上对几种典型攻击方法进行复现,通过实验结果,比较几种生成方法的优缺点,分析对抗样本生成过程中的突出问题。并对对抗样本的应用和发展作了展望。     

基于Rectified Adam和颜色不变性的对抗迁移攻击

深度神经网络在物体检测、图像分类、自然语言处理、语音识别等众多领域上得到广泛应用.然而,深度神经网络很容易受到对抗样本(即在原有样本上施加人眼无法察觉的微小扰动)的攻击,而且相同的扰动可以跨模型、甚至跨任务地欺骗多个分类器.对抗样本这种跨模型迁移特性,使得深度神经网络在实际生活的应用受到了很大限制.对抗样本对神经网络的威胁,激发了研究者对对抗攻击的研究兴趣.虽然研究者们已提出了不少对抗攻击方法,但是大多数这些方法(特别是黑盒攻击方法)的跨模型的攻击能力往往较差,尤其是对经过对抗训练、输入变换等的防御模型.为此,提出了一种提高对抗样本可迁移性的方法:RLI-CI-FGSM. RLI-CI-FGSM是一种基于迁移的攻击方法,在替代模型上,使用基于梯度的白盒攻击RLI-FGSM生成对抗样本,同时使用CIM扩充源模型,使RLI-FGSM能够同时攻击替代模型和扩充模型.具体而言,RLI-FGSM算法将Radam优化算法与迭代快速符号下降法相结合,并利用目标函数的二阶导信息来生成对抗样本,避免优化算法陷入较差的局部最优.基于深度神经网络具有一定的颜色变换不变性,CIM算法通过优化对颜色变换图像集合...     

对抗样本生成技术综述

如今,深度学习已被广泛应用于图像分类和图像识别的问题中,取得了令人满意的实际效果,成为许多人工智能应用的关键所在.在对于模型准确率的不断探究中,研究人员在近期提出了“对抗样本”这一概念.通过在原有样本中添加微小扰动的方法,成功地大幅度降低原有分类深度模型的准确率,实现了对于深度学习的对抗目的,同时也给深度学习的攻方提供了新的思路,对如何开展防御提出了新的要求.在介绍对抗样本生成技术的起源和原理的基础上,对近年来有关对抗样本的研究和文献进行了总结,按照各自的算法原理将经典的生成算法分成两大类——全像素添加扰动和部分像素添加扰动.之后,以目标定向和目标非定向、黑盒测试和白盒测试、肉眼可见和肉眼不可见的二级分类标准进行二次分类.同时,使用MNIST数据集对各类代表性的方法进行了实验验证,以探究各种方法的优缺点.最后总结了生成对抗样本所面临的挑战及其可以发展的方向,并就该技术的发展前景进行了探讨.     

面向深度学习可解释性的对抗攻击算法

针对深度神经网络(DNN)中的可解释性导致模型信息泄露的问题,证明了在白盒环境下利用Grad-CAM解释方法产生对抗样本的可行性,并提出一种无目标的黑盒攻击算法——动态遗传算法.该算法首先根据解释区域与扰动像素位置的变化关系改进适应度函数,然后通过多轮的遗传算法在不断减少扰动值的同时递增扰动像素的数量,而且每一轮的结果...     

基于生成式对抗网络的通用性对抗扰动生成方法

深度神经网络在图像分类应用中具有很高的准确率,然而,当在原始图像中添加微小的对抗扰动后,深度神经网络的分类准确率会显著下降。研究表明,对于一个分类器和数据集存在一种通用性对抗扰动,其可对大部分原始图像产生攻击效果。文章设计了一种通过生成式对抗网络来制作通用性对抗扰动的方法。通过生成式对抗网络的训练,生成器可制作出通用性对抗扰动,将该扰动添加到原始图像中制作对抗样本,从而达到攻击的目的。文章在CIFAR-10数据集上进行了无目标攻击、目标攻击和迁移性攻击实验。实验表明,生成式对抗网络生成的通用性对抗扰动可在较低范数约束下达到89%的攻击成功率,且利用训练后的生成器可在短时间内制作出大量的对抗样本,利于深度神经网络的鲁棒性研究。     

基于稀疏扰动的对抗样本生成方法

近年来,深度神经网络(deep neural network, DNN)在图像领域取得了巨大的进展.然而研究表明, DNN容易受到对抗样本的干扰,表现出较差的鲁棒性.通过生成对抗样本攻击DNN,可以对DNN的鲁棒性进行评估,进而采取相应的防御方法提高DNN的鲁棒性.现有对抗样本生成方法依旧存在生成扰动稀疏性不足、扰动幅度过大等缺陷.提出一种基于稀疏扰动的对抗样本生成方法——SparseAG (sparse perturbation based adversarial example generation),该方法针对图像样本能够生成较为稀疏并且幅度较小的扰动.具体来讲, SparseAG方法首先基于损失函数关于输入图像的梯度值迭代地选择扰动点来生成初始对抗样本,每一次迭代按照梯度值由大到小的顺序确定新增扰动点的候选集,选择使损失函数值最小的扰动添加到图像中.其次,针对初始扰动方案,通过一种扰动优化策略来提高对抗样本的稀疏性和真实性,基于每个扰动的重要性来改进扰动以跳出局部最优,并进一步减少冗余扰动以及冗余扰动幅度.选取CIFAR-10数据集以及ImageNet数据集,在目标攻击以及非目...     

聚焦图像对抗攻击算法PS-MIFGSM

针对目前主流对抗攻击算法通过扰动全局图像特征导致攻击隐蔽性降低的问题,提出一种聚焦图像的无目标攻击算法——PS-MIFGSM。首先,通过Grad-CAM算法捕获卷积神经网络(CNN)在分类任务中对图像的重点关注区域;然后,使用MI-FGSM攻击分类网络,生成对抗扰动,并且将扰动作用于图像的重点关注区域,而图像的非关注区域保持不变,从而生成新的对抗样本。在实验部分,以三种图像分类模型Inception_v1、Resnet_v1和Vgg_16为基础,对比了PS-MIFGSM和MI-FGSM两种方法分别进行单模型攻击和集合模型攻击的效果。实验结果表明,PSMIFGSM能够在攻击成功率不变的同时,有效降低对抗样本与真实样本的差异大小。     

面向鲁棒学习的对抗训练技术综述

深度学习在众多领域取得了巨大成功。然而，其强大的数据拟合能力隐藏着不可解释的“捷径学习”现象，从而引发深度模型脆弱、易受攻击的安全隐患。众多研究表明，攻击者向正常数据中添加人类无法察觉的微小扰动，便可能造成模型产生灾难性的错误输出，这严重限制了深度学习在安全敏感领域的应用。对此，研究者提出了各种对抗性防御方法。其中，对抗训练是典型的启发式防御方法。它将对抗攻击与对抗防御注入一个框架，一方面通过攻击已有模型学习生成对抗样本，另一方面利用对抗样本进一步开展模型训练，从而提升模型的鲁棒性。为此，本文围绕对抗训练，首先，阐述了对抗训练的基本框架；其次，对对抗训练框架下的对抗样本生成、对抗模型防御性训练等方法与关键技术进行分类梳理；然后，对评估对抗训练鲁棒性的数据集及攻击方式进行总结；最后，通过对当前对抗训练所面临挑战的分析，本文给出了其未来的几个发展方向。     

面向对抗样本攻击的移动目标防御

深度神经网络已被成功应用于图像分类,但研究表明深度神经网络容易受到对抗样本的攻击。提出一种移动目标防御方法,通过 Bayes-Stackelberg 博弈策略动态切换模型,使攻击者无法持续获得一致信息,从而阻断其构建对抗样本。成员模型的差异性是提高移动目标防御效果的关键,将成员模型之间的梯度一致性作为度量,构建新的损失函数进行训练,可有效提高成员模型之间的差异性。实验结果表明,所提出的方法能够提高图像分类系统的移动目标防御性能,显著降低对抗样本的攻击成功率。     

针对卷积神经网络流量分类器的对抗样本攻击防御

随着深度学习的兴起,深度神经网络被成功应用于多种领域,但研究表明深度神经网络容易遭到对抗样本的恶意攻击。作为深度神经网络之一的卷积神经网络(CNN)目前也被成功应用于网络流量的分类问题,因此同样会遭遇对抗样本的攻击。为提高CNN网络流量分类器防御对抗样本的攻击,本文首先提出批次对抗训练方法,利用训练过程反向传播误差的特点,在一次反向传播过程中同时完成样本梯度和参数梯度的计算,可以明显提高训练效率。同时,由于训练用的对抗样本是在目标模型上生成,因此可有效防御白盒攻击;为进一步防御黑盒攻击,克服对抗样本的可转移性,提出增强对抗训练方法。利用多个模型生成样本梯度不一致的对抗样本,增加对抗样本的多样性,提高防御黑盒攻击的能力。通过真实流量数据集USTC-TFC2016上的实验,我们生成对抗样本的网络流量进行模拟攻击,结果表明针对白盒攻击,批次对抗训练可使对抗样本的分类准确率从17.29%提高到75.37%;针对黑盒攻击,增强对抗训练可使对抗样本的分类准确率从26.37%提高到68.39%。由于深度神经网络的黑箱特性,其工作机理和对抗样本产生的原因目前没有一致的认识。下一步工作对CNN的脆弱性机...     

一种面向人脸活体检测的对抗样本生成算法

近年来,基于深度卷积神经网络的人脸活体检测技术取得了较好的性能.然而,深度神经网络被证明容易受到对抗样本的攻击,影响了人脸系统的安全性.为了建立更好的防范机制,需充分研究活体检测任务对抗样本的生成机理.相对于普通分类问题,活体检测任务具有类间距离小,且扰动操作难度大等特性.在此基础上,提出了基于最小扰动维度和人眼视觉特性的活体检测对抗样本生成算法,将扰动集中在少数几个维度上,并充分考虑人眼的视觉连带集中特性,加入扰动点的间距约束,以便最后生成的对抗样本更不易被人类察觉.该方法只需平均改变输入向量总维度的1.36%,即可成功地欺骗网络,使网络输出想要的分类结果.通过志愿者的辨认,该方法的人眼感知率比DeepFool方法降低了20%.     

基于图像识别的对抗鲁棒性评测系统

深度神经网络的对抗鲁棒性研究在图像识别领域具有重要意义, 相关研究聚焦于对抗样本的生成和防御模型鲁棒性增强, 但现有工作缺少对其进行全面和客观的评估. 因而, 一个有效的基准来评估图像分类任务的对抗鲁棒性的系统被建立. 本系统功能主要为榜单评测展示、对抗算法评测以及系统优化管理, 同时利用计算资源调度和容器调度保证评测任务的进行. 本系统不仅能够为多种攻击和防御算法提供动态导入接口, 还能够从攻防算法的相互对抗过程中全方面评测现有算法优劣性.     

基于熵及随机擦除的针对目标检测物理攻击的防御

物理攻击通过在图像中添加受扰动的对抗块使得基于深度神经网络(DNNs)的应用失效,对DNNs的安全性带来严重的挑战。针对物理攻击方法生成的对抗块与真实图像块之间的信息分布不同的特点,本文提出了能有效避免现有物理攻击的防御算法。该算法由基于熵的检测组件(Entropy-basedDetectionComponent,EDC)和随机擦除组件(RandomErasingComponent,REC)两部分组成。EDC组件采用熵值度量检测对抗块并对其灰度替换。该方法不仅能显著降低对抗块对模型推理的影响,而且不依赖大规模的训练数据。REC模块改进了深度学习通用训练范式。利用该方法训练得到的深度学习模型,在不改变现有网络结构的前提下,不仅能有效防御现有物理攻击,而且能显著提升图像分析效果。上述两个组件都具有较强的可转移性且不需要额外的训练数据,它们的有机结合构成了本文的防御策略。实验表明,本文提出的算法不仅能有效的防御针对目标检测的物理攻击(在Pascal VOC 2007上的平均精度(m AP)由31.3%提升到64.0%及在Inria数据集上由19.0%提升到41.0%),并且证明算法具有较好的...     

基于模型的深度学习通信信号鲁棒识别算法

深度学习现在是计算机视觉和自然语言处理的热门话题.在许多应用中,深度神经网络(DNN)的性能都优于传统的方法,并且已经成功应用于调制分类和无线电信号表示等任务的学习.近几年研究发现深度神经网络极易受到对抗性攻击,对“对抗性示例”缺乏鲁棒性.笔者就神经网络的通信信号识别算法的鲁棒性问题,将经过PGD攻击的数据看作基于模型...     

基于条件对抗生成网络的对抗样本防御方法

人工智能目前在诸多领域均得到较好应用,然而通过对抗样本会使神经网络模型输出错误的分类。研究提升神经网络模型鲁棒性的同时如何兼顾算法运行效率,对于深度学习在现实中的落地使用意义重大。针对上述问题,本文提出一种基于条件对抗生成网络的对抗样本防御方法Defense-CGAN。首先使用对抗生成网络生成器根据输入噪声与标签信息生成重构图像,然后计算重构前后图像均方误差,对比选取重构图像馈送到分类器进行分类从而去除对抗性扰动,实现对抗样本防御,最后,在MNIST数据集上进行大量实验。实验结果表明本文提出的防御方法更加具备通用性,能够防御多种对抗攻击,且时间消耗低,可应用于对时间要求极其苛刻的实际场景中。     

Transfer-based Adversarial Attack with Rectified Adam and Color Invariance

Deep Neural Networks (DNNs) have been widely used in object detection, image classification, natural language processing, speech recognition, and other fields. Nevertheless, DNNs are vulnerable to adversarial examples which are formed by adding imperceptible perturbations to original samples. Moreover, the same perturbation can deceive multiple classifiers across models and even across tasks. The cross-model transfer characteristics of adversarial examples limit the application of DNNs in real life, and the threat of adversarial examples to DNNs has stimulated researchers'' interest in adversarial attacks. Recently, researchers have proposed several adversarial attack methods, but most of these methods (especially the black-box attack) have poor cross-model attack ability for defense models with adversarial training or input transformation in particular. Therefore, this study proposes a method to improve the transferability of adversarial examples, namely, RLI-CI-FGSM. RLI-CI-FGSM is a transfer-based attack method, which employs the gradient-based white-box attack RLI-FGSM to generate adversarial examples on the substitution model and adopts CIM to expand the source model so that RLI-FGSM can attack both the substitution model and the extended model at the same time. Specifically, RLI-FGSM integrates the RAdam optimization algorithm into the Iterative Fast Gradient Sign Method (I-FGSM) and makes use of the second-derivative information of the objective function to generate adversarial examples, which prevents the optimization algorithm from falling into a poor local optimum. Based on the color invariance property of DNNs, CIM optimizes the perturbations of image sets with color transformation to generate adversarial examples that can be transferred and are less sensitive to the attacked white-box model. Experimental results show that the proposed method has a high success rate on both normal and adversarial network models.