基于决策的目标检测器黑盒对抗攻击方法

深度神经网络在目标检测领域有大量的应用已经落地,然而由于深度神经网络本身存在不可解释性等技术上的不足,导致其容易受到外界的干扰而失效,充分研究对抗攻击方法有助于挖掘深度神经网络易失效的原因以提升其鲁棒性;目前大多数对抗攻击方法都需要使用模型的梯度信息或模型输出的置信度信息,而工业界应用的目标检测器通常不会完全公开其内部信息和置信度信息,导致现有的白盒攻击方法不再适用;为了提升工业目标检测器的鲁棒性,提出一种基于决策的目标检测器黑盒对抗攻击方法,其特点是不需要使用模型的梯度信息和置信度信息,仅利用目标检测器输出的检测框位置信息,策略是从使目标检测器定位错误的角度进行攻击,通过沿着对抗边界进行迭代搜索的方法寻找最优对抗样本从而实现高效的攻击;实验结果表明所提出的方法使典型目标检测器Faster R-CNN在VOC2012数据集上的mAR从0.636降低到0.131,mAP从0.801降低到0.071,有效降低了目标检测器的检测能力,成功实现了针对目标检测器的黑盒攻击。     

聚焦图像对抗攻击算法PS-MIFGSM

针对目前主流对抗攻击算法通过扰动全局图像特征导致攻击隐蔽性降低的问题,提出一种聚焦图像的无目标攻击算法——PS-MIFGSM。首先,通过Grad-CAM算法捕获卷积神经网络(CNN)在分类任务中对图像的重点关注区域;然后,使用MI-FGSM攻击分类网络,生成对抗扰动,并且将扰动作用于图像的重点关注区域,而图像的非关注区域保持不变,从而生成新的对抗样本。在实验部分,以三种图像分类模型Inception_v1、Resnet_v1和Vgg_16为基础,对比了PS-MIFGSM和MI-FGSM两种方法分别进行单模型攻击和集合模型攻击的效果。实验结果表明,PSMIFGSM能够在攻击成功率不变的同时,有效降低对抗样本与真实样本的差异大小。     

基于生成对抗网络的目标检测黑盒迁移攻击算法

目标检测被广泛应用到自动驾驶、工业、医疗等各个领域. 利用目标检测算法解决不同领域中的关键任务逐渐成为主流. 然而基于深度学习的目标检测模型在对抗样本攻击下, 模型的鲁棒性存在严重不足, 通过加入微小扰动构造的对抗样本很容易使模型预测出错. 这极大地限制了目标检测模型在关键安全领域的应用. 在实际应用中的模型普遍是黑盒模型, 现有的针对目标检测模型的黑盒攻击相关研究不足, 存在鲁棒性评测不全面, 黑盒攻击成功率较低, 攻击消耗资源较高等问题. 针对上述问题, 提出基于生成对抗网络的目标检测黑盒攻击算法, 所提算法利用融合注意力机制的生成网络直接输出对抗扰动, 并使用替代模型的损失和所提的类别注意力损失共同优化生成网络参数, 可以支持定向攻击和消失攻击两种场景. 在Pascal VOC数据集和MS COCO数据集上的实验结果表明, 所提方法比目前攻击方法的黑盒迁移攻击成功率更高, 并且可以在不同数据集之间进行迁移攻击.     

融合高斯噪声和翻转策略的对抗攻击

在对抗攻击研究领域,黑盒攻击相比白盒攻击更具挑战性和现实意义.目前实现黑盒攻击的主流方法是利用对抗样本的迁移性,然而现有大多数方法所得的对抗样本在黑盒攻击时效果不佳.本文提出了一种基于高斯噪声和翻转组合策略方法来增强对抗样本的迁移性,进而提升其黑盒攻击性能.同时,该方法可与现有基于梯度的攻击方法相结合形成更强的对抗攻击...     

基于深度强化学习的黑盒对抗攻击算法

针对图像识别领域中的黑盒对抗攻击问题,基于强化学习中DDQN框架和Dueling网络结构提出一种黑盒对抗攻击算法.智能体通过模仿人类调整图像的方式生成对抗样本,与受攻击模型交互获得误分类结果,计算干净样本和对抗样本的结构相似性后获得奖励.攻击过程中仅获得了受攻击模型的标签输出信息.实验结果显示,攻击在CIFAR10和C...     

基于腐蚀批归一化层的对抗攻击算法

目前在对抗样本生成研究领域,基于梯度的攻击方法由于生成速度快和资源消耗低而得到广泛应用。然而,现有大多数基于梯度的攻击方法所得对抗样本的黑盒攻击成功率并不高。最强基于梯度的攻击方法在攻击6个先进防御黑盒模型时的平均成功率只有78.2%。为此,提出一种基于腐蚀深度神经网络架构中批归一化层的对抗攻击算法来改进现有基于梯度的攻击方法,以实现所得对抗样本的黑盒攻击成功率进一步提升。在一个ImageNet兼容数据集上做了大量实验,实验结果表明所提出的算法在单模型攻击和集成模型攻击中均能与现有基于梯度的攻击方法有效组合,实现在几乎不增加额外计算开销条件下增强对抗样本的攻击性能。此外,所提算法还使得最强基于梯度的攻击方法针对6个先进防御黑盒模型的平均攻击成功率提升了9.0个百分点。     

基于快速边界攻击的黑盒对抗样本生成方法

深度学习技术在不同领域有着广泛的应用, 然而一个训练好的深度学习模型很容易受到干扰而得出错误的结果, 从而引发严重的安全问题. 为了检验深度学习模型的抗干扰性, 提高模型的安全性和鲁棒性, 有必要使用对抗样本进行对抗评估和对抗训练. 有目标的黑盒对抗样本的生成方法具有较好的实用性, 是该领域的研究热点之一. 有目标的黑盒对抗样本生成的难点在于, 如何在保证攻击成功率的前提下提高对抗样本的生成效率. 为了解决这一难点, 本文提出了一种基于快速边界攻击的有目标攻击样本生成方法. 该方法包括线上的搜索和面上的搜索两步. 线上的搜索由单侧折半法来完成, 用于提高搜索效率; 面上的搜索通过自适应调节搜索半径的随机搜索完成, 用于提高搜索的广度. 通过对5组图片的实验结果验证了方法的可行性.     

基于模型间迁移性的黑盒对抗攻击起点提升方法

为高效地寻找基于决策的黑盒攻击下的对抗样本,提出一种利用模型之间的迁移性提升对抗起点的方法.通过模型之间的迁移性来循环叠加干扰图像,生成初始样本作为新的攻击起点进行边界攻击,实现基于决策的无目标黑盒对抗攻击和有目标黑盒对抗攻击.实验结果表明,无目标攻击节省了23％的查询次数,有目标攻击节省了17％的查询次数,且整个黑盒...     

面向空间视觉目标检测的对抗攻击与防御算法

随着航天航空技术的发展,空间目标视觉检测技术作为航天器智能在轨服务的重要技术支撑,获得了国内外研究学者的广泛关注.考虑到太空中恶劣的光照条件以及未知的动态场景,空间目标视觉检测的鲁棒性问题亟待深入研究.首先,提出一种黑盒迁移实例攻击方法,将图像识别领域的对抗样本攻击方法应用于空间目标检测任务,实现对EfficientDet目标检测模型的欺骗攻击;同时,提出一种协同防御策略,将对抗训练和SRMNet去噪器相结合,有效增强目标检测模型的鲁棒性.实验结果表明,所提出防御策略不仅能够成功抵御对抗样本攻击,还能取得高于原始空间目标检测模型的检测精度.     

基于特征图关注区域的目标检测对抗攻击方法

目标检测在无人驾驶、监控安防等领域应用广泛,但研究发现目标检测系统易受对抗样本影响导致性能下降,对其应用安全造成了巨大危险。当前的目标检测对抗攻击方法大多针对某一类目标检测模型进行攻击,普遍存在迁移能力弱的问题。为解决上述问题,基于生成对抗网络提出了一种目标检测对抗攻击方法,该方法针对检测模型中常用的非极大值抑制机制和检测模型的特征图关注区域设计了位置回归攻击损失,通过该损失优化攻击,能够使模型的非极大值抑制机制失效,引导生成的候选框偏离预测的关注区域,导致模型预测失败。在VOC数据集上进行实验,该方法能够有效攻击Faster-RCNN、SSD300、SSD512、Retinanet、YOLOv5、One-Net等多种类型的目标检测模型,有效提升了目标检测攻击方法的迁移能力。     

基于龙格库塔法的对抗攻击方法

深度神经网络在许多领域中取得了显著的成果, 但相关研究结果表明, 深度神经网络很容易受到对抗样本的影响. 基于梯度的攻击是一种流行的对抗攻击, 引起了人们的广泛关注. 研究基于梯度的对抗攻击与常微分方程数值解法之间的关系, 并提出一种新的基于常微分方程数值解法-龙格库塔法的对抗攻击方法. 根据龙格库塔法中的预测思想, 首先在原始样本中添加扰动构建预测样本, 然后将损失函数对于原始输入样本和预测样本的梯度信息进行线性组合, 以确定生成对抗样本中需要添加的扰动. 不同于已有的方法, 所提出的方法借助于龙格库塔法中的预测思想来获取未来的梯度信息(即损失函数对于预测样本的梯度), 并将其用于确定所要添加的对抗扰动. 该对抗攻击具有良好的可扩展性, 可以非常容易地集成到现有的所有基于梯度的攻击方法. 大量的实验结果表明, 相比于现有的先进方法, 所提出的方法可以达到更高的攻击成功率和更好的迁移性.     

Transfer-based Adversarial Attack with Rectified Adam and Color Invariance

Deep Neural Networks (DNNs) have been widely used in object detection, image classification, natural language processing, speech recognition, and other fields. Nevertheless, DNNs are vulnerable to adversarial examples which are formed by adding imperceptible perturbations to original samples. Moreover, the same perturbation can deceive multiple classifiers across models and even across tasks. The cross-model transfer characteristics of adversarial examples limit the application of DNNs in real life, and the threat of adversarial examples to DNNs has stimulated researchers'' interest in adversarial attacks. Recently, researchers have proposed several adversarial attack methods, but most of these methods (especially the black-box attack) have poor cross-model attack ability for defense models with adversarial training or input transformation in particular. Therefore, this study proposes a method to improve the transferability of adversarial examples, namely, RLI-CI-FGSM. RLI-CI-FGSM is a transfer-based attack method, which employs the gradient-based white-box attack RLI-FGSM to generate adversarial examples on the substitution model and adopts CIM to expand the source model so that RLI-FGSM can attack both the substitution model and the extended model at the same time. Specifically, RLI-FGSM integrates the RAdam optimization algorithm into the Iterative Fast Gradient Sign Method (I-FGSM) and makes use of the second-derivative information of the objective function to generate adversarial examples, which prevents the optimization algorithm from falling into a poor local optimum. Based on the color invariance property of DNNs, CIM optimizes the perturbations of image sets with color transformation to generate adversarial examples that can be transferred and are less sensitive to the attacked white-box model. Experimental results show that the proposed method has a high success rate on both normal and adversarial network models.     

基于Rectified Adam和颜色不变性的对抗迁移攻击

深度神经网络在物体检测、图像分类、自然语言处理、语音识别等众多领域上得到广泛应用.然而,深度神经网络很容易受到对抗样本(即在原有样本上施加人眼无法察觉的微小扰动)的攻击,而且相同的扰动可以跨模型、甚至跨任务地欺骗多个分类器.对抗样本这种跨模型迁移特性,使得深度神经网络在实际生活的应用受到了很大限制.对抗样本对神经网络的威胁,激发了研究者对对抗攻击的研究兴趣.虽然研究者们已提出了不少对抗攻击方法,但是大多数这些方法(特别是黑盒攻击方法)的跨模型的攻击能力往往较差,尤其是对经过对抗训练、输入变换等的防御模型.为此,提出了一种提高对抗样本可迁移性的方法:RLI-CI-FGSM. RLI-CI-FGSM是一种基于迁移的攻击方法,在替代模型上,使用基于梯度的白盒攻击RLI-FGSM生成对抗样本,同时使用CIM扩充源模型,使RLI-FGSM能够同时攻击替代模型和扩充模型.具体而言,RLI-FGSM算法将Radam优化算法与迭代快速符号下降法相结合,并利用目标函数的二阶导信息来生成对抗样本,避免优化算法陷入较差的局部最优.基于深度神经网络具有一定的颜色变换不变性,CIM算法通过优化对颜色变换图像集合...     

一种基于进化策略和注意力机制的黑盒对抗攻击算法

深度神经网络在许多计算机视觉任务中都取得了优异的结果,并在不同领域中得到了广泛应用.然而研究发现,在面临对抗样本攻击时,深度神经网络表现得较为脆弱,严重威胁着各类系统的安全性.在现有的对抗样本攻击中,由于黑盒攻击具有模型不可知性质和查询限制等约束,更接近实际的攻击场景.但现有的黑盒攻击方法存在攻击效率较低与隐蔽性弱的缺陷,因此提出了一种基于进化策略的黑盒对抗攻击方法.该方法充分考虑了攻击过程中梯度更新方向的分布关系,自适应学习较优的搜索路径,提升攻击的效率.在成功攻击的基础上,结合注意力机制,基于类间激活热力图将扰动向量分组和压缩优化,减少在黑盒攻击过程中积累的冗余扰动,增强优化后的对抗样本的不可感知性.通过与其他4种最新的黑盒对抗攻击方法（AutoZOOM、QL-attack、FD-attak、D-based attack）在7种深度神经网络上进行对比,验证了该方法的有效性与鲁棒性.     

车牌识别系统的黑盒对抗攻击

深度神经网络(Deep neural network, DNN)作为最常用的深度学习方法之一, 广泛应用于各个领域. 然而, DNN容易受到对抗攻击的威胁, 因此通过对抗攻击来检测应用系统中DNN的漏洞至关重要. 针对车牌识别系统进行漏洞检测, 在完全未知模型内部结构信息的前提下展开黑盒攻击, 发现商用车牌识别系统存在安全漏洞. 提出基于精英策略的非支配排序遗传算法(NSGA-II)的车牌识别黑盒攻击方法, 仅获得输出类标及对应置信度, 即可产生对环境变化较为鲁棒的对抗样本, 而且该算法将扰动控制为纯黑色块, 可用淤泥块代替, 具有较强的迷惑性. 为验证本方法在真实场景的攻击可复现性, 分别在实验室和真实环境中对车牌识别系统展开攻击, 并且将对抗样本用于开源的商业软件中进行测试, 验证了攻击的迁移性.     

图像分类模型的对抗样本攻防研究综述

深度学习模型在图像分类领域的能力已经超越了人类,但不幸的是,研究发现深度学习模型在对抗样本面前非常脆弱,这给它在安全敏感的系统中的应用带来了巨大挑战。图像分类领域对抗样本的研究工作被梳理和总结,以期为进一步地研究该领域建立基本的知识体系,介绍了对抗样本的形式化定义和相关术语,介绍了对抗样本的攻击和防御方法,特别是新兴的可验证鲁棒性的防御,并且讨论了对抗样本存在可能的原因。为了强调在现实世界中对抗攻击的可能性,回顾了相关的工作。在梳理和总结文献的基础上,分析了对抗样本的总体发展趋势和存在的挑战以及未来的研究展望。     

基于图像翻转变换的对抗样本生成方法

面对对抗样本的攻击,深度神经网络是脆弱的。对抗样本是在原始输入图像上添加人眼几乎不可见的噪声生成的,从而使深度神经网络误分类并带来安全威胁。因此在深度神经网络部署前,对抗性攻击是评估模型鲁棒性的重要方法。然而,在黑盒情况下,对抗样本的攻击成功率还有待提高,即对抗样本的可迁移性有待提升。针对上述情况,提出基于图像翻转变换的对抗样本生成方法——FT-MI-FGSM（Flipping Transformation Momentum Iterative Fast Gradient Sign Method）。首先,从数据增强的角度出发,在对抗样本生成过程的每次迭代中,对原始输入图像随机翻转变换;然后,计算变换后图像的梯度;最后,根据梯度生成对抗样本以减轻对抗样本生成过程中的过拟合,并提升对抗样本的可迁移性。此外,通过使用攻击集成模型的方法,进一步提高对抗样本的可迁移性。在ImageNet数据集上验证了所提方法的有效性。相较于I-FGSM（Iterative Fast Gradient Sign Method）和MI-FGSM（Momentum I-FGSM）,在攻击集成模型设置下,FT-MI-FGSM在对抗训练网络上的平均黑盒攻击成功率分别提升了26.0和8.4个百分点。     

基于普遍对抗噪声的高效载体图像增强算法

在图像隐写领域,利用对抗样本技术实现载体图像增强是提升隐写安全性的重要手段。然而,现有基于对抗样本的载体图像增强算法需要对每张载体图像生成特定的对抗噪声,这导致算法时间效率低、实用性较差,并且增强后的载体图像对抗不同隐写分析器的迁移能力较弱。针对上述问题,文章提出一种基于普遍对抗噪声的高效载体图像增强算法,将对抗样本算法DeepFool作为基础,以对隐写分析器的攻击成功率为标准循环迭代构建普遍对抗噪声,将其与载体图像进行叠加完成载体图像增强,实现构建单个普遍对抗噪声便能对不同的载体图像进行增强。为进一步提高载体图像增强后抵抗不同隐写分析器的迁移能力,文章提出将针对不同隐写分析器的普遍对抗噪声进行融合得到复合普遍对抗噪声,实现对不同隐写分析器均具有良好隐写安全性的目的。实验结果表明,文章算法在载体图像增强的时间效率上相较于目前最先进的算法得到了极大程度提升,具有更强的实用性。此外,利用复合普遍对抗噪声进行载体图像增强能够显著提高不同隐写分析器的安全性。