基于注意力机制的物理对抗样本检测方法研究

随着深度学习的普及与发展,对抗样本的存在严重威胁着深度学习模型的安全。针对物理世界中对抗样本的攻击问题,提出了一种基于注意力机制的物理对抗样本检测方法。该方法将注意力机制与特征压缩相结合,对局部可视对抗样本主要区域进行针对性检测,排除非主要区域的影响,减少计算工作量;通过有效组合多种特征压缩方法对样本中的主要区域进行处理,破坏对抗噪声块的结构,使其失去攻击性。在MNIST和CIFAR-10数据集上对不同的对抗攻击进行防御测试,并与其他对抗防御方法进行对比实验。结果表明,该方法的防御准确率可达到95%以上,与其他局部对抗样本防御方法相比通用性高,稳定性更强,可有效防御局部可视对抗样本的攻击。     

基于孪生结构的对抗样本攻击动态防御方法

神经网络模型已被广泛应用于多个研究领域,但神经网络模型本身存在易受到对抗样本攻击的缺点,如在图像分类中,只需在原始图片中添加微小的对抗扰动生成对抗样本,就可以轻易欺骗神经网络分类模型,这给许多领域的应用安全带来严重的威胁。因此,研究如何提高神经网络分类模型对对抗样本攻击的防御能力成为深度学习安全领域的研究热点。目前常用的对抗样本攻击防御方法往往只侧重于提高模型对对抗样本分类的鲁棒性,或者只侧重于检测拦截对抗样本,而对抗训练需要收集大量对抗样本,且难以防御新类型的对抗样本攻击,对于使用额外的分类器去检测对抗样本的方法,则存在着易受到二次攻击等缺点。针对这些问题,提出一种基于孪生神经网络结构的对抗样本攻击动态防御方法,利用孪生结构可比较两个输入相似性的特点,从孪生神经网络两侧的预测差异着手,检测图片在动态滤波前后是否存在不同的攻击效果,从而筛选出带有动态扰动的对抗样本。实验结果表明,在没有收集特定种类的对抗样本进行训练的情况下,该方法对多种对抗样本攻击取得了良好的通用防御效果,其中在FGSM对抗样本测试集上的防御准确率达到95.35%,在DeepFool和JSMA对抗样本测试集上的防御准确率达到93.52%和93.73%,且镜像防御模块中的动态滤波器能够有效地平滑对抗扰动、防御二次攻击,提高了方法的整体安全性。     

基于图像重构的MNIST对抗样本防御算法

随着深度学习的应用普及,其安全问题越来越受重视,对抗样本是在原有图像中添加较小的扰动,即可造成深度学习模型对图像进行错误分类,这严重影响深度学习技术的发展.针对该问题,分析现有对抗样本的攻击形式和危害,由于现有防御算法存在缺点,提出一种基于图像重构的对抗样本防御方法,以达到有效防御对抗样本的目的 .该防御方法以MNIS...     

面向深度学习模型的对抗攻击与防御方法综述

深度学习作为人工智能技术的重要组成部分,被广泛应用于计算机视觉和自然语言处理等领域。尽管深度学习在图像分类和目标检测等任务中取得了较好性能,但是对抗攻击的存在对深度学习模型的安全应用构成了潜在威胁,进而影响了模型的安全性。在简述对抗样本的概念及其产生原因的基础上,分析对抗攻击的主要攻击方式及目标,研究具有代表性的经典对抗样本生成方法。描述对抗样本的检测与防御方法,并阐述对抗样本在不同领域的应用实例。通过对对抗样本攻击与防御方法的分析与总结,展望对抗攻击与防御领域未来的研究方向。     

基于模型解释的PE文件对抗性恶意代码检测

深度学习已经逐渐应用于恶意代码检测并取得了不错的效果.然而,最近的研究表明:深度学习模型自身存在不安全因素,容易遭受对抗样本攻击.在不改变恶意代码原有功能的前提下,攻击者通过对恶意代码做少量修改,可以误导恶意代码检测器做出错误的决策,造成恶意代码的漏报.为防御对抗样本攻击,已有的研究工作中最常用的方法是对抗训练.然而对抗训练方法需要生成大量对抗样本加入训练集中重新训练模型,效率较低,并且防御效果受限于训练中所使用的对抗样本生成方法.为此,提出一种PE文件格式恶意代码对抗样本检测方法,针对在程序功能无关区域添加修改的一类对抗样本攻击,利用模型解释技术提取端到端恶意代码检测模型的决策依据作为特征,进而通过异常检测方法准确识别对抗样本.该方法作为恶意代码检测模型的附加模块,不需要对原有模型做修改,相较于对抗训练等其他防御方法效率更高,且具有更强的泛化能力,能够防御多种对抗样本攻击.在真实的恶意代码数据集上进行了实验,实验结果表明,该方法能够有效防御针对端到端PE文件恶意代码检测模型的对抗样本攻击.     

一种面向图神经网络的图重构防御方法

近年来,图神经网络在图表示学习领域中取得了较好表现广泛应用于日常生活中,例如电子商务、社交媒体和生物学等.但是研究表明,图神经网络容易受到精心设计的对抗攻击迷惑,使其无法正常工作.因此,提高图神经网络的鲁棒性至关重要.已有研究提出了一些提高图神经网络鲁棒性的防御方法,然而如何在确保模型主任务性能的前提下降低对抗攻击的攻击成功率仍存在挑战.通过观察不同攻击产生的对抗样本发现,对抗攻击生成的对抗连边所对应的节点对之间通常存在低结构相似性和低节点特征相似性的特点.基于上述发现,提出了一种面向图神经网络的图重构防御方法GRD-GNN,分别从图结构和节点特征考虑,采用共同邻居数和节点相似度2种相似度指标检测对抗连边并实现图重构,使得重构的图结构删除对抗连边,且添加了增强图结构关键特征的连边,从而实现有效防御.最后,论文在3个真实数据集上展开防御实验,验证了GRD-GNN相比其他防御方法均能取得最佳的防御性能,且不影响正常图数据的分类任务.此外,利用可视化方法对防御结果做解释,解析方法的有效性.     

基于GAN与数据流形的对抗样本防御模型

神经网络在图像分类的任务上取得了极佳的成绩，但是相关工作表明它们容易受到对抗样本的攻击并且产生错误的结果。之前的工作利用深度神经网络去除对抗性扰动，以达到防御对抗样本的目的。但是存在正常样本经该网络处理，反而会降低分类准确率的问题。为了提高对抗样本的分类准确率和减轻防御网络对正常样本影响，提出一种基于对抗生成网络(Generative Adversarial Networks, GAN)与数据流形的防御网络。引入GAN提高分类网络识别对抗样本的准确率；利用正常样本数据流形降低防御网络对干净样本的影响。实验结果表明该方法可以防御多种攻击方法，同时降低了防御网络对正常样本的影响。     

基于边界值不变量的对抗样本检测方法

目前,深度学习成为计算机领域研究与应用最广泛的技术之一,在图像识别、语音、自动驾驶、文本翻译等方面都取得良好的应用成果。但人们逐渐发现深度神经网络容易受到微小扰动图片的影响,导致分类出现错误,这类攻击手段被称为对抗样本。对抗样本的出现可能会给安全敏感的应用领域带来灾难性的后果。现有的防御手段大多需要对抗样本本身作为训练集,这种对抗样本相关的防御手段是无法应对未知对抗样本攻击的。借鉴传统软件安全中的边界检查思想,提出了一种基于边界值不变量的对抗样本检测防御方法,该方法通过拟合分布来寻找深度神经网络中的不变量,且训练集的选取与对抗样本无关。实验结果表明,在 LeNet、vgg19 模型和 Mnist、Cifar10 数据集上,与其他对抗检测方法相比,提出的方法可有效检测目前的常见对抗样本攻击,并且具有低误报率。     

一种针对快速梯度下降对抗攻击的防御方法

智能舰船识别可有效提高舰船装备智能化水平,但存在安全识别问题,即使性能卓越的分类模型也会受到对抗样本的攻击。面对快速梯度下降法（FGSM）这类对抗攻击,传统的防御方法需要先推倒已经训练好的分类模型,再通过安全手段进行重新训练。为简化这一过程,提出防御FGSM对抗攻击的FGSM-Defense算法。获得分类器对对抗样本初次预测的类别排名后,按相应置信度大小排名取出指定数量的类别。在此基础上,通过暴力搜索将这些类别依次指定为攻击目标,分别对原对抗样本进行FGSM有目标攻击,并按相应规则分步缩小搜索范围,筛选出对抗样本真实的类别。实验结果表明,该算法能够准确区分对抗样本的真实类别,在ImageNet数据集上的防御成功率为53.1%。与传统防御方法相比,其无需改变原有神经网络结构和重新训练分类模型,可减少对硬件算力的依赖,降低防御成本。     

基于平移随机变换的对抗样本生成方法

基于深度神经网络的图像分类模型能够以达到甚至高于人眼的识别度识别图像,但是因模型自身结构的脆弱性,导致其容易受对抗样本的攻击。现有的对抗样本生成方法具有较高的白盒攻击率,而在黑盒条件下对抗样本的攻击成功率较低。将数据增强技术引入到对抗样本生成过程中,提出基于平移随机变换的对抗样本生成方法。通过构建概率模型对原始图像进行随机平移变换,并将变换后的图像用于生成对抗样本,有效缓解对抗样本生成过程中的过拟合现象。在此基础上,采用集成模型攻击的方式生成可迁移性更强的对抗样本,从而提高黑盒攻击成功率。在ImageNet数据集上进行单模型和集成模型攻击的实验结果表明,该方法的黑盒攻击成功率高达80.1%,与迭代快速梯度符号方法和动量迭代快速梯度符号方法相比,该方法的白盒攻击成功率虽然略有降低,但仍保持在97.8%以上。     

语音对抗样本的攻击与防御综述

语音是人机交互的重要载体,语音中既包含语义信息,还包含性别、年龄、情感等附属信息.深度学习的发展使得各类语音处理任务的性能得到了显著提升,智能语音处理的产品已应用于移动终端、车载设备以及智能家居等场景.语音信息被准确地识别是人与设备实现可信交互的重要基础,语音传递过程中的安全问题也受到了广泛关注.对抗样本攻击是最近几年...     

Transfer-based Adversarial Attack with Rectified Adam and Color Invariance

Deep Neural Networks (DNNs) have been widely used in object detection, image classification, natural language processing, speech recognition, and other fields. Nevertheless, DNNs are vulnerable to adversarial examples which are formed by adding imperceptible perturbations to original samples. Moreover, the same perturbation can deceive multiple classifiers across models and even across tasks. The cross-model transfer characteristics of adversarial examples limit the application of DNNs in real life, and the threat of adversarial examples to DNNs has stimulated researchers'' interest in adversarial attacks. Recently, researchers have proposed several adversarial attack methods, but most of these methods (especially the black-box attack) have poor cross-model attack ability for defense models with adversarial training or input transformation in particular. Therefore, this study proposes a method to improve the transferability of adversarial examples, namely, RLI-CI-FGSM. RLI-CI-FGSM is a transfer-based attack method, which employs the gradient-based white-box attack RLI-FGSM to generate adversarial examples on the substitution model and adopts CIM to expand the source model so that RLI-FGSM can attack both the substitution model and the extended model at the same time. Specifically, RLI-FGSM integrates the RAdam optimization algorithm into the Iterative Fast Gradient Sign Method (I-FGSM) and makes use of the second-derivative information of the objective function to generate adversarial examples, which prevents the optimization algorithm from falling into a poor local optimum. Based on the color invariance property of DNNs, CIM optimizes the perturbations of image sets with color transformation to generate adversarial examples that can be transferred and are less sensitive to the attacked white-box model. Experimental results show that the proposed method has a high success rate on both normal and adversarial network models.     

针对卷积神经网络流量分类器的对抗样本攻击防御

随着深度学习的兴起,深度神经网络被成功应用于多种领域,但研究表明深度神经网络容易遭到对抗样本的恶意攻击.作为深度神经网络之一的卷积神经网络(CNN)目前也被成功应用于网络流量的分类问题,因此同样会遭遇对抗样本的攻击.为提高CNN网络流量分类器防御对抗样本的攻击,本文首先提出批次对抗训练方法,利用训练过程反向传播误差的特...     

基于腐蚀批归一化层的对抗攻击算法

目前在对抗样本生成研究领域,基于梯度的攻击方法由于生成速度快和资源消耗低而得到广泛应用。然而,现有大多数基于梯度的攻击方法所得对抗样本的黑盒攻击成功率并不高。最强基于梯度的攻击方法在攻击6个先进防御黑盒模型时的平均成功率只有78.2%。为此,提出一种基于腐蚀深度神经网络架构中批归一化层的对抗攻击算法来改进现有基于梯度的攻击方法,以实现所得对抗样本的黑盒攻击成功率进一步提升。在一个ImageNet兼容数据集上做了大量实验,实验结果表明所提出的算法在单模型攻击和集成模型攻击中均能与现有基于梯度的攻击方法有效组合,实现在几乎不增加额外计算开销条件下增强对抗样本的攻击性能。此外,所提算法还使得最强基于梯度的攻击方法针对6个先进防御黑盒模型的平均攻击成功率提升了9.0个百分点。     

深度学习中的对抗攻击与防御

对抗样本是被添加微小扰动的原始样本,用于误导深度学习模型的输出决策,严重威胁到系统的可用性,给系统带来极大的安全隐患。为此,详细分析了当前经典的对抗攻击手段,主要包括白盒攻击和黑盒攻击。根据对抗攻击和防御的发展现状,阐述了近年来国内外的相关防御策略,包括输入预处理、提高模型鲁棒性、恶意检测。最后,给出了未来对抗攻击与防御领域的研究方向。     

基于输入通道拆分的对抗攻击迁移性增强算法

深度神经网络已被应用于人脸识别、自动驾驶等场景中,但容易受到对抗样本的攻击。对抗样本的生成方法被分为白盒攻击和黑盒攻击,当对抗攻击算法攻击白盒模型时存在过拟合问题,导致生成对抗样本的迁移性降低。提出一种用于生成高迁移性对抗样本的对抗攻击算法CSA。在每次迭代过程中,通过对输入RGB图片的通道进行拆分,得到三张具有一个通道的输入图片,并对其进行零值填充,获得三张具有三个通道的输入图片。将最终得到的图片与原始RGB输入图片共同传入到模型中进行梯度计算,调整原始梯度的更新方向,避免出现局部最优。在此基础上,通过符号法生成对抗样本。在ImageNet数据集上的实验验证该算法的有效性,结果表明,CSA算法能够有效提高对抗攻击的迁移性,在四种常规训练模型上的攻击成功率平均为84.2%,与DIM、TIM结合所得DI-TI-CSA算法在三种对抗训练黑盒模型上的攻击成功率平均为94.7%,对七种防御模型的攻击成功率平均为91.8%。     

机器学习安全及隐私保护研究进展

机器学习作为实现人工智能的一种重要方法,在数据挖掘、计算机视觉、自然语言处理等领域得到广泛应用。随着机器学习应用的普及发展,其安全与隐私问题受到越来越多的关注。首先结合机器学习的一般过程,对敌手模型进行了描述。然后总结了机器学习常见的安全威胁,如投毒攻击、对抗攻击、询问攻击等,以及应对的防御方法,如正则化、对抗训练、防御精馏等。接着对机器学习常见的隐私威胁,如训练数据窃取、逆向攻击、成员推理攻击等进行了总结,并给出了相应的隐私保护技术,如同态加密、差分隐私。最后给出了亟待解决的问题和发展方向。     

面向鲁棒学习的对抗训练技术综述

深度学习在众多领域取得了巨大成功。然而，其强大的数据拟合能力隐藏着不可解释的“捷径学习”现象，从而引发深度模型脆弱、易受攻击的安全隐患。众多研究表明，攻击者向正常数据中添加人类无法察觉的微小扰动，便可能造成模型产生灾难性的错误输出，这严重限制了深度学习在安全敏感领域的应用。对此，研究者提出了各种对抗性防御方法。其中，对抗训练是典型的启发式防御方法。它将对抗攻击与对抗防御注入一个框架，一方面通过攻击已有模型学习生成对抗样本，另一方面利用对抗样本进一步开展模型训练，从而提升模型的鲁棒性。为此，本文围绕对抗训练，首先，阐述了对抗训练的基本框架；其次，对对抗训练框架下的对抗样本生成、对抗模型防御性训练等方法与关键技术进行分类梳理；然后，对评估对抗训练鲁棒性的数据集及攻击方式进行总结；最后，通过对当前对抗训练所面临挑战的分析，本文给出了其未来的几个发展方向。     

车牌识别系统的黑盒对抗攻击

深度神经网络(Deep neural network, DNN)作为最常用的深度学习方法之一, 广泛应用于各个领域. 然而, DNN容易受到对抗攻击的威胁, 因此通过对抗攻击来检测应用系统中DNN的漏洞至关重要. 针对车牌识别系统进行漏洞检测, 在完全未知模型内部结构信息的前提下展开黑盒攻击, 发现商用车牌识别系统存在安全漏洞. 提出基于精英策略的非支配排序遗传算法(NSGA-II)的车牌识别黑盒攻击方法, 仅获得输出类标及对应置信度, 即可产生对环境变化较为鲁棒的对抗样本, 而且该算法将扰动控制为纯黑色块, 可用淤泥块代替, 具有较强的迷惑性. 为验证本方法在真实场景的攻击可复现性, 分别在实验室和真实环境中对车牌识别系统展开攻击, 并且将对抗样本用于开源的商业软件中进行测试, 验证了攻击的迁移性.