基于孪生结构的对抗样本攻击动态防御方法

神经网络模型已被广泛应用于多个研究领域,但神经网络模型本身存在易受到对抗样本攻击的缺点,如在图像分类中,只需在原始图片中添加微小的对抗扰动生成对抗样本,就可以轻易欺骗神经网络分类模型,这给许多领域的应用安全带来严重的威胁。因此,研究如何提高神经网络分类模型对对抗样本攻击的防御能力成为深度学习安全领域的研究热点。目前常用的对抗样本攻击防御方法往往只侧重于提高模型对对抗样本分类的鲁棒性,或者只侧重于检测拦截对抗样本,而对抗训练需要收集大量对抗样本,且难以防御新类型的对抗样本攻击,对于使用额外的分类器去检测对抗样本的方法,则存在着易受到二次攻击等缺点。针对这些问题,提出一种基于孪生神经网络结构的对抗样本攻击动态防御方法,利用孪生结构可比较两个输入相似性的特点,从孪生神经网络两侧的预测差异着手,检测图片在动态滤波前后是否存在不同的攻击效果,从而筛选出带有动态扰动的对抗样本。实验结果表明,在没有收集特定种类的对抗样本进行训练的情况下,该方法对多种对抗样本攻击取得了良好的通用防御效果,其中在FGSM对抗样本测试集上的防御准确率达到95.35%,在DeepFool和JSMA对抗样本测试集上的防御准确...     

针对卷积神经网络流量分类器的对抗样本攻击防御

随着深度学习的兴起,深度神经网络被成功应用于多种领域,但研究表明深度神经网络容易遭到对抗样本的恶意攻击。作为深度神经网络之一的卷积神经网络(CNN)目前也被成功应用于网络流量的分类问题,因此同样会遭遇对抗样本的攻击。为提高CNN网络流量分类器防御对抗样本的攻击,本文首先提出批次对抗训练方法,利用训练过程反向传播误差的特点,在一次反向传播过程中同时完成样本梯度和参数梯度的计算,可以明显提高训练效率。同时,由于训练用的对抗样本是在目标模型上生成,因此可有效防御白盒攻击;为进一步防御黑盒攻击,克服对抗样本的可转移性,提出增强对抗训练方法。利用多个模型生成样本梯度不一致的对抗样本,增加对抗样本的多样性,提高防御黑盒攻击的能力。通过真实流量数据集USTC-TFC2016上的实验,我们生成对抗样本的网络流量进行模拟攻击,结果表明针对白盒攻击,批次对抗训练可使对抗样本的分类准确率从17.29%提高到75.37%;针对黑盒攻击,增强对抗训练可使对抗样本的分类准确率从26.37%提高到68.39%。由于深度神经网络的黑箱特性,其工作机理和对抗样本产生的原因目前没有一致的认识。下一步工作对CNN的脆弱性机...     

基于边界值不变量的对抗样本检测方法

目前,深度学习成为计算机领域研究与应用最广泛的技术之一,在图像识别、语音、自动驾驶、文本翻译等方面都取得良好的应用成果。但人们逐渐发现深度神经网络容易受到微小扰动图片的影响,导致分类出现错误,这类攻击手段被称为对抗样本。对抗样本的出现可能会给安全敏感的应用领域带来灾难性的后果。现有的防御手段大多需要对抗样本本身作为训练集,这种对抗样本相关的防御手段是无法应对未知对抗样本攻击的。借鉴传统软件安全中的边界检查思想,提出了一种基于边界值不变量的对抗样本检测防御方法,该方法通过拟合分布来寻找深度神经网络中的不变量,且训练集的选取与对抗样本无关。实验结果表明,在 LeNet、vgg19 模型和 Mnist、Cifar10 数据集上,与其他对抗检测方法相比,提出的方法可有效检测目前的常见对抗样本攻击,并且具有低误报率。     

面向恶意软件检测模型的黑盒对抗攻击方法

深度学习方法已被广泛应用于恶意软件检测中并取得了较好的预测精度,但同时深度神经网络容易受到对输入数据添加细微扰动的对抗攻击,导致模型输出错误的预测结果,从而使得恶意软件检测失效。针对基于深度学习的恶意软件检测方法的安全性,提出了一种面向恶意软件检测模型的黑盒对抗攻击方法。首先在恶意软件检测模型内部结构参数完全未知的前提下,通过生成对抗网络模型来生成恶意软件样本;然后使生成的对抗样本被识别成预先设定的目标类型以实现目标攻击,从而躲避恶意软件检测;最后,在Kaggle竞赛的恶意软件数据集上展开实验,验证了所提黑盒攻击方法的有效性。进一步得到,生成的对抗样本也可对其他恶意软件检测方法攻击成功,这验证了其具有较强的攻击迁移性。     

一种基于局部扰动的图像对抗样本生成方法

近年来, 随着人工智能的研究和发展, 深度学习被广泛应用。深度学习在自然语言处理、计算机视觉等多个领域表现出良好的效果。特别是计算机视觉方面, 在图像识别和图像分类中, 深度学习具备非常高的准确性。然而越来越多的研究表明, 深度神经网络存在着安全隐患, 其中就包括对抗样本攻击。对抗样本是一种人为加入特定扰动的数据样本, 这种特殊样本在传递给已训练好的模型时, 神经网络模型会输出与预期结果不同的结果。在安全性要求较高的场景下, 对抗样本显然会对采用深度神经网络的应用产生威胁。目前国内外对于对抗样本的研究主要集中在图片领域, 图像对抗样本就是在图片中加入特殊信息的图片数据, 使基于神经网络的图像分类模型做出错误的分类。已有的图像对抗样本方法主要采用全局扰动方法,即将这些扰动信息添加在整张图片上。相比于全局扰动, 局部扰动将生成的扰动信息添加到图片的非重点区域, 从而使得对抗样本隐蔽性更强, 更难被人眼发现。本文提出了一种生成局部扰动的图像对抗样本方法。该方法首先使用 Yolo 目标检测方法识别出图片中的重点位置区域, 然后以 MIFGSM 方法为基础, 结合 Curls 方法中提到的先梯度下降再梯度上升的思想,在非重点区域添加扰动信息, 从而生成局部扰动的对抗样本。实验结果表明, 在对抗扰动区域减小的情况下可以实现与全局扰动相同的攻击成功率。     

基于贝叶斯优化的瞬间激光对抗攻击方法研究

深度神经网络拥有出色的特征提取能力,这使它们能够从人类难以察觉和理解的样本中提取和学习特征。这种能力一直是深度神经网络快速发展和广泛部署的推动力,近年来它们在医疗成像、自动驾驶、遥感观测和人脸识别等多个领域都有出色表现。然而,这种强大的特征提取能力也带来了一些潜在的安全风险。研究人员发现,深度神经网络模型很容易受到对抗样本的影响,即使少量精心设计的扰动也会导致模型产生错误的结果。为了探索深度神经网络的安全威胁和模型的鲁棒性,对抗攻击研究成为一项重要工作。在这项研究中,本文提出了一种基于贝叶斯优化的瞬间激光物理对抗攻击方法,利用有效曝光时间和激光的快速性在合适的时机发起真正不引起人眼察觉的瞬间攻击,检验了激光对抗攻击在数字域和物理域的有效性,并探讨了这种攻击方法在自动驾驶场景下可能产生的威胁。此外,在物理实验中验证了瞬间攻击的存在性并对其进行了分析,验证了针对自动驾驶系统的激光攻击存在合适的攻击窗口。     

面向图像数据的对抗样本检测与防御技术综述

对抗样本是当前深度学习神经网络研究的热点问题.目前,对抗样本技术的研究主要分为2方面：生成攻击、检测防御.在总结对抗样本生成攻击技术的基础上,面向图像数据的对抗样本检测与防御技术综述从对抗样本的检测与防御的角度对面向图像数据的对抗样本防御技术进行了总结.综述从特征学习、分布统计、输入解离、对抗训练、知识迁移及降噪6个方面将检测与防御技术进行归类,介绍检测与防御技术的演进,分析其特点、性能,对比不同技术的优缺点,给出了检测效果和防御效果的综合评价.最后对当前该领域的研究情况进行了总结与展望.     

基于生成式对抗网络的通用性对抗扰动生成方法

深度神经网络在图像分类应用中具有很高的准确率,然而,当在原始图像中添加微小的对抗扰动后,深度神经网络的分类准确率会显著下降。研究表明,对于一个分类器和数据集存在一种通用性对抗扰动,其可对大部分原始图像产生攻击效果。文章设计了一种通过生成式对抗网络来制作通用性对抗扰动的方法。通过生成式对抗网络的训练,生成器可制作出通用性对抗扰动,将该扰动添加到原始图像中制作对抗样本,从而达到攻击的目的。文章在CIFAR-10数据集上进行了无目标攻击、目标攻击和迁移性攻击实验。实验表明,生成式对抗网络生成的通用性对抗扰动可在较低范数约束下达到89%的攻击成功率,且利用训练后的生成器可在短时间内制作出大量的对抗样本,利于深度神经网络的鲁棒性研究。     

文本对抗样本攻击与防御技术综述

对抗样本攻击与防御是最近几年兴起的一个研究热点,攻击者通过微小的修改生成对抗样本来使深度神经网络预测出错。生成的对抗样本可以揭示神经网络的脆弱性,并可以修复这些脆弱的神经网络以提高模型的安全性和鲁棒性。对抗样本的攻击对象可以分为图像和文本两种,大部分研究方法和成果都针对图像领域,由于文本与图像本质上的不同,在攻击和防御方法上存在很多差异。该文对目前主流的文本对抗样本攻击与防御方法做出了较为详尽的介绍,同时说明了数据集、主流攻击的目标神经网络,并比较了不同攻击方法的区别。最后总结文本对抗样本领域面临的挑战,并对未来的研究进行展望。     

基于可攻击空间假设的陷阱式集成对抗防御网络

如今,深度神经网络在各个领域取得了广泛的应用.然而研究表明,深度神经网络容易受到对抗样本的攻击,严重威胁着深度神经网络的应用和发展.现有的对抗防御方法大多需要以牺牲部分原始分类精度为代价,且强依赖于已有生成的对抗样本所提供的信息,无法兼顾防御的效力与效率.因此基于流形学习,从特征空间的角度提出可攻击空间对抗样本成因假设,并据此提出一种陷阱式集成对抗防御网络Trap-Net. Trap-Net在原始模型的基础上向训练数据添加陷阱类数据,使用陷阱式平滑损失函数建立目标数据类别与陷阱数据类别间的诱导关系以生成陷阱式网络.针对原始分类精度损失问题,利用集成学习的方式集成多个陷阱式网络以在不损失原始分类精度的同时,扩大陷阱类标签于特征空间所定义的靶标可攻击空间.最终, Trap-Net通过探测输入数据是否命中靶标可攻击空间以判断数据是否为对抗样本.基于MNIST、K-MNIST、F-MNIST、CIFAR-10和CIFAR-100数据集的实验表明, Trap-Net可在不损失干净样本分类精确度的同时具有很强的对抗样本防御泛化性,且实验结果验证可攻击空间对抗成因假设.在低扰动的白盒攻击场景中, T...     

面向深度学习模型的对抗攻击与防御方法综述

深度学习作为人工智能技术的重要组成部分,被广泛应用于计算机视觉和自然语言处理等领域.尽管深度学习在图像分类和目标检测等任务中取得了较好性能,但是对抗攻击的存在对深度学习模型的安全应用构成了潜在威胁,进而影响了模型的安全性.在简述对抗样本的概念及其产生原因的基础上,分析对抗攻击的主要攻击方式及目标,研究具有代表性的经典对...     

基于生成对抗网络的目标检测黑盒迁移攻击算法

目标检测被广泛应用到自动驾驶、工业、医疗等各个领域. 利用目标检测算法解决不同领域中的关键任务逐渐成为主流. 然而基于深度学习的目标检测模型在对抗样本攻击下, 模型的鲁棒性存在严重不足, 通过加入微小扰动构造的对抗样本很容易使模型预测出错. 这极大地限制了目标检测模型在关键安全领域的应用. 在实际应用中的模型普遍是黑盒模型, 现有的针对目标检测模型的黑盒攻击相关研究不足, 存在鲁棒性评测不全面, 黑盒攻击成功率较低, 攻击消耗资源较高等问题. 针对上述问题, 提出基于生成对抗网络的目标检测黑盒攻击算法, 所提算法利用融合注意力机制的生成网络直接输出对抗扰动, 并使用替代模型的损失和所提的类别注意力损失共同优化生成网络参数, 可以支持定向攻击和消失攻击两种场景. 在Pascal VOC数据集和MS COCO数据集上的实验结果表明, 所提方法比目前攻击方法的黑盒迁移攻击成功率更高, 并且可以在不同数据集之间进行迁移攻击.     

面向漏洞检测模型的强化学习式对抗攻击方法

基于深度学习的代码漏洞检测模型因其检测效率高和精度准的优势,逐步成为检测软件漏洞的重要方法,并在代码托管平台Github的代码审计服务中发挥重要作用.然而,深度神经网络已被证明容易受到对抗攻击的干扰,这导致基于深度学习的漏洞检测模型存在遭受攻击,降低检测准确率的风险.因此,构建针对漏洞检测模型的对抗攻击,不仅可以发掘此类模型的安全缺陷,而且有助于评估模型的鲁棒性,进而通过相应的方法提升模型性能.但现有的面向漏洞检测模型的对抗攻击方法,依赖于通用的代码转换工具,并未提出针对性的代码扰动操作和决策算法,因此难以生成有效的对抗样本,且对抗样本的合法性依赖于人工检查.针对上述问题,提出了一种面向漏洞检测模型的强化学习式对抗攻击方法.本方法首先设计了一系列语义约束且漏洞保留的代码扰动操作作为扰动集合;其次,将具备漏洞的代码样本作为输入,利用强化学习模型选取具体的扰动操作序列.最后,根据代码样本的语法树节点类型寻找扰动的潜在位置,进行代码转换,从而生成对抗样本.本文基于SARD和NVD构建了两个实验数据集共14,278个代码样本并以此训练了四个具备不同特点的漏洞检测模型作为攻击目标.针对每个目标模型,训练了一个强化学习网络进行对抗攻击.结果显示,本文的攻击方法导致模型的召回率降低了74.34%,攻击成功率达到96.71%,相较基线方法,攻击成功率平均提升了68.76%.实验证明了当前的漏洞检测模型存在被攻击的风险,需要进一步研究提升模型的鲁棒性.     

Towards Robust Adversarial Training via Dual-label Supervised and Geometry Constraint

Recent studies have shown that adversarial training is an effective method to defend against adversarial sample attacks. However, existing adversarial training strategies improve the model robustness at a price of a lowered generalization ability of the model. At this stage, the mainstream adversarial training methods usually deal with each training sample independently and ignore the inter-sample relationships, which prevents the model from fully exploiting the geometric relationship between samples to learn a more robust model for better defense against adversarial attacks. Therefore, this paper focuses on how to maintain the stability of the geometric structure between samples during adversarial training to improve the model robustness. Specifically, in adversarial training, a new geometric structure constraint method is designed with the aim to maintain the consistency of the feature space distribution between normal samples and adversarial samples. Furthermore, a dual-label supervised learning method is proposed, which leverages the labels of both natural samples and adversarial samples for joint supervised training of the model. Lastly, the characteristics of the dual-label supervised learning method are analyzed, and the working mechanism of the adversarial samples are explained theoretically. It is concluded from extensive experiments on benchmark datasets that the proposed approach effectively improves the robustness of the model while maintaining good generalization accuracy. The related code has been open-sourced: https://github.com/SkyKuang/DGCAT     

基于图像着色的无限制攻击

深度学习目前被广泛应用于计算机视觉、机器人技术和自然语言处理等领域。然而,已有研究表明,深度神经网络在对抗样本面前很脆弱,一个精心制作的对抗样本就可以使深度学习模型判断出错。现有的研究大多通过产生微小的Lp范数扰动来误导分类器的对抗性攻击,但是取得的效果并不理想。本文提出一种新的对抗攻击方法——图像着色攻击,将输入样本转为灰度图,设计一种灰度图上色方法指导灰度图着色,最终利用经过上色的图像欺骗分类器实现无限制攻击。实验表明,这种方法制作的对抗样本在欺骗几种最先进的深度神经网络图像分类器方面有不俗表现,并且通过了人类感知研究测试。     

基于注意力机制的物理对抗样本检测方法研究

随着深度学习的普及与发展,对抗样本的存在严重威胁着深度学习模型的安全。针对物理世界中对抗样本的攻击问题,提出了一种基于注意力机制的物理对抗样本检测方法。该方法将注意力机制与特征压缩相结合,对局部可视对抗样本主要区域进行针对性检测,排除非主要区域的影响,减少计算工作量;通过有效组合多种特征压缩方法对样本中的主要区域进行处理,破坏对抗噪声块的结构,使其失去攻击性。在MNIST和CIFAR-10数据集上对不同的对抗攻击进行防御测试,并与其他对抗防御方法进行对比实验。结果表明,该方法的防御准确率可达到95%以上,与其他局部对抗样本防御方法相比通用性高,稳定性更强,可有效防御局部可视对抗样本的攻击。     

基于纹理特征约束的神经网络模型鲁棒性提升方法

深度学习模型可以从原始数据中自动学习到数据的纹理特征和形态特征,使得其在安全验证、识别分类、语音人脸识别等不同领域取得远远超过人工特征方法的性能。虽然深度学习在图像分类和目标检测等方向上取得了较好成效,但是通过在输入上添加难以察觉的微小扰动形成的对抗样本导致深度学习模型在实际使用中存在巨大的风险。因此,提高单个模型的鲁棒性是重要的研究方向。前人在时序数据分类模型的鲁棒性研究中,对抗样本的解释性研究较为欠缺。目前较为常见的防御对抗样本的方法是对抗训练,但是对抗训练有着非常高的训练代价。本文以时序数据分类模型为研究对象,定义了时序数据的纹理特征和形态特征,并基于理论证明和可视化特征层方式,说明了纹理特征是被攻击的关键因素。同时,提出了一种基于特征约束的模型鲁棒性提升方法。该方法结合多任务学习,通过在误差函数中增加特征的平滑约束项,引导模型在分类的同时尽可能学习到原始数据的形态特征。在保证分类精度的同时,降低对抗样本存在的空间,从而训练出更加鲁棒的模型。算法在经典分类模型和多个时序数据集进行了大量的实验,实验结果表明了本文方法的有效性,在多种对抗攻击下,能较好的提高单个模型的鲁棒性。     

面向鲁棒学习的对抗训练技术综述

深度学习在众多领域取得了巨大成功。然而，其强大的数据拟合能力隐藏着不可解释的“捷径学习”现象，从而引发深度模型脆弱、易受攻击的安全隐患。众多研究表明，攻击者向正常数据中添加人类无法察觉的微小扰动，便可能造成模型产生灾难性的错误输出，这严重限制了深度学习在安全敏感领域的应用。对此，研究者提出了各种对抗性防御方法。其中，对抗训练是典型的启发式防御方法。它将对抗攻击与对抗防御注入一个框架，一方面通过攻击已有模型学习生成对抗样本，另一方面利用对抗样本进一步开展模型训练，从而提升模型的鲁棒性。为此，本文围绕对抗训练，首先，阐述了对抗训练的基本框架；其次，对对抗训练框架下的对抗样本生成、对抗模型防御性训练等方法与关键技术进行分类梳理；然后，对评估对抗训练鲁棒性的数据集及攻击方式进行总结；最后，通过对当前对抗训练所面临挑战的分析，本文给出了其未来的几个发展方向。     

基于特征分布差异的对抗样本检测

诸多神经网络模型已被证明极易遭受对抗样本攻击。对抗样本则是攻击者为模型所恶意构建的输入,通过对原始样本输入添加轻微的扰动,导致其极易被机器学习模型错误分类。这些对抗样本会对日常生活中的高要求和关键应用的安全构成严重威胁,如自动驾驶、监控系统和生物识别验证等应用。研究表明在模型的训练期间,检测对抗样本方式相比通过增强模型来预防对抗样本攻击更为有效,且训练期间神经网络模型的中间隐层可以捕获并抽象样本信息,使对抗样本与干净样本更容易被模型所区分。因此,本文针对神经网络模型中的不同隐藏层,其对抗样本输入和原始自然输入的隐层表示进行统计特征差异进行研究。本文研究表明,统计差异可以在不同层之间进行区别。本文通过确定最有效层识别对抗样本和原始自然训练数据集统计特征之间的差异,并采用异常值检测方法,设计一种基于特征分布的对抗样本检测框架。该框架可以分为广义对抗样本检测方法和条件对抗样本检测方法,前者通过在每个隐层中提取学习到的训练数据表示,得到统计特征后,计算测试集的异常值分数,后者则通过深层神经网络模型对测试数据的预测结果比较,得到对应训练数据的统计特征。本文所计算的统计特征包括到原点的范数距离L2和样本协方差矩阵的顶奇异向量的相关性。实验结果显示了两种检测方法均可以利用隐层信息检测出对抗样本,且对由不同攻击产生的对抗样本均具有较好的检测效果,证明了本文所提的检测框架在检测对抗样本中的有效性。