基于图像翻转变换的对抗样本生成方法

面对对抗样本的攻击,深度神经网络是脆弱的。对抗样本是在原始输入图像上添加人眼几乎不可见的噪声生成的,从而使深度神经网络误分类并带来安全威胁。因此在深度神经网络部署前,对抗性攻击是评估模型鲁棒性的重要方法。然而,在黑盒情况下,对抗样本的攻击成功率还有待提高,即对抗样本的可迁移性有待提升。针对上述情况,提出基于图像翻转变换的对抗样本生成方法——FT-MI-FGSM（Flipping Transformation Momentum Iterative Fast Gradient Sign Method）。首先,从数据增强的角度出发,在对抗样本生成过程的每次迭代中,对原始输入图像随机翻转变换;然后,计算变换后图像的梯度;最后,根据梯度生成对抗样本以减轻对抗样本生成过程中的过拟合,并提升对抗样本的可迁移性。此外,通过使用攻击集成模型的方法,进一步提高对抗样本的可迁移性。在ImageNet数据集上验证了所提方法的有效性。相较于I-FGSM（Iterative Fast Gradient Sign Method）和MI-FGSM（Momentum I-FGSM）,在攻击集成模型设置下,FT-MI-FGSM在对抗训练网络上的平均黑盒攻击成功率分别提升了26.0和8.4个百分点。     

基于FGSM的对抗样本生成算法

近年来,深度学习算法在各个领域都取得了极大的成功,给人们的生活带来了极大便利。然而深度神经网络由于其固有特性,用于分类任务时,存在不稳定性,很多因素都影响着分类的准确性,尤其是对抗样本的干扰,通过给图片加上肉眼不可见的扰动,影响分类器的准确性,给深度神经网络带来了极大的威胁。通过对相关对抗样本的研究,该文提出一种基于白盒攻击的对抗样本生成算法DCI-FGSM(Dynamic Change Iterative Fast Gradient Sign Method)。通过动态更新梯度及噪声幅值,可以防止模型陷入局部最优,提高了生成对抗样本的效率,使得模型的准确性下降。实验结果表明,在MINIST数据集分类的神经网络攻击上DCI-FGSM取得了显著的效果,与传统的对抗样本生成算法FGSM相比,将攻击成功率提高了25%,具有更高的攻击效率。     

基于输入通道拆分的对抗攻击迁移性增强算法

深度神经网络已被应用于人脸识别、自动驾驶等场景中,但容易受到对抗样本的攻击。对抗样本的生成方法被分为白盒攻击和黑盒攻击,当对抗攻击算法攻击白盒模型时存在过拟合问题,导致生成对抗样本的迁移性降低。提出一种用于生成高迁移性对抗样本的对抗攻击算法CSA。在每次迭代过程中,通过对输入RGB图片的通道进行拆分,得到三张具有一个通道的输入图片,并对其进行零值填充,获得三张具有三个通道的输入图片。将最终得到的图片与原始RGB输入图片共同传入到模型中进行梯度计算,调整原始梯度的更新方向,避免出现局部最优。在此基础上,通过符号法生成对抗样本。在ImageNet数据集上的实验验证该算法的有效性,结果表明,CSA算法能够有效提高对抗攻击的迁移性,在四种常规训练模型上的攻击成功率平均为84.2%,与DIM、TIM结合所得DI-TI-CSA算法在三种对抗训练黑盒模型上的攻击成功率平均为94.7%,对七种防御模型的攻击成功率平均为91.8%。     

基于自适应攻击强度的对抗训练方法

深度神经网络（DNN）易受对抗样本攻击的特性引发了人们对人工智能系统安全性和可靠性的重大关切,其中对抗训练是增强对抗鲁棒性的一种有效方式。针对现有方法使用固定的对抗样本生成策略但存在忽视对抗样本生成阶段对对抗训练重要性的问题,提出一种基于自适应攻击强度的对抗训练方法。首先,将干净样本和对抗样本输入模型得到输出;然后,计算干净样本和对抗样本模型输出的差异;最后,衡量该差异与上一时刻差异的变化情况,并自动调整对抗样本强度。对三个基准数据集的全面实验结果表明,相较于基准方法投影梯度下降的对抗训练（PGD-AT）,该方法在三个基准数据集的AA(AutoAttack)攻击下鲁棒精度分别提升1.92、1.50和3.35个百分点,且所提出方法在鲁棒性和自然准确率方面优于最先进的防御方法可学习攻击策略的对抗训练（LAS-AT）。此外,从数据增强角度看,该方法可以有效解决对抗训练这种特殊数据增强方式中增广效果随训练进展会不断下降的问题。     

基于条件对抗生成网络的对抗样本防御方法

人工智能目前在诸多领域均得到较好应用,然而通过对抗样本会使神经网络模型输出错误的分类。研究提升神经网络模型鲁棒性的同时如何兼顾算法运行效率,对于深度学习在现实中的落地使用意义重大。针对上述问题,本文提出一种基于条件对抗生成网络的对抗样本防御方法Defense-CGAN。首先使用对抗生成网络生成器根据输入噪声与标签信息生成重构图像,然后计算重构前后图像均方误差,对比选取重构图像馈送到分类器进行分类从而去除对抗性扰动,实现对抗样本防御,最后,在MNIST数据集上进行大量实验。实验结果表明本文提出的防御方法更加具备通用性,能够防御多种对抗攻击,且时间消耗低,可应用于对时间要求极其苛刻的实际场景中。     

基于Rectified Adam和颜色不变性的对抗迁移攻击

深度神经网络在物体检测、图像分类、自然语言处理、语音识别等众多领域上得到广泛应用.然而,深度神经网络很容易受到对抗样本(即在原有样本上施加人眼无法察觉的微小扰动)的攻击,而且相同的扰动可以跨模型、甚至跨任务地欺骗多个分类器.对抗样本这种跨模型迁移特性,使得深度神经网络在实际生活的应用受到了很大限制.对抗样本对神经网络的威胁,激发了研究者对对抗攻击的研究兴趣.虽然研究者们已提出了不少对抗攻击方法,但是大多数这些方法(特别是黑盒攻击方法)的跨模型的攻击能力往往较差,尤其是对经过对抗训练、输入变换等的防御模型.为此,提出了一种提高对抗样本可迁移性的方法:RLI-CI-FGSM. RLI-CI-FGSM是一种基于迁移的攻击方法,在替代模型上,使用基于梯度的白盒攻击RLI-FGSM生成对抗样本,同时使用CIM扩充源模型,使RLI-FGSM能够同时攻击替代模型和扩充模型.具体而言,RLI-FGSM算法将Radam优化算法与迭代快速符号下降法相结合,并利用目标函数的二阶导信息来生成对抗样本,避免优化算法陷入较差的局部最优.基于深度神经网络具有一定的颜色变换不变性,CIM算法通过优化对颜色变换图像集合...     

基于积分损失的对抗样本生成算法

随着计算机性能的飞速提升和数据量的爆炸式增长,深度学习在越来越多的领域取得了惊人的成果。然而,研究者们发现深度网络也存在对抗攻击。在图像分类领域,攻击者可以通过向原始的图片上加入人为设计的微小的扰动,来使得深度神经网络分类器给出错误的分类,而这种扰动对于人类来说是不可见的,加入了扰动之后的图片就是对抗样本。基于梯度攻击的对抗样本生成算法(projected gradient descent, PGD)是目前有效的攻击算法,但是这类算法容易产生过拟合。该文提出了积分损失快速梯度符号法,利用积分损失来衡量输入对于损失函数的重要性程度,规避梯度更新方向上可能陷入局部最优值的情况,不仅进一步提升了对抗样本的攻击成功率,而且也增加了对抗样本的迁移性。实验结果证明了所提方法的有效性,可以作为测试防御模型的一个基准。     

基于插值法的对抗攻击防御算法

深度神经网络(DNN)在预测过程中会受到对抗攻击而输出错误的结果,因此研究具有防御能力的新型深度学习算法,对于提高神经网络的鲁棒性和安全性有重要的价值。文章主要研究应对对抗样本攻击的被动防御方法,提出基于插值法的对抗攻击防御算法(Interpolation Defense Algorithm,IDA),实验结果表明,本算法可以提高神经网络对于对抗样本的识别率。     

基于腐蚀批归一化层的对抗攻击算法

目前在对抗样本生成研究领域,基于梯度的攻击方法由于生成速度快和资源消耗低而得到广泛应用。然而,现有大多数基于梯度的攻击方法所得对抗样本的黑盒攻击成功率并不高。最强基于梯度的攻击方法在攻击6个先进防御黑盒模型时的平均成功率只有78.2%。为此,提出一种基于腐蚀深度神经网络架构中批归一化层的对抗攻击算法来改进现有基于梯度的攻击方法,以实现所得对抗样本的黑盒攻击成功率进一步提升。在一个ImageNet兼容数据集上做了大量实验,实验结果表明所提出的算法在单模型攻击和集成模型攻击中均能与现有基于梯度的攻击方法有效组合,实现在几乎不增加额外计算开销条件下增强对抗样本的攻击性能。此外,所提算法还使得最强基于梯度的攻击方法针对6个先进防御黑盒模型的平均攻击成功率提升了9.0个百分点。     

颜色模型扰动的语义对抗样本生成方法

卷积神经网络是一种具有强大特征提取能力的深度神经网络,其在众多领域得到了广泛应用。但是,研究表明卷积神经网络易受对抗样本攻击。不同于传统的以梯度迭代生成对抗扰动的方法,提出了一种基于颜色模型的语义对抗样本生成方法,利用人类视觉和卷积模型在识别物体中表现出的形状偏好特性,通过颜色模型的扰动变换来生成对抗样本。在样本生成过程中其不需要目标模型的网络参数、损失函数或者相关结构信息,仅依靠颜色模型的变换和通道信息的随机扰动,所以这是一种可以完成黑盒攻击的对抗样本。     

面向中文文本倾向性分类的对抗样本生成方法

研究表明，在深度神经网络（DNN）的输入中添加小的扰动信息，能够使得DNN出现误判，这种攻击被称为对抗样本攻击.而对抗样本攻击也存在于基于DNN的中文文本的情感倾向性检测中，因此提出了一种面向中文文本的对抗样本生成方法WordHanding.该方法设计了新的词语重要性计算算法，并用同音词替换以生成对抗样本，用于在黑盒情况下实施对抗样本攻击.采用真实的数据集（京东购物评论和携程酒店评论），在长短记忆网络（LSTM）和卷积神经网络（CNN）这两种DNN模型上验证该方法的有效性.实验结果表明，生成的对抗样本能够很好地误导中文文本的倾向性检测系统.     

一种融合对抗层的图像通用对抗扰动生成算法

随着深度神经网络的广泛应用,其安全性问题日益突出.研究图像对抗样本生成可以提升神经网络的安全性.针对现有通用对抗扰动算法攻击成功率不高的不足,提出一种在深度神经网络中融合对抗层的图像通用对抗扰动生成算法.首先,在神经网络中引入对抗层的概念,提出一种基于对抗层的图像对抗样本产生框架;随后,将多种典型的基于梯度的对抗攻击算法融入到对抗层框架,理论分析了所提框架的可行性和可扩展性;最后,在所提框架下,给出了一种基于RMSprop的通用对抗扰动产生算法.在多个图像数据集上训练了5种不同结构的深度神经网络分类模型,并将所提对抗层算法和4种典型的通用对抗扰动算法分别用于攻击这些分类模型,比较它们的愚弄率.对比实验表明,所提通用对抗扰动生成算法具有兼顾攻击成功率和攻击效率的优点,只需要1%的样本数据就可以获得较高的攻击成率.     

面向对抗样本攻击的移动目标防御

深度神经网络已被成功应用于图像分类,但研究表明深度神经网络容易受到对抗样本的攻击。提出一种移动目标防御方法,通过 Bayes-Stackelberg 博弈策略动态切换模型,使攻击者无法持续获得一致信息,从而阻断其构建对抗样本。成员模型的差异性是提高移动目标防御效果的关键,将成员模型之间的梯度一致性作为度量,构建新的损失函数进行训练,可有效提高成员模型之间的差异性。实验结果表明,所提出的方法能够提高图像分类系统的移动目标防御性能,显著降低对抗样本的攻击成功率。     

基于梯度惩罚WGAN的人脸对抗样本生成方法

人脸识别系统面临着各种安全威胁和挑战,其中对抗样本攻击对人脸识别系统中的深度神经网络安全性和鲁棒性造成一定影响,论文针对传统对抗样本攻击方法中所存在生成效率低、对抗样本质量差等问题,提出了基于梯度惩罚Wasserstein生成对抗网络（WGAN-GP）的人脸对抗样本生成方法。首先,采用梯度惩罚项来使得神经网络的参数分布得更加均匀,保证生成对抗网络训练的稳定性;其次,在人脸对抗样本生成过程中,通过训练适合亚洲人脸的facenent攻击模型,并进行人脸的局部扰动,生成视觉质量较高的亚洲人脸对抗样本。最后,通过仿真试验实现百度人脸比对API的黑盒攻击。在平均SSIM、MSE和时间指标下,与现有同类对抗样本方法对比,所提方法在生成人脸对抗样本质量和生成效率方面都有所提升,与传统对抗样本方法对比,在质量上SSIM有2.26倍的提升,MSE有1倍的降低;在生成效率方面有99%的提升。     

文本对抗样本攻击与防御技术综述

对抗样本攻击与防御是最近几年兴起的一个研究热点,攻击者通过微小的修改生成对抗样本来使深度神经网络预测出错。生成的对抗样本可以揭示神经网络的脆弱性,并可以修复这些脆弱的神经网络以提高模型的安全性和鲁棒性。对抗样本的攻击对象可以分为图像和文本两种,大部分研究方法和成果都针对图像领域,由于文本与图像本质上的不同,在攻击和防御方法上存在很多差异。该文对目前主流的文本对抗样本攻击与防御方法做出了较为详尽的介绍,同时说明了数据集、主流攻击的目标神经网络,并比较了不同攻击方法的区别。最后总结文本对抗样本领域面临的挑战,并对未来的研究进行展望。     

一种针对快速梯度下降对抗攻击的防御方法

智能舰船识别可有效提高舰船装备智能化水平,但存在安全识别问题,即使性能卓越的分类模型也会受到对抗样本的攻击。面对快速梯度下降法（FGSM）这类对抗攻击,传统的防御方法需要先推倒已经训练好的分类模型,再通过安全手段进行重新训练。为简化这一过程,提出防御FGSM对抗攻击的FGSM-Defense算法。获得分类器对对抗样本初次预测的类别排名后,按相应置信度大小排名取出指定数量的类别。在此基础上,通过暴力搜索将这些类别依次指定为攻击目标,分别对原对抗样本进行FGSM有目标攻击,并按相应规则分步缩小搜索范围,筛选出对抗样本真实的类别。实验结果表明,该算法能够准确区分对抗样本的真实类别,在ImageNet数据集上的防御成功率为53.1%。与传统防御方法相比,其无需改变原有神经网络结构和重新训练分类模型,可减少对硬件算力的依赖,降低防御成本。     

基于图像识别的对抗鲁棒性评测系统

深度神经网络的对抗鲁棒性研究在图像识别领域具有重要意义, 相关研究聚焦于对抗样本的生成和防御模型鲁棒性增强, 但现有工作缺少对其进行全面和客观的评估. 因而, 一个有效的基准来评估图像分类任务的对抗鲁棒性的系统被建立. 本系统功能主要为榜单评测展示、对抗算法评测以及系统优化管理, 同时利用计算资源调度和容器调度保证评测任务的进行. 本系统不仅能够为多种攻击和防御算法提供动态导入接口, 还能够从攻防算法的相互对抗过程中全方面评测现有算法优劣性.     

基于神经网络智能运输系统对抗样本语义算法的分析与研究

在现代工业中智能运输系统已经被大规模运用,同时信息安全对物流行业的影响也越来越高。通过神经网络相关研究,利用对抗样本攻击神经网络模型,可以增强对抗样本的有效性,并将相关研究内容加以应用并提升智能运输系统的安全性。该文通过分析与研究神经网络对抗样本语义算法,模拟验证攻击,提高攻击样本的有效性。通过多种实验方法,针对对抗样本语义算法的改进,完善语义对抗样本的生成方法,添加对抗扰动等。实验结果表明,在经过对算法增加扰动、机器学习、特征压缩防御处理后,有效性相较于传统方法大幅提高。     

基于自适应像素去噪的对抗攻击防御方法

针对深度神经网络容易遭到对抗样本攻击导致其分类错误的问题,提出一种基于自适应像素去噪的对抗攻击防御方法。通过基于前向导数的重要性计算方法获得像素重要性分数,根据像素重要性分数对多种对抗攻击进行鲁棒性分析,将其分为鲁棒或非鲁棒攻击,制定针对不同对抗攻击的降噪策略;按照降噪策略分别对重要性分数不同的图像像素进行自适应形态学降噪获得像素去噪图像;使用像素重要性分数、像素去噪图像等信息训练自适应像素去噪模型学习上述去噪过程,进行对抗防御。实验结果表明,该防御能在多个数据集与模型上快速且有效地防御各种对抗攻击,确保原始样本的精确分类。     

一种基于局部扰动的图像对抗样本生成方法

近年来, 随着人工智能的研究和发展, 深度学习被广泛应用。深度学习在自然语言处理、计算机视觉等多个领域表现出良好的效果。特别是计算机视觉方面, 在图像识别和图像分类中, 深度学习具备非常高的准确性。然而越来越多的研究表明, 深度神经网络存在着安全隐患, 其中就包括对抗样本攻击。对抗样本是一种人为加入特定扰动的数据样本, 这种特殊样本在传递给已训练好的模型时, 神经网络模型会输出与预期结果不同的结果。在安全性要求较高的场景下, 对抗样本显然会对采用深度神经网络的应用产生威胁。目前国内外对于对抗样本的研究主要集中在图片领域, 图像对抗样本就是在图片中加入特殊信息的图片数据, 使基于神经网络的图像分类模型做出错误的分类。已有的图像对抗样本方法主要采用全局扰动方法,即将这些扰动信息添加在整张图片上。相比于全局扰动, 局部扰动将生成的扰动信息添加到图片的非重点区域, 从而使得对抗样本隐蔽性更强, 更难被人眼发现。本文提出了一种生成局部扰动的图像对抗样本方法。该方法首先使用 Yolo 目标检测方法识别出图片中的重点位置区域, 然后以 MIFGSM 方法为基础, 结合 Curls 方法中提到的先梯度下降再梯度上升的思想,在非重点区域添加扰动信息, 从而生成局部扰动的对抗样本。实验结果表明, 在对抗扰动区域减小的情况下可以实现与全局扰动相同的攻击成功率。