基于快速边界攻击的黑盒对抗样本生成方法

深度学习技术在不同领域有着广泛的应用, 然而一个训练好的深度学习模型很容易受到干扰而得出错误的结果, 从而引发严重的安全问题. 为了检验深度学习模型的抗干扰性, 提高模型的安全性和鲁棒性, 有必要使用对抗样本进行对抗评估和对抗训练. 有目标的黑盒对抗样本的生成方法具有较好的实用性, 是该领域的研究热点之一. 有目标的黑盒对抗样本生成的难点在于, 如何在保证攻击成功率的前提下提高对抗样本的生成效率. 为了解决这一难点, 本文提出了一种基于快速边界攻击的有目标攻击样本生成方法. 该方法包括线上的搜索和面上的搜索两步. 线上的搜索由单侧折半法来完成, 用于提高搜索效率; 面上的搜索通过自适应调节搜索半径的随机搜索完成, 用于提高搜索的广度. 通过对5组图片的实验结果验证了方法的可行性.     

基于条件对抗生成网络的对抗样本防御方法

人工智能目前在诸多领域均得到较好应用,然而通过对抗样本会使神经网络模型输出错误的分类.研究提升神经网络模型鲁棒性的同时如何兼顾算法运行效率,对于深度学习在现实中的落地使用意义重大.针对上述问题,本文提出一种基于条件对抗生成网络的对抗样本防御方法Defense-CGAN.首先使用对抗生成网络生成器根据输入噪声与标签信息生...     

基于GAN的对抗样本生成研究

深度卷积神经网络在图像分类、目标检测和人脸识别等任务上取得了较好性能,但其在面临对抗攻击时容易发生误判。为了提高卷积神经网络的安全性,针对图像分类中的定向对抗攻击问题,提出一种基于生成对抗网络的对抗样本生成方法。利用类别概率向量重排序函数和生成对抗网络,在待攻击神经网络内部结构未知的前提下对其作对抗攻击。实验结果显示,提出的方法在对样本的扰动不超过5%的前提下,定向对抗攻击的平均成功率较对抗变换网络提高了1.5%,生成对抗样本所需平均时间降低了20%。     

基于遗传算法的数据中心流量对抗样本生成方法

随着数据中心应用的广泛化,针对网络的攻击事件时常发生,围绕网络安全的攻防逐渐成为研究的热点。为了实现对数据中心网络的黑盒攻击,提出了一种基于遗传算法（GA）的对抗输入生成算法（AdvGA）。AdvGA对GA各环节进行了针对性的设计：首先,采用实数编码对染色体进行编码,使用数据流量的实际值来表示个体;然后,将最大化网络数据流完成时间（FCT）作为优化目标来设计适应度函数;最后,使用贪心选择、部分交叉映射和均匀变异算法来设计遗传算子,生成最优的对抗样本。在实验部分,将Fat-Tree作为目标数据中心网络发起对抗攻击,结果表明与随机搜索生成的输入相比,AdvGA生成的对抗流量样本导致数据流完成时间增加了约20%;并且,相较于布谷鸟搜索（CS）算法以及传统GA,AdvGA的算法收敛速度提高了43%～60%,攻击效果提高25%～35%;与差分进化（DE）算法相比,虽然收敛迭代次数略有增加,但是所生成的流量样本具有更好的对抗性。这些结果表明,所提方法能够有效针对数据中心网络进行对抗攻击,通过对网络流量对抗样本生成方法的研究,也进一步为提高网络性能稳定性以及安全性开拓了思路。     

基于平移随机变换的对抗样本生成方法

基于深度神经网络的图像分类模型能够以达到甚至高于人眼的识别度识别图像,但是因模型自身结构的脆弱性,导致其容易受对抗样本的攻击。现有的对抗样本生成方法具有较高的白盒攻击率,而在黑盒条件下对抗样本的攻击成功率较低。将数据增强技术引入到对抗样本生成过程中,提出基于平移随机变换的对抗样本生成方法。通过构建概率模型对原始图像进行随机平移变换,并将变换后的图像用于生成对抗样本,有效缓解对抗样本生成过程中的过拟合现象。在此基础上,采用集成模型攻击的方式生成可迁移性更强的对抗样本,从而提高黑盒攻击成功率。在ImageNet数据集上进行单模型和集成模型攻击的实验结果表明,该方法的黑盒攻击成功率高达80.1%,与迭代快速梯度符号方法和动量迭代快速梯度符号方法相比,该方法的白盒攻击成功率虽然略有降低,但仍保持在97.8%以上。     

基于抽样向量扰动的对抗样本生成方法

深度学习算法在很多领域取得了卓越的成就,但同时也容易受到对抗样本的攻击.使用对抗样本训练模型是抵御模型被攻击的有效手段,但这需要大量对抗样本的支持.为了提升对抗样本的生成效率,本文提出了一种基于抽样向量扰动的对抗样本生成方法(SPVT).实验结果表明,该方法可以在短时间内生成大量有效对抗样本,并且能够自适应计算出FGS...     

基于生成对抗网络的多目标类别对抗样本生成算法

深度神经网络在很多领域表现出色,但是研究表明其很容易受到对抗样本的攻击.目前针对神经网络进行攻击的算法众多,但绝大多数攻击算法的攻击速度较慢,因此快速生成对抗样本逐渐成为对抗样本领域的研究重点.AdvGAN是一种使用网络攻击网络的算法,生成对抗样本的速度极快,但是当进行有目标攻击时,其要为每个目标训练一个网络,使攻击的...     

对抗样本生成在人脸识别中的研究与应用

随着深度学习模型在人脸识别、无人驾驶等安全敏感性任务中的广泛应用,围绕深度学习模型展开的攻防逐渐成为机器学习和安全领域研究的热点。黑盒攻击作为典型的攻击类型,在不知模型具体结构、参数、使用的数据集等情况下仍能进行有效攻击,是真实背景下最常用的攻击方法。随着社会对人脸识别技术的依赖越来越强,在安全性高的场合里部署神经网络,往往容易忽略其脆弱性带来的安全威胁。充分分析深度学习模型存在的脆弱性并运用生成对抗网络,设计一种新颖的光亮眼镜贴片样本,能够成功欺骗基于卷积神经网络的人脸识别系统。实验结果表明,基于生成对抗网络生成的对抗眼镜贴片样本能够成功攻击人脸识别系统,性能优于传统的优化方法。     

结合扰动约束的低感知性对抗样本生成方法

目的 对抗样本是指在原始数据中添加细微干扰使深度模型输出错误结果的合成数据。视觉感知性和攻击成功率是评价对抗样本的两个关键指标。当前大多数对抗样本研究侧重于提升算法的攻击成功率,对视觉感知性的关注较少。为此,本文提出了一种低感知性对抗样本生成算法,构造的对抗样本在保证较高攻击成功率的情况下具有更低的视觉感知性。方法 提出在黑盒条件下通过约束对抗扰动的面积与空间分布以降低对抗样本视觉感知性的方法。利用卷积网络提取图像中对输出结果影响较大的关键区域作为约束,限定扰动的位置。之后结合带有自注意力机制的生成对抗网络在关键区域添加扰动,最终生成具有低感知性的对抗样本。结果 在3种公开分类数据集上与多种典型攻击方法进行比较,包括7种白盒算法FGSM(fast gradient sign method)、BIM(basic iterative method)、DeepFool、PerC-C&W(perceptual color distance C&W)、JSMA (Jacobian-based saliency map attacks)、APGD (auto projected g...     

基于改进遗传算法的对抗样本生成方法

对抗样本是评估模型安全性和鲁棒性的有效工具,对模型进行对抗训练能有效提升模型的安全性。现有对抗攻击按主流分类方法可分为白盒攻击和黑盒攻击两类,其中黑盒攻击方法普遍存在攻击效率低、隐蔽性差等问题。提出一种基于改进遗传算法的黑盒攻击方法,通过在对抗样本进化过程中引入类间激活热力图解释方法,并对原始图像进行区域像素划分,将扰动进化限制在图像关键区域,以提升所生成对抗样本的隐蔽性。在算法中使用自适应概率函数与精英保留策略,提高算法的攻击效率,通过样本初始化、选择、交叉、变异等操作,在仅掌握模型输出标签及其置信度的情况下实现黑盒攻击。实验结果表明,与同是基于遗传算法的POBA-GA黑盒攻击方法相比,该方法在相同攻击成功率下生成的对抗样本隐蔽性更好,且生成过程中模型访问次数更少,隐蔽性平均提升7.14%,模型访问次数平均降低6.43%。     

基于FGSM的对抗样本生成算法

近年来,深度学习算法在各个领域都取得了极大的成功,给人们的生活带来了极大便利。然而深度神经网络由于其固有特性,用于分类任务时,存在不稳定性,很多因素都影响着分类的准确性,尤其是对抗样本的干扰,通过给图片加上肉眼不可见的扰动,影响分类器的准确性,给深度神经网络带来了极大的威胁。通过对相关对抗样本的研究,该文提出一种基于白盒攻击的对抗样本生成算法DCI-FGSM(Dynamic Change Iterative Fast Gradient Sign Method)。通过动态更新梯度及噪声幅值,可以防止模型陷入局部最优,提高了生成对抗样本的效率,使得模型的准确性下降。实验结果表明,在MINIST数据集分类的神经网络攻击上DCI-FGSM取得了显著的效果,与传统的对抗样本生成算法FGSM相比,将攻击成功率提高了25%,具有更高的攻击效率。     

基于图像翻转变换的对抗样本生成方法

面对对抗样本的攻击,深度神经网络是脆弱的。对抗样本是在原始输入图像上添加人眼几乎不可见的噪声生成的,从而使深度神经网络误分类并带来安全威胁。因此在深度神经网络部署前,对抗性攻击是评估模型鲁棒性的重要方法。然而,在黑盒情况下,对抗样本的攻击成功率还有待提高,即对抗样本的可迁移性有待提升。针对上述情况,提出基于图像翻转变换的对抗样本生成方法——FT-MI-FGSM（Flipping Transformation Momentum Iterative Fast Gradient Sign Method）。首先,从数据增强的角度出发,在对抗样本生成过程的每次迭代中,对原始输入图像随机翻转变换;然后,计算变换后图像的梯度;最后,根据梯度生成对抗样本以减轻对抗样本生成过程中的过拟合,并提升对抗样本的可迁移性。此外,通过使用攻击集成模型的方法,进一步提高对抗样本的可迁移性。在ImageNet数据集上验证了所提方法的有效性。相较于I-FGSM（Iterative Fast Gradient Sign Method）和MI-FGSM（Momentum I-FGSM）,在攻击集成模型设置下,FT-MI-FGSM在对抗训练网络上的平均黑盒攻击成功率分别提升了26.0和8.4个百分点。     

基于复合生成对抗网络的对抗样本生成算法研究

对抗样本能够作为训练数据辅助提高模型的表达能力,还能够评估深度学习模型的稳健性.然而,通过在一个小的矩阵范数内扰乱原始数据点的生成方式,使得对抗样本的规模受限于原始数据.为了更高效地获得任意数量的对抗样本,探索一种不受原始数据限制的对抗样本生成方式具有重要意义.鉴于此,提出一种基于生成对抗网络的对抗样本生成模型(multiple attack generative adversarial networks, M-AttGAN).首先,将模型设计为同时训练2组生成对抗网络,分别对原始数据样本分布和模型潜在空间下的扰动分布进行建模;然后,训练完成的M-AttGAN能够不受限制地高效生成带有扰动的对抗样本,为对抗训练和提高深度神经网络的稳健性提供更多可能性;最后,通过MNIST和CIFAT-10数据集上的多组实验,验证利用生成对抗网络对数据分布良好的学习能力进行对抗样本生成是可行的.实验结果表明,相较于常规攻击方法,M-AttGAN不仅能够脱离原始数据的限制生成高质量的对抗样本,而且样本具备良好的攻击性和攻击迁移能力.     

对抗样本生成技术综述

如今,深度学习已被广泛应用于图像分类和图像识别的问题中,取得了令人满意的实际效果,成为许多人工智能应用的关键所在.在对于模型准确率的不断探究中,研究人员在近期提出了"对抗样本"这一概念.通过在原有样本中添加微小扰动的方法,成功地大幅度降低原有分类深度模型的准确率,实现了对于深度学习的对抗目的,同时也给深度学习的攻方提供了新的思路,对如何开展防御提出了新的要求.在介绍对抗样本生成技术的起源和原理的基础上,对近年来有关对抗样本的研究和文献进行了总结,按照各自的算法原理将经典的生成算法分成两大类——全像素添加扰动和部分像素添加扰动.之后,以目标定向和目标非定向、黑盒测试和白盒测试、肉眼可见和肉眼不可见的二级分类标准进行二次分类.同时,使用MNIST数据集对各类代表性的方法进行了实验验证,以探究各种方法的优缺点.最后总结了生成对抗样本所面临的挑战及其可以发展的方向,并就该技术的发展前景进行了探讨.     

基于稀疏扰动的对抗样本生成方法

近年来,深度神经网络(deep neural network, DNN)在图像领域取得了巨大的进展.然而研究表明, DNN容易受到对抗样本的干扰,表现出较差的鲁棒性.通过生成对抗样本攻击DNN,可以对DNN的鲁棒性进行评估,进而采取相应的防御方法提高DNN的鲁棒性.现有对抗样本生成方法依旧存在生成扰动稀疏性不足、扰动幅度过大等缺陷.提出一种基于稀疏扰动的对抗样本生成方法——SparseAG (sparse perturbation based adversarial example generation),该方法针对图像样本能够生成较为稀疏并且幅度较小的扰动.具体来讲, SparseAG方法首先基于损失函数关于输入图像的梯度值迭代地选择扰动点来生成初始对抗样本,每一次迭代按照梯度值由大到小的顺序确定新增扰动点的候选集,选择使损失函数值最小的扰动添加到图像中.其次,针对初始扰动方案,通过一种扰动优化策略来提高对抗样本的稀疏性和真实性,基于每个扰动的重要性来改进扰动以跳出局部最优,并进一步减少冗余扰动以及冗余扰动幅度.选取CIFAR-10数据集以及ImageNet数据集,在目标攻击以及非目...     

面向规避僵尸网络流量检测的对抗样本生成

基于机器学习的僵尸网络流量检测是现阶段网络安全领域比较热门的研究方向,然而生成对抗网络(generative adversarial networks,GAN)的出现使得机器学习面临巨大的挑战.针对这个问题,在未知僵尸网络流量检测器模型结构和参数的假设条件下,基于生成对抗网络提出了一种新的用于黑盒攻击的对抗样本生成方法...     

颜色模型扰动的语义对抗样本生成方法

卷积神经网络是一种具有强大特征提取能力的深度神经网络,其在众多领域得到了广泛应用.但是,研究表明卷积神经网络易受对抗样本攻击.不同于传统的以梯度迭代生成对抗扰动的方法,提出了一种基于颜色模型的语义对抗样本生成方法,利用人类视觉和卷积模型在识别物体中表现出的形状偏好特性,通过颜色模型的扰动变换来生成对抗样本.在样本生成过...     

面向恶意软件检测模型的黑盒对抗攻击方法

深度学习方法已被广泛应用于恶意软件检测中并取得了较好的预测精度,但同时深度神经网络容易受到对输入数据添加细微扰动的对抗攻击,导致模型输出错误的预测结果,从而使得恶意软件检测失效。针对基于深度学习的恶意软件检测方法的安全性,提出了一种面向恶意软件检测模型的黑盒对抗攻击方法。首先在恶意软件检测模型内部结构参数完全未知的前提下,通过生成对抗网络模型来生成恶意软件样本;然后使生成的对抗样本被识别成预先设定的目标类型以实现目标攻击,从而躲避恶意软件检测;最后,在Kaggle竞赛的恶意软件数据集上展开实验,验证了所提黑盒攻击方法的有效性。进一步得到,生成的对抗样本也可对其他恶意软件检测方法攻击成功,这验证了其具有较强的攻击迁移性。     

多尺度梯度对抗样本生成网络

传统的行人重识别(Person Re-identification, ReID)对抗攻击方法存在需要依赖注册集(Gallery)以生成对抗样本或样本生成方式过于单一等局限.为了解决此问题,文中提出具有强攻击性的ReID对抗攻击模型,即多尺度梯度对抗样本生成网络(Multi-scale Gradient Adversarial Examples Generation Network, MSG-AEGN).MSG-AEGN采用多尺度的网络结构,获得不同语义级别的原始样本输入和生成器中间特征.利用注意力调制模块将生成器中间特征转换成多尺度权重,从而对原始样本像素进行调制,最终输出高质量的对抗样本以迷惑ReID模型.在此基础上,提出基于图像特征平均距离和三元组损失的改进型对抗损失函数,约束和引导MSG-AEGN的训练.在Market1501、CUHK03、DukeMTMC-reID这3个行人重识别数据集上的实验表明,MSG-AEGN对基于深度卷积神经网络和基于变形器网络(Transformer)的主流Re-ID方法均具有较好的攻击效果.此外,MSG-AEGN具有所需攻击能量较低且对抗样本与原始...     

面向中文文本倾向性分类的对抗样本生成方法

研究表明，在深度神经网络（DNN）的输入中添加小的扰动信息，能够使得DNN出现误判，这种攻击被称为对抗样本攻击.而对抗样本攻击也存在于基于DNN的中文文本的情感倾向性检测中，因此提出了一种面向中文文本的对抗样本生成方法WordHanding.该方法设计了新的词语重要性计算算法，并用同音词替换以生成对抗样本，用于在黑盒情况下实施对抗样本攻击.采用真实的数据集（京东购物评论和携程酒店评论），在长短记忆网络（LSTM）和卷积神经网络（CNN）这两种DNN模型上验证该方法的有效性.实验结果表明，生成的对抗样本能够很好地误导中文文本的倾向性检测系统.