对抗样本生成在人脸识别中的研究与应用

随着深度学习模型在人脸识别、无人驾驶等安全敏感性任务中的广泛应用,围绕深度学习模型展开的攻防逐渐成为机器学习和安全领域研究的热点。黑盒攻击作为典型的攻击类型,在不知模型具体结构、参数、使用的数据集等情况下仍能进行有效攻击,是真实背景下最常用的攻击方法。随着社会对人脸识别技术的依赖越来越强,在安全性高的场合里部署神经网络,往往容易忽略其脆弱性带来的安全威胁。充分分析深度学习模型存在的脆弱性并运用生成对抗网络,设计一种新颖的光亮眼镜贴片样本,能够成功欺骗基于卷积神经网络的人脸识别系统。实验结果表明,基于生成对抗网络生成的对抗眼镜贴片样本能够成功攻击人脸识别系统,性能优于传统的优化方法。     

基于梯度惩罚WGAN的人脸对抗样本生成方法

人脸识别系统面临着各种安全威胁和挑战,其中对抗样本攻击对人脸识别系统中的深度神经网络安全性和鲁棒性造成一定影响,论文针对传统对抗样本攻击方法中所存在生成效率低、对抗样本质量差等问题,提出了基于梯度惩罚Wasserstein生成对抗网络（WGAN-GP）的人脸对抗样本生成方法。首先,采用梯度惩罚项来使得神经网络的参数分布得更加均匀,保证生成对抗网络训练的稳定性;其次,在人脸对抗样本生成过程中,通过训练适合亚洲人脸的facenent攻击模型,并进行人脸的局部扰动,生成视觉质量较高的亚洲人脸对抗样本。最后,通过仿真试验实现百度人脸比对API的黑盒攻击。在平均SSIM、MSE和时间指标下,与现有同类对抗样本方法对比,所提方法在生成人脸对抗样本质量和生成效率方面都有所提升,与传统对抗样本方法对比,在质量上SSIM有2.26倍的提升,MSE有1倍的降低;在生成效率方面有99%的提升。     

基于改进遗传算法的对抗样本生成方法

对抗样本是评估模型安全性和鲁棒性的有效工具,对模型进行对抗训练能有效提升模型的安全性。现有对抗攻击按主流分类方法可分为白盒攻击和黑盒攻击两类,其中黑盒攻击方法普遍存在攻击效率低、隐蔽性差等问题。提出一种基于改进遗传算法的黑盒攻击方法,通过在对抗样本进化过程中引入类间激活热力图解释方法,并对原始图像进行区域像素划分,将扰动进化限制在图像关键区域,以提升所生成对抗样本的隐蔽性。在算法中使用自适应概率函数与精英保留策略,提高算法的攻击效率,通过样本初始化、选择、交叉、变异等操作,在仅掌握模型输出标签及其置信度的情况下实现黑盒攻击。实验结果表明,与同是基于遗传算法的POBA-GA黑盒攻击方法相比,该方法在相同攻击成功率下生成的对抗样本隐蔽性更好,且生成过程中模型访问次数更少,隐蔽性平均提升7.14%,模型访问次数平均降低6.43%。     

基于腐蚀批归一化层的对抗攻击算法

目前在对抗样本生成研究领域,基于梯度的攻击方法由于生成速度快和资源消耗低而得到广泛应用。然而,现有大多数基于梯度的攻击方法所得对抗样本的黑盒攻击成功率并不高。最强基于梯度的攻击方法在攻击6个先进防御黑盒模型时的平均成功率只有78.2%。为此,提出一种基于腐蚀深度神经网络架构中批归一化层的对抗攻击算法来改进现有基于梯度的攻击方法,以实现所得对抗样本的黑盒攻击成功率进一步提升。在一个ImageNet兼容数据集上做了大量实验,实验结果表明所提出的算法在单模型攻击和集成模型攻击中均能与现有基于梯度的攻击方法有效组合,实现在几乎不增加额外计算开销条件下增强对抗样本的攻击性能。此外,所提算法还使得最强基于梯度的攻击方法针对6个先进防御黑盒模型的平均攻击成功率提升了9.0个百分点。     

基于输入通道拆分的对抗攻击迁移性增强算法

深度神经网络已被应用于人脸识别、自动驾驶等场景中,但容易受到对抗样本的攻击。对抗样本的生成方法被分为白盒攻击和黑盒攻击,当对抗攻击算法攻击白盒模型时存在过拟合问题,导致生成对抗样本的迁移性降低。提出一种用于生成高迁移性对抗样本的对抗攻击算法CSA。在每次迭代过程中,通过对输入RGB图片的通道进行拆分,得到三张具有一个通道的输入图片,并对其进行零值填充,获得三张具有三个通道的输入图片。将最终得到的图片与原始RGB输入图片共同传入到模型中进行梯度计算,调整原始梯度的更新方向,避免出现局部最优。在此基础上,通过符号法生成对抗样本。在ImageNet数据集上的实验验证该算法的有效性,结果表明,CSA算法能够有效提高对抗攻击的迁移性,在四种常规训练模型上的攻击成功率平均为84.2%,与DIM、TIM结合所得DI-TI-CSA算法在三种对抗训练黑盒模型上的攻击成功率平均为94.7%,对七种防御模型的攻击成功率平均为91.8%。     

基于红外场景行人检测对抗贴片研究

文章提出一种新的针对红外场景下行人目标的对抗贴片生成方法。该方法首先将对抗贴片进行了对比度调整、亮度变换、添加噪声、随机放缩以及随机角度调整等多样性变换;其次利用目标检测系统YOLO-v3对输入的对抗样本进行分类预测;再次与不可打印损失和平滑损失相结合获得迭代损失,通过反向传播对贴片进行更新;最后,利用LLVIP红外图像数据集进行验证,当置信度分数为0.5时,该方法可以达到14.00%的攻击成功率,在一定程度上实现较好的对抗攻击效果。     

一种基于局部平均有限差分的黑盒对抗攻击方法

在黑盒攻击领域,目前主流方法是利用对抗样本迁移性实现对抗攻击,然而此类方法效果不佳。为此提出一种基于访问的黑盒攻击方法,此方法运用有限差分法直接估计样本在目标模型中的损失函数梯度。为提高攻击效率,算法在两方面进行优化:第一,在估计梯度时,固定区域内使用平均像素值代替区域所有像素值进行有限差分,从而每个区域只需计算一次梯度;第二,在迭代生成对抗样本时,提出复用多代梯度生成对抗扰动的思想,显著减少攻击迭代次数。经过大量实验验证,在MNIST、 CIFAR-10和ImageNet中迭代的非目标攻击分别获得了99. 8%、 99. 9%和85. 8%的攻击成功率,领先当今大多数黑盒攻击算法。     

基于平移随机变换的对抗样本生成方法

基于深度神经网络的图像分类模型能够以达到甚至高于人眼的识别度识别图像,但是因模型自身结构的脆弱性,导致其容易受对抗样本的攻击。现有的对抗样本生成方法具有较高的白盒攻击率,而在黑盒条件下对抗样本的攻击成功率较低。将数据增强技术引入到对抗样本生成过程中,提出基于平移随机变换的对抗样本生成方法。通过构建概率模型对原始图像进行随机平移变换,并将变换后的图像用于生成对抗样本,有效缓解对抗样本生成过程中的过拟合现象。在此基础上,采用集成模型攻击的方式生成可迁移性更强的对抗样本,从而提高黑盒攻击成功率。在ImageNet数据集上进行单模型和集成模型攻击的实验结果表明,该方法的黑盒攻击成功率高达80.1%,与迭代快速梯度符号方法和动量迭代快速梯度符号方法相比,该方法的白盒攻击成功率虽然略有降低,但仍保持在97.8%以上。     

攻击分类器的对抗样本生成技术的现状分析

对抗样本生成技术是近年来深度学习应用于安全领域的一个热点,主要是研究对抗样本生成的机理、方法和实现方法,其目的是为了更好地理解和应对深度学习系统的脆弱性和安全性问题。重点关注深度神经网络分类器的对抗样本生成技术,介绍了对抗样本的概念,按“攻击条件”和“攻击目标”,将分类器的攻击分为四大类,分别是白盒条件下的定向攻击、白盒条件下的非定向攻击、黑盒条件下的定向攻击和黑盒条件下的非定向攻击。在此基础上,深入分析了每种攻击下典型的对抗样本生成技术,包括基本思想、方法和实现算法,并从适用场景、优点和缺点三个角度对它们进行了比较。通过对研究现状的分析,表明了对抗样本生成技术的多样性、规律性,以及不同生成技术的共性和差异性,为进一步研究和发展对抗样本生成技术,提高深度学习系统的安全性,提供有益的参考。     

基于模型间迁移性的黑盒对抗攻击起点提升方法

为高效地寻找基于决策的黑盒攻击下的对抗样本,提出一种利用模型之间的迁移性提升对抗起点的方法。通过模型之间的迁移性来循环叠加干扰图像,生成初始样本作为新的攻击起点进行边界攻击,实现基于决策的无目标黑盒对抗攻击和有目标黑盒对抗攻击。实验结果表明,无目标攻击节省了23%的查询次数,有目标攻击节省了17%的查询次数,且整个黑盒攻击算法所需时间低于原边界攻击算法所耗费的时间。     

基于图像翻转变换的对抗样本生成方法

面对对抗样本的攻击,深度神经网络是脆弱的。对抗样本是在原始输入图像上添加人眼几乎不可见的噪声生成的,从而使深度神经网络误分类并带来安全威胁。因此在深度神经网络部署前,对抗性攻击是评估模型鲁棒性的重要方法。然而,在黑盒情况下,对抗样本的攻击成功率还有待提高,即对抗样本的可迁移性有待提升。针对上述情况,提出基于图像翻转变换的对抗样本生成方法——FT-MI-FGSM（Flipping Transformation Momentum Iterative Fast Gradient Sign Method）。首先,从数据增强的角度出发,在对抗样本生成过程的每次迭代中,对原始输入图像随机翻转变换;然后,计算变换后图像的梯度;最后,根据梯度生成对抗样本以减轻对抗样本生成过程中的过拟合,并提升对抗样本的可迁移性。此外,通过使用攻击集成模型的方法,进一步提高对抗样本的可迁移性。在ImageNet数据集上验证了所提方法的有效性。相较于I-FGSM（Iterative Fast Gradient Sign Method）和MI-FGSM（Momentum I-FGSM）,在攻击集成模型设置下,FT-MI-FGSM在对抗训练网络上的平均黑盒攻击成功率分别提升了26.0和8.4个百分点。     

基于GAN的对抗样本生成研究

深度卷积神经网络在图像分类、目标检测和人脸识别等任务上取得了较好性能,但其在面临对抗攻击时容易发生误判。为了提高卷积神经网络的安全性,针对图像分类中的定向对抗攻击问题,提出一种基于生成对抗网络的对抗样本生成方法。利用类别概率向量重排序函数和生成对抗网络,在待攻击神经网络内部结构未知的前提下对其作对抗攻击。实验结果显示,提出的方法在对样本的扰动不超过5%的前提下,定向对抗攻击的平均成功率较对抗变换网络提高了1.5%,生成对抗样本所需平均时间降低了20%。     

融合高斯噪声和翻转策略的对抗攻击

在对抗攻击研究领域,黑盒攻击相比白盒攻击更具挑战性和现实意义.目前实现黑盒攻击的主流方法是利用对抗样本的迁移性,然而现有大多数方法所得的对抗样本在黑盒攻击时效果不佳.本文提出了一种基于高斯噪声和翻转组合策略方法来增强对抗样本的迁移性,进而提升其黑盒攻击性能.同时,该方法可与现有基于梯度的攻击方法相结合形成更强的对抗攻击...     

基于差分进化的缺陷样本生成算法

黑盒攻击主要是基于决策的攻击,但普遍存在查询次数多、敏感点难选择的问题,因此提出了基于差分进化的缺陷样本生成算法。算法将黑盒攻击定义为一个无约束优化问题,利用差分进化搜索图像敏感点,并优化基于深度学习模型决策定义的损失函数以及梯度计算方法,实现有效的黑盒攻击。在攻击成功率相同的条件下,在MNIST和CIFAR10数据集上的平均查询次数分别减少了28.3%和14.8%。     

端到端说话人辨认的对抗样本应用比较研究

为探究对抗样本对端到端说话人辨认系统的安全威胁与攻击效果,比较现有对抗样本生成算法在语音环境下的性能优劣势,分析FGSM、JSMA、BIM、C&W、PGD 5种白盒算法和ZOO、HSJA 2种黑盒算法。将7种对抗样本生成算法在ResCNN和GRU两种网络结构的端到端说话人辨认模型中实现有目标和无目标攻击,并制作音频对抗样本,通过攻击成功率和信噪比等性能指标评估攻击效果并进行人工隐蔽性测试。实验结果表明,现有对抗样本生成算法可在端到端说话人辨认模型中进行实现,白盒算法中的BIM、PGD具有较好的性能表现,黑盒算法的无目标攻击能达到白盒算法的攻击效果,但其有目标攻击性能有待进一步提升。     

物理域中针对人脸识别系统的对抗样本攻击方法

对抗样本攻击揭示了人脸识别系统可能存在不安全性和被攻击的方式。现有针对人脸识别系统的对抗样本攻击大多在数字域进行,然而从最近文献检索的结果来看,越来越多的研究开始关注如何能把带有对抗扰动的实物添加到人脸及其周边区域上,如眼镜、贴纸、帽子等,以实现物理域的对抗攻击。这类新型的对抗样本攻击能够轻易突破市面上现有绝大部分人脸活体检测方法的拦截,直接影响人脸识别系统的结果。尽管已有不少文献提出数字域的对抗攻击方法,但在物理域中复现对抗样本的生成并不容易且成本高昂。本文提出一种可从数字域方便地推广到物理域的对抗样本生成方法,通过在原始人脸样本中添加特定形状的对抗扰动来攻击人脸识别系统,达到误导或扮演攻击的目的。主要贡献包括:利用人脸关键点根据脸型构建特定形状掩膜来生成对抗扰动;设计对抗损失函数,通过训练生成器实现在数字域的对抗样本生成;设计打印分数损失函数,减小打印色差,在物理域复现对抗样本的生成,并通过模拟眼镜佩戴、真实场景光照变化等方式增强样本,改善质量。实验结果表明,所生成的对抗样本不仅能在数字域以高成功率攻破典型人脸识别系统VGGFace10,且可方便、大量地在物理域复现。本文方法揭示了人脸识别系统的潜在安全风险,为设计人脸识别系统的防御体系提供了很好的帮助。     

基于生成对抗网络的目标检测黑盒迁移攻击算法

目标检测被广泛应用到自动驾驶、工业、医疗等各个领域. 利用目标检测算法解决不同领域中的关键任务逐渐成为主流. 然而基于深度学习的目标检测模型在对抗样本攻击下, 模型的鲁棒性存在严重不足, 通过加入微小扰动构造的对抗样本很容易使模型预测出错. 这极大地限制了目标检测模型在关键安全领域的应用. 在实际应用中的模型普遍是黑盒模型, 现有的针对目标检测模型的黑盒攻击相关研究不足, 存在鲁棒性评测不全面, 黑盒攻击成功率较低, 攻击消耗资源较高等问题. 针对上述问题, 提出基于生成对抗网络的目标检测黑盒攻击算法, 所提算法利用融合注意力机制的生成网络直接输出对抗扰动, 并使用替代模型的损失和所提的类别注意力损失共同优化生成网络参数, 可以支持定向攻击和消失攻击两种场景. 在Pascal VOC数据集和MS COCO数据集上的实验结果表明, 所提方法比目前攻击方法的黑盒迁移攻击成功率更高, 并且可以在不同数据集之间进行迁移攻击.     

GAN图像对抗样本生成方法

为了提高生成对抗网络模型对抗样本的多样性和攻击成功率,提出了一种GAN图像对抗样本生成方法.首先,利用原始样本集整体训练一个深度卷积对抗生成网络G1,模拟原始样本集分布;其次,在黑盒攻击场景下,利用模型蒸馏方法对目标模型进行黑盒复制,获取目标模型的本地复制;然后以G1的输出作为输入,以蒸馏模型作为目标模型,训练生成对抗...     

拓扑自适应粒子群优化的黑盒对抗攻击

深度学习模型在对抗攻击面前非常脆弱,即使对数据添加一个小的、感知上无法区分的扰动,也很容易降低其分类性能.针对现有黑盒对抗攻击方法存在效率低和成功率不高的问题,提出基于拓扑自适应粒子群优化的黑盒对抗攻击方法.首先根据原始图像随机生成初始对抗样本种群;然后根据邻域信息计算各样本的扰动并在搜索空间内迭代,计算动态惩罚项系数以控制样本的适应度值,当迭代多次种群适应度值未提高时,各样本进行邻域重分布,根据进化轨迹调整状态;最后修剪多余扰动获得最终的对抗样本.以InceptionV3等分类模型为攻击对象,使用MNIST,CIFAR-10和ImageNet数据集,在相同的样本数量和模型访问限制条件下,进行无目标对抗攻击和目标对抗攻击实验.结果表明,与现有方法相比,所提攻击方法具有较少的模型访问次数和较高的攻击成功率,对InceptionV3模型的平均访问次数为2 502,攻击成功率为94.30%.     

颜色模型扰动的语义对抗样本生成方法

卷积神经网络是一种具有强大特征提取能力的深度神经网络,其在众多领域得到了广泛应用。但是,研究表明卷积神经网络易受对抗样本攻击。不同于传统的以梯度迭代生成对抗扰动的方法,提出了一种基于颜色模型的语义对抗样本生成方法,利用人类视觉和卷积模型在识别物体中表现出的形状偏好特性,通过颜色模型的扰动变换来生成对抗样本。在样本生成过程中其不需要目标模型的网络参数、损失函数或者相关结构信息,仅依靠颜色模型的变换和通道信息的随机扰动,所以这是一种可以完成黑盒攻击的对抗样本。