基于生成对抗网络的目标检测黑盒迁移攻击算法

目标检测被广泛应用到自动驾驶、工业、医疗等各个领域. 利用目标检测算法解决不同领域中的关键任务逐渐成为主流. 然而基于深度学习的目标检测模型在对抗样本攻击下, 模型的鲁棒性存在严重不足, 通过加入微小扰动构造的对抗样本很容易使模型预测出错. 这极大地限制了目标检测模型在关键安全领域的应用. 在实际应用中的模型普遍是黑盒模型, 现有的针对目标检测模型的黑盒攻击相关研究不足, 存在鲁棒性评测不全面, 黑盒攻击成功率较低, 攻击消耗资源较高等问题. 针对上述问题, 提出基于生成对抗网络的目标检测黑盒攻击算法, 所提算法利用融合注意力机制的生成网络直接输出对抗扰动, 并使用替代模型的损失和所提的类别注意力损失共同优化生成网络参数, 可以支持定向攻击和消失攻击两种场景. 在Pascal VOC数据集和MS COCO数据集上的实验结果表明, 所提方法比目前攻击方法的黑盒迁移攻击成功率更高, 并且可以在不同数据集之间进行迁移攻击.     

基于快速边界攻击的黑盒对抗样本生成方法

深度学习技术在不同领域有着广泛的应用, 然而一个训练好的深度学习模型很容易受到干扰而得出错误的结果, 从而引发严重的安全问题. 为了检验深度学习模型的抗干扰性, 提高模型的安全性和鲁棒性, 有必要使用对抗样本进行对抗评估和对抗训练. 有目标的黑盒对抗样本的生成方法具有较好的实用性, 是该领域的研究热点之一. 有目标的黑盒对抗样本生成的难点在于, 如何在保证攻击成功率的前提下提高对抗样本的生成效率. 为了解决这一难点, 本文提出了一种基于快速边界攻击的有目标攻击样本生成方法. 该方法包括线上的搜索和面上的搜索两步. 线上的搜索由单侧折半法来完成, 用于提高搜索效率; 面上的搜索通过自适应调节搜索半径的随机搜索完成, 用于提高搜索的广度. 通过对5组图片的实验结果验证了方法的可行性.     

车牌识别系统的黑盒对抗攻击

深度神经网络(Deep neural network, DNN)作为最常用的深度学习方法之一, 广泛应用于各个领域. 然而, DNN容易受到对抗攻击的威胁, 因此通过对抗攻击来检测应用系统中DNN的漏洞至关重要. 针对车牌识别系统进行漏洞检测, 在完全未知模型内部结构信息的前提下展开黑盒攻击, 发现商用车牌识别系统存在安全漏洞. 提出基于精英策略的非支配排序遗传算法(NSGA-II)的车牌识别黑盒攻击方法, 仅获得输出类标及对应置信度, 即可产生对环境变化较为鲁棒的对抗样本, 而且该算法将扰动控制为纯黑色块, 可用淤泥块代替, 具有较强的迷惑性. 为验证本方法在真实场景的攻击可复现性, 分别在实验室和真实环境中对车牌识别系统展开攻击, 并且将对抗样本用于开源的商业软件中进行测试, 验证了攻击的迁移性.     

面向安卓恶意软件检测的对抗攻击技术综述

随着对Android恶意软件检测精度和性能要求的提高,越来越多的Android恶意软件检测引擎使用人工智能算法.与此同时,攻击者开始尝试对Android恶意软件进行一定的修改,使得Android恶意软件可以在保留本身的功能的前提下绕过这些基于人工智能算法的检测.上述过程即是Android恶意软件检测领域的对抗攻击.本文...     

基于深度强化学习的黑盒对抗攻击算法

针对图像识别领域中的黑盒对抗攻击问题,基于强化学习中DDQN框架和Dueling网络结构提出一种黑盒对抗攻击算法.智能体通过模仿人类调整图像的方式生成对抗样本,与受攻击模型交互获得误分类结果,计算干净样本和对抗样本的结构相似性后获得奖励.攻击过程中仅获得了受攻击模型的标签输出信息.实验结果显示,攻击在CIFAR10和C...     

基于决策的目标检测器黑盒对抗攻击方法

深度神经网络在目标检测领域有大量的应用已经落地,然而由于深度神经网络本身存在不可解释性等技术上的不足,导致其容易受到外界的干扰而失效,充分研究对抗攻击方法有助于挖掘深度神经网络易失效的原因以提升其鲁棒性;目前大多数对抗攻击方法都需要使用模型的梯度信息或模型输出的置信度信息,而工业界应用的目标检测器通常不会完全公开其内部信息和置信度信息,导致现有的白盒攻击方法不再适用;为了提升工业目标检测器的鲁棒性,提出一种基于决策的目标检测器黑盒对抗攻击方法,其特点是不需要使用模型的梯度信息和置信度信息,仅利用目标检测器输出的检测框位置信息,策略是从使目标检测器定位错误的角度进行攻击,通过沿着对抗边界进行迭代搜索的方法寻找最优对抗样本从而实现高效的攻击;实验结果表明所提出的方法使典型目标检测器Faster R-CNN在VOC2012数据集上的mAR从0.636降低到0.131,mAP从0.801降低到0.071,有效降低了目标检测器的检测能力,成功实现了针对目标检测器的黑盒攻击。     

拓扑自适应粒子群优化的黑盒对抗攻击

深度学习模型在对抗攻击面前非常脆弱,即使对数据添加一个小的、感知上无法区分的扰动,也很容易降低其分类性能.针对现有黑盒对抗攻击方法存在效率低和成功率不高的问题,提出基于拓扑自适应粒子群优化的黑盒对抗攻击方法.首先根据原始图像随机生成初始对抗样本种群;然后根据邻域信息计算各样本的扰动并在搜索空间内迭代,计算动态惩罚项系数以控制样本的适应度值,当迭代多次种群适应度值未提高时,各样本进行邻域重分布,根据进化轨迹调整状态;最后修剪多余扰动获得最终的对抗样本.以InceptionV3等分类模型为攻击对象,使用MNIST,CIFAR-10和ImageNet数据集,在相同的样本数量和模型访问限制条件下,进行无目标对抗攻击和目标对抗攻击实验.结果表明,与现有方法相比,所提攻击方法具有较少的模型访问次数和较高的攻击成功率,对InceptionV3模型的平均访问次数为2 502,攻击成功率为94.30%.     

面向网络流量入侵检测系统的黑盒攻击

基于机器学习的网络流量检测系统是网络安全领域现阶段比较热门的研究方向,但同时网络流量检测系统又受到了巨大挑战,因为攻击样本的生成,使该检测系统对恶意流量的检测性能降低.使用生成对抗网络生成对抗样本,通过在原始恶意流量中加入噪声干扰,即在攻击特征中加入不影响原始流量特性的非定向扰动,来实现扰乱检测模型的判断,从而躲过特征...     

基于模型间迁移性的黑盒对抗攻击起点提升方法

为高效地寻找基于决策的黑盒攻击下的对抗样本,提出一种利用模型之间的迁移性提升对抗起点的方法.通过模型之间的迁移性来循环叠加干扰图像,生成初始样本作为新的攻击起点进行边界攻击,实现基于决策的无目标黑盒对抗攻击和有目标黑盒对抗攻击.实验结果表明,无目标攻击节省了23％的查询次数,有目标攻击节省了17％的查询次数,且整个黑盒...     

基于梯度惩罚WGAN的人脸对抗样本生成方法

人脸识别系统面临着各种安全威胁和挑战,其中对抗样本攻击对人脸识别系统中的深度神经网络安全性和鲁棒性造成一定影响,论文针对传统对抗样本攻击方法中所存在生成效率低、对抗样本质量差等问题,提出了基于梯度惩罚Wasserstein生成对抗网络（WGAN-GP）的人脸对抗样本生成方法。首先,采用梯度惩罚项来使得神经网络的参数分布得更加均匀,保证生成对抗网络训练的稳定性;其次,在人脸对抗样本生成过程中,通过训练适合亚洲人脸的facenent攻击模型,并进行人脸的局部扰动,生成视觉质量较高的亚洲人脸对抗样本。最后,通过仿真试验实现百度人脸比对API的黑盒攻击。在平均SSIM、MSE和时间指标下,与现有同类对抗样本方法对比,所提方法在生成人脸对抗样本质量和生成效率方面都有所提升,与传统对抗样本方法对比,在质量上SSIM有2.26倍的提升,MSE有1倍的降低;在生成效率方面有99%的提升。     

基于生成对抗网络的多目标类别对抗样本生成算法

深度神经网络在很多领域表现出色,但是研究表明其很容易受到对抗样本的攻击.目前针对神经网络进行攻击的算法众多,但绝大多数攻击算法的攻击速度较慢,因此快速生成对抗样本逐渐成为对抗样本领域的研究重点.AdvGAN是一种使用网络攻击网络的算法,生成对抗样本的速度极快,但是当进行有目标攻击时,其要为每个目标训练一个网络,使攻击的...     

基于局部邻域滤波的对抗攻击检测方法

目前,卷积神经网络在语音识别、图像分类、自然语言处理、语义分割等方面都取得了良好的应用成果,是计算机应用研究最广泛的技术之一。但研究人员发现当向输入中加入特定的微小扰动时,卷积神经网络(CNN)模型容易产生错误的预测结果,这类含有微小扰动的图像被称为对抗样本,CNN模型易受对抗样本的攻击。对抗样本的出现可能会对安全敏感的领域带来潜在的应用威胁。已有较多的防御方法被提出,其中许多方法对特定攻击方法具有较好的防御效果,但由于实际应用中无法知晓攻击者采用的攻击方式,因此提出不依赖攻击方法的通用防御策略是一个值得研究的问题。为有效地防御各类对抗攻击,本文提出了基于局部邻域滤波的对抗攻击检测方法。首先,通过像素间的相关性对图像进行RGB空间切割。其次将相似的图像块组成立方体。然后,基于立方体中邻域的局部滤波进行去噪,即:通过邻域立方体的3个块得到邻域数据的3维标准差,用于Wiener滤波。再将滤波后的块组映射回RGB彩色空间。最后,将未知样本和它的滤波样本分别作为输入,对模型的分类进行一致性检验,如果模型对他们的分类不相同,则该未知样本为对抗样本,否则为良性样本。实验表明本文检测方法在不同模型中...     

多媒体模型对抗攻防综述

近年来,随着以深度学习为代表的人工智能技术的快速发展和广泛应用,人工智能正深刻地改变着社会生活的各方面.然而,人工智能模型也容易受到来自精心构造的"对抗样本"的攻击.通过在干净的图像或视频样本上添加微小的人类难以察觉的扰动,就能够生成可以欺骗模型的样本,进而使多媒体模型在推理过程中做出错误决策,为多媒体模型的实际应用部...     

一种基于进化策略和注意力机制的黑盒对抗攻击算法

深度神经网络在许多计算机视觉任务中都取得了优异的结果,并在不同领域中得到了广泛应用.然而研究发现,在面临对抗样本攻击时,深度神经网络表现得较为脆弱,严重威胁着各类系统的安全性.在现有的对抗样本攻击中,由于黑盒攻击具有模型不可知性质和查询限制等约束,更接近实际的攻击场景.但现有的黑盒攻击方法存在攻击效率较低与隐蔽性弱的缺陷,因此提出了一种基于进化策略的黑盒对抗攻击方法.该方法充分考虑了攻击过程中梯度更新方向的分布关系,自适应学习较优的搜索路径,提升攻击的效率.在成功攻击的基础上,结合注意力机制,基于类间激活热力图将扰动向量分组和压缩优化,减少在黑盒攻击过程中积累的冗余扰动,增强优化后的对抗样本的不可感知性.通过与其他4种最新的黑盒对抗攻击方法（AutoZOOM、QL-attack、FD-attak、D-based attack）在7种深度神经网络上进行对比,验证了该方法的有效性与鲁棒性.     

基于PSO的路牌识别模型黑盒对抗攻击方法

随着深度学习在计算机视觉领域的广泛应用,人脸认证、车牌识别、路牌识别等也随之呈现商业化应用趋势.因此,针对深度学习模型的安全性研究至关重要.已有的研究发现:深度学习模型易受精心制作的包含微小扰动的对抗样本攻击,输出完全错误的识别结果.针对深度模型的对抗攻击是致命的,但同时也能帮助研究人员发现模型漏洞,并采取进一步改进措施.基于该思想,针对自动驾驶场景中的基于深度学习的路牌识别模型,提出一种基于粒子群优化的黑盒物理攻击方法(black-box physical attack via PSO,简称BPA-PSO).BPA-PSO在未知模型结构的前提下,不仅可以实现对深度模型的黑盒攻击,还能使得实际物理场景中的路牌识别模型失效.通过在电子空间的数字图像场景、物理空间的实验室及户外路况等场景下的大量实验,验证了所提出的BPA-PSO算法的攻击有效性,可发现模型漏洞,进一步提高深度学习的应用安全性.最后,对BPA-PSO算法存在的问题进行分析,对未来的研究可能面临的挑战进行了展望.     

一种采用免疫原理的恶意软件检测方法

针对现有恶意软件检测方法的不足,提出一种采用免疫原理的恶意软件检测方法.该方法采用程序运行时产生的IRP请求序列作为抗原,定义系统中的正常程序为自体、恶意程序为非自体,通过选定数量的抗体,采用人工免疫原理识别非自体.实验结果表明,此方法在恶意软件的检测方面具有较高的准确率,且误报和漏报率较低.