基于快速边界攻击的黑盒对抗样本生成方法

深度学习技术在不同领域有着广泛的应用, 然而一个训练好的深度学习模型很容易受到干扰而得出错误的结果, 从而引发严重的安全问题. 为了检验深度学习模型的抗干扰性, 提高模型的安全性和鲁棒性, 有必要使用对抗样本进行对抗评估和对抗训练. 有目标的黑盒对抗样本的生成方法具有较好的实用性, 是该领域的研究热点之一. 有目标的黑盒对抗样本生成的难点在于, 如何在保证攻击成功率的前提下提高对抗样本的生成效率. 为了解决这一难点, 本文提出了一种基于快速边界攻击的有目标攻击样本生成方法. 该方法包括线上的搜索和面上的搜索两步. 线上的搜索由单侧折半法来完成, 用于提高搜索效率; 面上的搜索通过自适应调节搜索半径的随机搜索完成, 用于提高搜索的广度. 通过对5组图片的实验结果验证了方法的可行性.     

融合环境特征与改进YOLOv4的安全帽佩戴检测

目的 在施工现场，安全帽是最为常见和实用的个人防护用具，能够有效防止和减轻意外带来的头部伤害。但在施工现场的安全帽佩戴检测任务中，经常出现难以检测到小目标，或因为复杂多变的环境因素导致检测准确率降低等情况。针对这些问题，提出一种融合环境特征与改进YOLOv4（you only look once version 4）的安全帽佩戴检测方法。方法 为补充卷积池化等过程中丢失的特征，在保证YOLOv4得到的3种不同大小的输出特征图与原图经过特征提取得到的特征图感受野一致的情况下，将两者相加，融合高低层特征，捕捉更多细节信息；对融合后的特征图采用3×3卷积操作，以减小特征图融合后的混叠效应，保证特征稳定性；为适应施工现场的各种环境，利用多种数据增强方式进行环境模拟，并采用对抗训练方法增强模型的泛化能力和鲁棒性。结果 提出的改进YOLOv4方法在开源安全帽佩戴检测数据集（safety helmet wearing dataset，SHWD）上进行测试，平均精度均值（mean average precision，mAP）达到91.55%，较当前流行的几种目标检测算法性能有所提升，其中相比于YOLOv4，mAP提高了5.2%。此外，改进YOLOv4方法在融合环境特征进行数据增强后，mAP提高了4.27%，在各种真实环境条件下进行测试时都有较稳定的表现。结论 提出的融合环境特征与改进YOLOv4的安全帽佩戴检测方法，以改进模型和数据增强的方式提升模型准确率、泛化能力和鲁棒性，为安全帽佩戴检测提供了有效保障。     

视觉对抗样本生成技术概述

深度学习的发明，使得人工智能技术迎来了新的机遇，再次进入了蓬勃发展期。其涉及到的隐私、安全、伦理等问题也日益受到了人们的广泛关注。以对抗样本生成为代表的新技术，直接将人工智能、特别是深度学习模型的脆弱性展示到了人们面前，使得人工智能技术在应用落地时，必须要重视此类问题。本文通过对抗样本生成技术的回顾，从信号层、内容层以及语义层三个层面，白盒攻击与黑盒攻击两个角度，简要介绍了对抗样本生成技术，目的是希望读者能够更好地发现对抗样本的本质，对机器学习模型的健壮性、安全性和可解释性研究有所启发。     

一种基于知识蒸馏的神经网络鲁棒性迁移方法

近几年来，深度神经网络在多个领域展现了非常强大的应用能力，但是研究者们发现，通过在输入上添加难以察觉的扰动，可以改变神经网络的输出决策，这类样本被称为对抗样本。目前防御对抗样本，最常见的方法是对抗训练，但是对抗训练有着非常高的训练代价。我们提出了一种知识蒸馏的鲁棒性迁移方案（Robust-KD），结合特征图与雅克比矩阵约束，通过从鲁棒的网络中迁移鲁棒性特征，以比较低的训练代价，取得较强的白盒对抗防御能力。提出的算法在Cifar10、Cifar100与ImageNet数据集上进行了大量的实验，实验表明了我们方案的有效性，即使在非常强大的白盒对抗攻击下，我们的模型依然拥有不错的分类准确率。     

对抗攻击及对抗样本生成方法综述

随着深度学习技术的快速发展和广泛应用,对抗攻击及对抗样本生成算法成为信息安全领域的一个研究热点,并取得了一系列重要进展。介绍了相关对抗方法在智能图像处理领域的攻击手段,梳理了对抗样本在攻击误导率提升方面取得的重要研究进展,总结了对抗样本生成方法在攻击成本、攻击效果以及普适性等方面存在的问题,展望了相关对抗方法理论研究以及应用的发展趋势。     

基于自适应噪声添加的防御对抗样本的算法

深度神经网络容易受到对抗样本的攻击。为了解决这个问题,一些工作通过向图像中添加高斯噪声来训练网络,从而提高网络防御对抗样本的能力,但是该方法在添加噪声时并没有考虑到神经网络对图像中不同区域的敏感性是不同的。针对这一问题,提出了梯度指导噪声添加的对抗训练算法。该算法在训练网络时,根据图像中不同区域的敏感性向其添加自适应噪声,在敏感性较大的区域上添加较大的噪声抑制网络对图像变化的敏感程度,在敏感性较小的区域上添加较小的噪声提高其分类精度。在Cifar-10数据集上与现有算法进行比较,实验结果表明,该方法有效地提高了神经网络在分类对抗样本时的准确率。     

基于熵及随机擦除的针对目标检测物理攻击的防御

物理攻击通过在图像中添加受扰动的对抗块使得基于深度神经网络 (DNNs) 的应用失效, 对DNNs的安全性带来严重的挑战。针对物理攻击方法生成的对抗块与真实图像块之间的信息分布不同的特点, 本文提出了能有效避免现有物理攻击的防御算法。该算法由基于熵的检测组件 (Entropy-based Detection Component, EDC) 和随机擦除组件 (Random Erasing Component,REC) 两部分组成。EDC 组件采用熵值度量检测对抗块并对其灰度替换。该方法不仅能显著降低对抗块对模型推理的影响, 而且不依赖大规模的训练数据。REC 模块改进了深度学习通用训练范式。利用该方法训练得到的深度学习模型, 在不改变现有网络结构的前提下, 不仅能有效防御现有物理攻击, 而且能显著提升图像分析效果。上述两个组件都具有较强的可转移性且不需要额外的训练数据, 它们的有机结合构成了本文的防御策略。实验表明, 本文提出的算法不仅能有效的防御针对目标检测的物理攻击(在 Pascal VOC 2007 上的平均精度 (mAP) 由 31.3% 提升到 64.0% 及在 Inria 数据集上由 19.0% 提升到 41.0%), 并且证明算法具有较好的可转移性, 能同时防御图像分类和目标检测两种任务的物理攻击。     

Simplex噪声区域中目标特征的对抗攻击算法

针对当前黑盒环境中,主流的图像对抗攻击算法在有限的目标模型访问查询次数条件下攻击准确率低的问题,提出一种基于目标特征和限定区域采样的目标攻击算法.首先根据原始图像和目标图像生成初始对抗样本;然后在Simplex-mean噪声区域中进行扰动采样,并根据对抗样本和原始图像差异度以及目标特征区域位置决定扰动大小;最后将扰动作用于初始对抗样本中,使新的对抗样本在保持对抗性的同时缩小与原始图像的差异度.以常见的图像分类模型InceptionV3和VGG16等为基础,在相同的目标模型访问查询,以及与对抗样本和原始图像的l₂距离小于55.89的条件下,采用BBA等算法对同一图像集和目标集进行攻击.实验结果表明,在同样的目标模型访问查询和l₂=55.89的限制条件下,不超过5 000次目标查询时,在InceptionV3模型上该算法的攻击准确率比同类攻击算法提升至少50%.     

面向机器学习模型的基于PCA的成员推理攻击

针对目前黑盒成员推理攻击存在的访问受限失效问题,提出基于主成分分析(PCA)的成员推理攻击。首先,针对黑盒成员推理攻击存在的访问受限问题,提出一种快速决策成员推理攻击fast-attack。在基于距离符号梯度获取扰动样本的基础上将扰动难度映射到距离范畴来进行成员推理。其次,针对快速决策成员推理攻击存在的低迁移率问题,提出一种基于PCA的成员推理攻击PCA-based attack。将快速决策成员推理攻击中的基于扰动算法与PCA技术相结合来实现成员推理,以抑制因过度依赖模型而导致的低迁移行为。实验表明,fast-attack在确保攻击精度的同时降低了访问成本,PCA-based attack在无监督的设置下优于基线攻击,且模型迁移率相比fast-attack提升10%。