面向智能驾驶视觉感知的对抗样本攻击与防御方法综述

现如今,深度学习已然成为机器学习领域最热门的研究方向之一,其在图像识别、目标检测、语音处理、问答系统等诸多领域都取得了巨大成功.然而通过附加经过特殊设计的细微扰动而构造出的对抗样本,能够破坏深度模型的原有性能,其存在使许多对安全性能指标具有极高要求的技术领域,特别是以视觉感知为主要技术优先的智能驾驶系统,面临新的威胁和挑战.因此,对对抗样本的生成攻击和主动防御研究,成为深度学习和计算机视觉领域极为重要的交叉性研究课题.本文首先简述了对抗样本的相关概念,在此基础上详细介绍了一系列典型的对抗样本攻击和防御算法.随后,列举了针对视觉感知系统的多个物理世界攻击实例,探讨了其对智能驾驶领域的潜在影响.最后,对对抗样本的攻击与防御研究进行了技术展望.     

基于决策边界搜索的对抗样本生成算法

神经网络模型已被广泛运用于人工智能领域,并取得了成功,然而当前神经网络面临着对抗样本攻击的困扰。对抗样本是一种人为构造的虚假数据,可使得神经网络输出错误的结果。故提出了一种基于神经网络决策边界搜索的对抗样本生成算法。首先,在两个真实样本之间使用二分搜索来找到一个初始攻击点。然后,计算神经网络在决策边界面上的法线向量,以找到神经网络最敏感的方向。最后,使用方向信息迭代找到更接近原始数据点的对抗样本,直到对抗样本收敛。在公开的数据集上,使用该算法进行对抗样本攻击实验,实验结果表明该算法能够生成对抗扰动更小的对抗样本,并且可以与其他攻击算法结合,达到较好的攻击效果。     

基于生成对抗网络的对抗防御系统

针对不断更新的对抗攻击,提出一个基于生成对抗网络的防御系统.系统利用生成对抗网络不断生成新的对抗样本,反复训练模型以增强其鲁棒性.具体过程为将预先训练的卷积神经网络和外部GAN(conditional GAN:Pix2Pix)相结合,自动流水线式地推断对抗样本和干净样本之间的转换关系,并合成新的对抗样本.根据分辨得到的...     

基于生成对抗网络的对抗样本集成防御

针对现有对抗样本防御方法防御能力不足、时间消耗过高等问题,参考生成对抗网络与集成学习在对抗样本研究中的优势,本文提出一种基于生成对抗网络的对抗样本集成防御方法.该方法使用生成对抗网络训练多个能够消除对抗样本表面对抗扰动的生成器,使用集成学习方法将多个生成器进行集成作为最终的防御.该方法的生成对抗网络由生成器和判别器组成...     

融合对抗训练与ERNIE 的短文本情感分析模型

使用深度学习技术进行文本情感分类是近年来自然语言处理领域的研究热点,好的文本表示是提升深度学习模型分类性能的关键因素。由于短文本蕴含情感信息较少、训练时易受噪声干扰,因此提出一种融合对抗训练的文本情感分析模型PERNIE RCNN。该模型使用ERNIE预训练模型对输入文本进行向量化,初步提取文本的情感特征。随后在ERNIE预训练模型的输出向量上添加噪声扰动,对原始样本进行对抗攻击生成对抗样本,并将生成的对抗样本送入分类模型进行对抗训练,提高模型面临噪声攻击时的鲁棒性。实验结果表明, PERNIE RCNN模型的文本分类性能更好,泛化能力更优。     

针对ASR系统的快速有目标自适应对抗攻击

对抗样本是一种恶意输入,通过在输入中添加人眼无法察觉的微小扰动来误导深度学习模型产生错误的输出.近年来,随着对抗样本研究的发展,除了大量图像领域的对抗样本工作,在自动语音识别领域也开始有一些新进展.目前,针对自动语音识别系统的最先进的对抗攻击来自Carlini&Wagner,其方法是通过获得使模型被错误分类的最小扰动来...     

针对心电图分类模型的平滑攻击算法

在心电图分类领域中,传统攻击算法生成的对抗样本存在生理上不可解释的方波且生成效率低下,为此,提出了一种补丁平滑攻击(PatchSAP)算法。针对卷积神经网络、长短记忆网络和基于注意力机制的长短期记忆网络3种常见心电图分类模型开展对抗攻击,比较了心电分类模型的“脆弱”程度并分析了模型超参数。实验结果表明,PatchSAP算法的攻击效率与传统攻击算法的攻击效率相比具有明显的优势,生成的对抗样本能很好地维持真实性,卷积核和约束范围等超参数对对抗样本的有效性和真实性有较大影响。     

基于循环编码生成对抗网络的小样本辨识方法

针对在特殊领域中小样本数据难以通过训练被分类管理的问题,提出一种基于循环编码生成对抗网络的小样本辨识方法.首先,对小样本进行混叠循环编码,建构包含小样本深层信息的隐向量;然后,搭建一种循环生成对抗网络模型,对小样本生成扩充并通过极限学习机网络进行训练辨识;最后,结合算例,与传统生成对抗网络、深度信念网络及合成少数类过采...     

基于多变量时序数据的对抗攻击与防御方法

为了保证时序数据攻击检测模型的安全性,提出了基于多变量时间序列数据的对抗攻击与对抗防御方法.首先,针对基于自编码器的攻击检测模型,设计了在测试阶段实施的逃逸攻击.其次,针对设计的对抗攻击样本,提出了一种基于雅克比(Jacobian)正则化方法的对抗攻击防御策略,将模型训练过程中的Jacobian矩阵作为目标函数中的正则项,提高了深度学习模型对对抗攻击的防御能力.在工业水处理数据集BATADAL上进行实验,验证了所提出的对抗攻击方法和对抗防御方法的有效性.     

基于生成对抗网络的太阳能电池缺陷增强方法

为了解决太阳能电池样本不均衡问题,提出负样本引导生成对抗网络的太阳能电池缺陷样本增强方法. 通过在生成对抗模型中引入大量负样本和增加负样本引导损失,促进模型对正样本特征的表达,提升生成样本的多样性;设计自适应的权值约束方法,平衡生成器和判别器的表达能力,提升生成样本的质量. 实验结果表明,在太阳能电池电致发光(EL)缺陷数据集上,提出方法的生成质量和检测精度优于深度卷积生成对抗网络（DCGAN）、梯度惩罚Wasserstein距离生成对抗网络（WGAN-GP）和一阶导数生成对抗网络（FOGAN）;该方法的F测度较DCGAN、WGAN-GP和FOGAN分别最高提升了10%、8%和5%,具有较好的数据增强性能. 在带钢表面缺陷数据集及DAGM 2007公共数据集上,提出方法的性能优于DCGAN、WGAN-GP和FOGAN,具有一定的泛化能力.     

基于生成对抗网络的偏转人脸转正

为了提高偏转人脸转正的效果,借鉴双通道生成对抗网络（TP-GAN）双通道生成的思想,将原始网络中的深度卷积生成对抗网络（DCGAN）替换成边界均衡生成对抗网络（BEGAN）. 在传统两者对抗的网络结构中加入判别人脸身份的分类器,形成三者对抗的网络结构. 经实验对比可知,与在生成器损失函数中添加约束相比,结构上加入分类器对人脸身份一致性的保持更加有效. TP-GAN存在训练复杂、模式崩溃等难题,使用BEGAN的网络结构,可以避免这些问题,提高训练效率. 在Multi-PIE数据集及LFW上的实验结果表明,利用提出的方法能够高效地生成高质量的正面人脸图片,且保留人脸的身份特征.     

生成对抗网络用于视频去模糊

针对因拍摄设备抖动或目标运动而产生的视频模糊问题,提出了一种基于生成对抗网络和马尔可夫判别网络的新的视频去模糊方法。文中将基于像素空间的损失函数与基于特征空间的损失函数相结合,并依据马尔可夫判别网络设计了一种新的判别网络,促进了网络对图像纹理细节的学习,使得生成的清晰图像质量得到了显著提升。将文中方法与同类方法分别在测试集和真实数据上进行了定性定量的比较,实验结果表明,经文中方法去模糊后的图像具有更高的峰值信噪比和更丰富的细节信息。     

基于生成对抗网络的图像风格迁移

生成对抗网络(Generative Adversarial Network, GAN)可以生成和真实图像较接近的生成图像.作为深度学习中较新的一种图像生成模型,GAN在图像风格迁移中发挥着重要作用.针对当前生成对抗网络模型中存在的生成图像质量较低、模型较难训练等问题,提出了新的风格迁移方法,有效改进了BicycleGAN模型实现图像风格迁移.为了解决GAN在训练中容易出现的退化现象,将残差模块引入GAN的生成器,并引入自注意力机制,获得更多的图像特征,提高生成器的生成质量.为了解决GAN在训练过程中的梯度爆炸现象,在判别器每一个卷积层后面加入谱归一化.为了解决训练不够稳定、生成图像质量低的现象,引入感知损失.在Facades和AerialPhoto&Map数据集上的实验结果表明,该方法的生成图像的PSNR值和SSIM值高于同类比较方法.     

条件约束下的自我注意生成对抗网络

为了解决生成对抗网络中因生成图像的特征信息表示不足而导致生成效果特征不明显、图像的关键特征信息模糊的问题, 提出了一种条件自我注意生成对抗网络的图像生成方法。该网络结合自我注意生成对抗网络的优点,向生成器和判别器中添加附加条件特征,明确指示模型生成对应的标志性类别信息,将数据的具体维度与语义特征关联起来,用这种方法提取其中的生成模型,使生成特定类型的图像的特征表示更加贴合原始数据分布。实验结果表明,所提出的方法在CelebA和MNIST数据集上的弗雷歇距离值相比较于自我注意生成对抗网络分别约提高了1.26和2.47。验证了所提出的方法相比较于其他的监督类生成模型可以有效地提升图像的质量效果以及多样性,并且可以有效地加快网络的收敛速度。     

Reciprocal bi-directional generative adversarial network for cross-modal pedestrian re-identification

To improve the accuracy of cross-modal pedestrian re-identification,a reciprocal bi-directional generative adversarial network-based method is proposed.First,we build two generative adversarial networks to generate cross-modal heterogeneous images.Second,an associated loss is designed to pull close the distribution of features in latent space during the image translation between visible and infrared images so as to help the networks generate fake heterogeneous images that have high similarity with the real images.Finally,by concatenating the original and generated heterogeneous pedestrian images into the discriminative feature extraction network,images from different modalities can be unified into a common modality,thus suppressing the cross-modal gap.Representation learning and metric learning are utilized to achieve more discriminative pedestrian features.Comparative experiments are conducted on SYSU-MM01 and RegDB datasets to analyze the accuracy with different loss functions.Compared with other state-of-the-art cross-modal pedestrian re-identification methods,the proposed method achieves a higher accuracy and stronger robustness.     

基于生成对抗网络的人脸铅笔画算法

传统的铅笔画绘制技术主要是基于对笔画方向、粗细、长短和纹理的模拟,生成结果生硬单一,并且缺少艺术感.为了使铅笔画生成结果更加具有艺术感,同时能够保留原始人脸图像的结构,提出了一种利用生成对抗网络将真实人脸图像转换成具有铅笔画风格图像的方法c生成网络利用卷积生成具有铅笔画效果的人脸图像,对抗网络用于学习艺术家真实手绘的人...     

Unsupervised adversarial learning method for hard disk failure prediction

In order to solve the problem of over-fitting of traditional supervised learning methods in anomaly detection of unbalanced datasets, an unsupervised adversarial learning method is proposed for hard disk failure prediction. This method uses the long short-term memory neural network and fully connected layer to design an Autoencoder that can be used for secondary coding. Only normal samples are used for training. By reducing the reconstruction error and the distance between potential vectors, the model can learn the data distribution of normal samples, thus improving the generalization ability of the model. The model also introduces the generative adversarial network to enhance the effect of unsupervised learning. Experiments on several datasets show that the recall rate and precision of the proposed method are higher than those of traditional supervised learning and semi-supervised learning classifiers, and that its generalization ability is stronger. Therefore, the unsupervised adversarial learning method is effective in hard disk failure prediction.     

融合残差块注意力机制和生成对抗网络的海马体分割

研究一种基于改进的生成对抗网络的深度学习方法对海马体进行分割。提出不同的卷积配置,以捕获由分割网络获得的信息。提出以Pixel2Pixel为基本架构的生成对抗网络模型,生成模型结合残差网络以及注意力机制的编解码结构以捕获更多细节信息。判别网络采用卷积神经网络对生成模型的分割结果和专家分割结果进行判别。经过生成模型和对抗模型不断地传递其损失,使生成模型达到分割海马体的最优状态。使用来自ADNI数据集130名健康受试者的T1加权MRI扫描和相关海马标签作为训练和测试数据,以相似度系数作为评价指标,准确率达到89.46%。试验结果表明,该网络模型可以实现高效地自动分割海马体,对于阿尔茨海默症等疾病的正确诊断具有重要的现实意义。     

一种利用Transformer的无人集群对抗态势要素识别方法

针对无人集群对抗问题中原始态势信息繁杂,难以准确识别集群阵型和集群运动趋势等态势要素的特点,为提高无人集群态势要素识别能力,设计了一种利用Transformer的无人集群对抗态势要素识别方法。基于Transformer模型的思想构建了可应用于无人集群对抗态势要素识别问题的Transformer-Decoder注意力层模型,实现良好的集群态势要素识别能力,设计层间注意力结构以改进提升了Transformer-Decoder的特征表达能力,进一步提高识别准确率。首先将集群态势序列信息输入到LSTM循环神经网络,编码成时序特征信息;然后使用Transformer-Decoder注意力模块和层间注意力模块提取集群的综合高阶态势信息,最后多维度分类网络和softmax层实现对多类态势要素的分类。实验结果表明：利用Transformer和层间注意力的无人集群对抗态势要素识别方法在态势要素分类问题上表现出良好的性能,能够同时对多类态势要素进行准确分类;相对于基线方法,利用Transformer和层间注意力的集群态势识别方法在集群阵型和运动趋势识别问题上具有更高的准确率。尤其在体现集群内部相对趋势的态...