深度学习对抗样本的防御方法综述

深度学习技术的出现给许多领域带来了突破,被广泛地应用于多个实际场景中。在解决许多复杂问题方面,深度学习的表现已经超过了人类水平。但研究表明,深度学习模型容易受到对抗样本的攻击而产生不正确的输出,进而被攻击者加以利用,这影响到实际应用系统的可靠性和安全性。面对对抗样本的不同攻击方法,文章从模型和数据两个方面对防御方法进行了分类,总结了不同分类下防御方法的研究思路和研究进展,并给出了下一步对抗深度学习的发展方向。     

基于孪生结构的对抗样本攻击动态防御方法

神经网络模型已被广泛应用于多个研究领域,但神经网络模型本身存在易受到对抗样本攻击的缺点,如在图像分类中,只需在原始图片中添加微小的对抗扰动生成对抗样本,就可以轻易欺骗神经网络分类模型,这给许多领域的应用安全带来严重的威胁。因此,研究如何提高神经网络分类模型对对抗样本攻击的防御能力成为深度学习安全领域的研究热点。目前常用的对抗样本攻击防御方法往往只侧重于提高模型对对抗样本分类的鲁棒性,或者只侧重于检测拦截对抗样本,而对抗训练需要收集大量对抗样本,且难以防御新类型的对抗样本攻击,对于使用额外的分类器去检测对抗样本的方法,则存在着易受到二次攻击等缺点。针对这些问题,提出一种基于孪生神经网络结构的对抗样本攻击动态防御方法,利用孪生结构可比较两个输入相似性的特点,从孪生神经网络两侧的预测差异着手,检测图片在动态滤波前后是否存在不同的攻击效果,从而筛选出带有动态扰动的对抗样本。实验结果表明,在没有收集特定种类的对抗样本进行训练的情况下,该方法对多种对抗样本攻击取得了良好的通用防御效果,其中在FGSM对抗样本测试集上的防御准确率达到95.35%,在DeepFool和JSMA对抗样本测试集上的防御准确...     

基于难分样本挖掘的对抗自编码器推荐系统

针对在推荐系统领域中常用数据集的数据分布不平衡、稀疏性大和用户评分偏好不同等问题,提出了基于难分样本挖掘的对抗自编码器推荐模型。考虑到用户偏好差异,使用均模型对数据集进行特征提取处理,在保留数据统计学特征的同时,降低了计算复杂度。之后,基于三元组损失算法对经过均模型处理的数据集进行难分样本挖掘。通过对数据集样本进行正负分类,提升了训练样本质量。再将正负样本分类后的数据分别作为对抗自编码器的输入,从重构和对抗两方面共同对评分预测模型进行训练。同时,采用Adam优化算法为不同参数单独计算更新梯度。实验结果表明,该推荐模型显著提升了推荐性能,多项指标优于基线模型。基于难分样本挖掘的推荐自编码器推荐系统具有一定实用价值。     

基于低秩堆栈式语义自编码器的零样本学习

在图像分类领域,现有的深度学习等方法在训练时需要大量有标注的数据样本,且无法识别在训练阶段未出现的类别。零样本学习能有效缓解此类问题。本研究基于堆栈式自编码器和低秩嵌入,提出了一种新的零样本学习方法,即基于低秩嵌入的堆栈语义自编码器（low-rank stacked semantic auto-encoder,LSSAE）。该模型基于编码-解码机制,编码器学习到一个具有低秩结构的投影函数,用于将图像的视觉特征空间、语义描述空间以及标签进行连接;解码阶段重建原始视觉特征。并通过低秩嵌入,使得学习到的模型在预见未见类别时能共享已见类的语义信息,从而更好地进行分类。本研究在五个常见的数据集上进行实验,结果表明LSSAE的性能优于已有的零样本学习方法,是一种有效的零样本学习方法。     

基于自适应噪声添加的防御对抗样本的算法

深度神经网络容易受到对抗样本的攻击。为了解决这个问题,一些工作通过向图像中添加高斯噪声来训练网络,从而提高网络防御对抗样本的能力,但是该方法在添加噪声时并没有考虑到神经网络对图像中不同区域的敏感性是不同的。针对这一问题,提出了梯度指导噪声添加的对抗训练算法。该算法在训练网络时,根据图像中不同区域的敏感性向其添加自适应噪声,在敏感性较大的区域上添加较大的噪声抑制网络对图像变化的敏感程度,在敏感性较小的区域上添加较小的噪声提高其分类精度。在Cifar-10数据集上与现有算法进行比较,实验结果表明,该方法有效地提高了神经网络在分类对抗样本时的准确率。     

深度学习中对抗样本的构造及防御研究

随着深度学习技术在计算机视觉、网络安全、自然语言处理等领域的进一步发展,深度学习技术逐渐暴露了一定的安全隐患。现有的深度学习算法无法有效描述数据本质特征,导致算法面对恶意输入时可能无法给出正确结果。以当前深度学习面临的安全威胁为出发点,介绍了深度学习中的对抗样本问题,梳理了现有的对抗样本存在性解释,回顾了经典的对抗样本构造方法并对其进行了分类,简述了近年来部分对抗样本在不同场景中的应用实例,对比了若干对抗样本防御技术,最后归纳对抗样本研究领域存在的问题并对这一领域的发展趋势进行了展望。     

基于条件对抗生成网络的对抗样本防御方法

人工智能目前在诸多领域均得到较好应用,然而通过对抗样本会使神经网络模型输出错误的分类.研究提升神经网络模型鲁棒性的同时如何兼顾算法运行效率,对于深度学习在现实中的落地使用意义重大.针对上述问题,本文提出一种基于条件对抗生成网络的对抗样本防御方法Defense-CGAN.首先使用对抗生成网络生成器根据输入噪声与标签信息生...     

基于深度自编码器的单样本人脸识别*

由于每个目标仅有一幅已知样本,无法描述目标的类内变化,诸多人脸识别算法在解决单样本人脸识别问题时识别性能较低.因此文中提出基于深度自编码器的单样本人脸识别算法.算法首先采用所有已知样本训练深度自编码器,得到广义深度自编码器,然后使用每个单样本目标的单个样本微调广义深度自编码器,得到特定类别的深度自编码器.识别时,将识别图像输入每个特定类别的深度自编码器,得到包含与测试图像相同类内变化的该类别的重构图像,使用重构图像训练Softmax回归模型,分类测试图像.在公共测试库上进行测试,并与其它算法在相同环境下进行对比,结果表明文中算法在获得更优识别率的同时,识别一幅图像所需平均时间更少.     

基于GAN与数据流形的对抗样本防御模型

神经网络在图像分类的任务上取得了极佳的成绩,但是相关工作表明它们容易受到对抗样本的攻击并且产生错误的结果。之前的工作利用深度神经网络去除对抗性扰动,以达到防御对抗样本的目的。但是存在正常样本经该网络处理,反而会降低分类准确率的问题。为了提高对抗样本的分类准确率和减轻防御网络对正常样本影响,提出一种基于对抗生成网络(Generative Adversarial Networks, GAN)与数据流形的防御网络。引入GAN提高分类网络识别对抗样本的准确率;利用正常样本数据流形降低防御网络对干净样本的影响。实验结果表明该方法可以防御多种攻击方法,同时降低了防御网络对正常样本的影响。     

图像分类模型的对抗样本攻防研究综述

深度学习模型在图像分类领域的能力已经超越了人类,但不幸的是,研究发现深度学习模型在对抗样本面前非常脆弱,这给它在安全敏感的系统中的应用带来了巨大挑战。图像分类领域对抗样本的研究工作被梳理和总结,以期为进一步地研究该领域建立基本的知识体系,介绍了对抗样本的形式化定义和相关术语,介绍了对抗样本的攻击和防御方法,特别是新兴的可验证鲁棒性的防御,并且讨论了对抗样本存在可能的原因。为了强调在现实世界中对抗攻击的可能性,回顾了相关的工作。在梳理和总结文献的基础上,分析了对抗样本的总体发展趋势和存在的挑战以及未来的研究展望。     

针对卷积神经网络流量分类器的对抗样本攻击防御

随着深度学习的兴起,深度神经网络被成功应用于多种领域,但研究表明深度神经网络容易遭到对抗样本的恶意攻击。作为深度神经网络之一的卷积神经网络(CNN)目前也被成功应用于网络流量的分类问题,因此同样会遭遇对抗样本的攻击。为提高CNN网络流量分类器防御对抗样本的攻击,本文首先提出批次对抗训练方法,利用训练过程反向传播误差的特点,在一次反向传播过程中同时完成样本梯度和参数梯度的计算,可以明显提高训练效率。同时,由于训练用的对抗样本是在目标模型上生成,因此可有效防御白盒攻击;为进一步防御黑盒攻击,克服对抗样本的可转移性,提出增强对抗训练方法。利用多个模型生成样本梯度不一致的对抗样本,增加对抗样本的多样性,提高防御黑盒攻击的能力。通过真实流量数据集USTC-TFC2016上的实验,我们生成对抗样本的网络流量进行模拟攻击,结果表明针对白盒攻击,批次对抗训练可使对抗样本的分类准确率从17.29%提高到75.37%;针对黑盒攻击,增强对抗训练可使对抗样本的分类准确率从26.37%提高到68.39%。由于深度神经网络的黑箱特性,其工作机理和对抗样本产生的原因目前没有一致的认识。下一步工作对CNN的脆弱性机...     

面向图像数据的对抗样本检测与防御技术综述

对抗样本是当前深度学习神经网络研究的热点问题.目前,对抗样本技术的研究主要分为2方面：生成攻击、检测防御.在总结对抗样本生成攻击技术的基础上,面向图像数据的对抗样本检测与防御技术综述从对抗样本的检测与防御的角度对面向图像数据的对抗样本防御技术进行了总结.综述从特征学习、分布统计、输入解离、对抗训练、知识迁移及降噪6个方面将检测与防御技术进行归类,介绍检测与防御技术的演进,分析其特点、性能,对比不同技术的优缺点,给出了检测效果和防御效果的综合评价.最后对当前该领域的研究情况进行了总结与展望.     

对抗样本生成技术综述

如今,深度学习已被广泛应用于图像分类和图像识别的问题中,取得了令人满意的实际效果,成为许多人工智能应用的关键所在.在对于模型准确率的不断探究中,研究人员在近期提出了"对抗样本"这一概念.通过在原有样本中添加微小扰动的方法,成功地大幅度降低原有分类深度模型的准确率,实现了对于深度学习的对抗目的,同时也给深度学习的攻方提供了新的思路,对如何开展防御提出了新的要求.在介绍对抗样本生成技术的起源和原理的基础上,对近年来有关对抗样本的研究和文献进行了总结,按照各自的算法原理将经典的生成算法分成两大类——全像素添加扰动和部分像素添加扰动.之后,以目标定向和目标非定向、黑盒测试和白盒测试、肉眼可见和肉眼不可见的二级分类标准进行二次分类.同时,使用MNIST数据集对各类代表性的方法进行了实验验证,以探究各种方法的优缺点.最后总结了生成对抗样本所面临的挑战及其可以发展的方向,并就该技术的发展前景进行了探讨.     

基于对抗样本的人工智能反制技术研究进展与趋势

随着基于深度学习的人工智能技术的快速发展及其广泛应用,人们对其安全性的关注也日益凸显。特别是,最近一系列研究表明基于深度学习模型的人工智能系统容易受到对抗样本的攻击。对抗样本通过向正常样本中添加精心设计、人类难以察觉的微小扰动,可导致深度学习模型的严重误判。本文回顾基于对抗性图像和音频两类人工智能反制技术最新进展,并对这些研究成果进行分类和综合比较,最后对现有挑战与未来研究趋势进行了讨论和展望。     

面向深度学习模型的对抗攻击与防御方法综述

深度学习作为人工智能技术的重要组成部分,被广泛应用于计算机视觉和自然语言处理等领域.尽管深度学习在图像分类和目标检测等任务中取得了较好性能,但是对抗攻击的存在对深度学习模型的安全应用构成了潜在威胁,进而影响了模型的安全性.在简述对抗样本的概念及其产生原因的基础上,分析对抗攻击的主要攻击方式及目标,研究具有代表性的经典对...     

基于深度学习的图像隐写研究进展

图像隐写是信息安全领域的研究热点之一.早期隐写方法通过修改载体图像获得含密图像, 导致图像统计特性发生变化, 因此难以抵抗基于高维统计特征分析的检测.随着深度学习的发展, 研究者们提出了许多基于深度学习的图像隐写方法, 使像素修改更隐蔽、隐写过程更智能.为了更好地研究图像隐写技术, 对基于深度学习的图像隐写方法进行综述.首先根据图像隐写过程, 从3个方面分析了基于深度学习的图像隐写方法:1)从生成对抗网络和对抗样本2个角度介绍载体图像获取方法; 2)分析基于深度学习的隐写失真设计方法; 3)阐述基于编码-解码网络的含密图像生成方法.然后, 分析和总结了无载体图像隐写方法的优缺点, 该类方法无需载体图像即可实现图像隐写, 因此在对抗统计分析方面存在天然优势.最后, 在深入分析与总结基于深度学习的图像隐写与无载体图像隐写2类方法优缺点的基础上, 对图像隐写的发展方向进行了探讨与展望.     

语音识别系统对抗样本攻击及防御综述

语音是人类与智能手机或智能家电等现代智能设备进行通信的一种常用而有效的方式。随着计算机和网络技术的显著进步,语音识别系统得到了广泛的应用,它可以将用户发出的语音指令解释为智能设备上可以理解的数字指令或信号,实现用户与这些设备的远程交互功能。近年来,深度学习技术的进步推动了语音识别系统发展,使得语音识别系统的精度和可用性不断提高。然而深度学习技术自身还存在未解决的安全性问题,例如对抗样本。对抗样本是指在模型的预测阶段,通过对预测样本添加细微的扰动,使模型以高置信度给出一个错误的目标类别输出。目前对于对抗样本的攻击及防御研究主要集中在计算机视觉领域而忽略了语音识别系统模型的安全问题,当今最先进的语音识别系统由于采用深度学习技术也面临着对抗样本攻击带来的巨大安全威胁。针对语音识别系统模型同样面临对抗样本的风险,本文对语音识别系统的对抗样本攻击和防御提供了一个系统的综述。我们概述了不同类型语音对抗样本攻击的基本原理并对目前最先进的语音对抗样本生成方法进行了全面的比较和讨论。同时,为了构建更安全的语音识别系统,我们讨论了现有语音对抗样本的防御策略并展望了该领域未来的研究方向。     

基于图像重构的MNIST对抗样本防御算法

随着深度学习的应用普及,其安全问题越来越受重视,对抗样本是在原有图像中添加较小的扰动,即可造成深度学习模型对图像进行错误分类,这严重影响深度学习技术的发展。针对该问题,分析现有对抗样本的攻击形式和危害,由于现有防御算法存在缺点,提出一种基于图像重构的对抗样本防御方法,以达到有效防御对抗样本的目的。该防御方法以MNIST为测试数据集,核心思路是图像重构,包括中心方差最小化和图像缝合优化,中心方差最小化只针对图像中心区域进行处理;图像缝合优化将重叠区域纳入补丁块选取的考量,并以补丁块的1/2大小作为重叠区域。使用FGSM、BIM、DeepFool以及C&W攻击方式生成对抗样本来测试两种方式的防御性能,并与现有的3种图像重构防御方式（裁剪与缩放、位深度压缩和JPEG压缩）效果对比。实验结果表明,所提中心方差最小化和图像缝合优化算法,对现有常见对抗样本的攻击起到了较好的防御效果。图像缝合优化对4种攻击算法生成的样本分类正确率都达到了75%以上,中心方差最小化的防御效果在70%左右。而用作对比的3种图像重构算法则对不同攻击算法的防御效果不稳定,整体分类正确率不足60%。所提中心方差最小化...