基于噪声破坏和波形重建的声纹对抗样本防御方法

语音是人类最重要的交流方式之一。语音信号中除了文本内容外,还包含了说话人的身份、种族、年龄、性别和情感等丰富的信息,其中说话人身份的识别也被称为声纹识别,是一种生物特征识别技术。声纹具有获取方便、容易保存、使用简单等特点,而深度学习技术的进步也极大地促进了识别准确率的提升,因此,声纹识别已被应用于智慧金融、智能家居、语音助手和司法调查等领域。另一方面,针对深度学习模型的对抗样本攻击受到了广泛关注,在输入信号中添加不可感知的微小扰动即可导致模型预测结果错误。对抗样本的出现对基于深度学习的声纹识别也将造成巨大的安全威胁。现有声纹对抗样本防御方法会不同程度地影响正常样本的识别,并且局限于特定的攻击方法或识别模型,鲁棒性较差。为了使对抗防御能够兼顾纠正错误输出和准确识别正常样本两个方面,本文提出一种“破坏+重建”的两阶段对抗样本防御方法。第一阶段,在对抗样本中添加具有一定信噪比幅度限制的高斯白噪声,破坏对抗扰动的结构进而消除样本的对抗性。第二阶段,利用提出的名为SCAT-Wave-U-Net的语音增强模型重建原始语音样本,通过在Wave-U-Net模型结构中引入Transformer全局多头自...     

语音对抗样本的攻击与防御综述

语音是人机交互的重要载体,语音中既包含语义信息,还包含性别、年龄、情感等附属信息.深度学习的发展使得各类语音处理任务的性能得到了显著提升,智能语音处理的产品已应用于移动终端、车载设备以及智能家居等场景.语音信息被准确地识别是人与设备实现可信交互的重要基础,语音传递过程中的安全问题也受到了广泛关注.对抗样本攻击是最近几年...     

语音识别系统对抗样本攻击及防御综述

语音是人类与智能手机或智能家电等现代智能设备进行通信的一种常用而有效的方式。随着计算机和网络技术的显著进步,语音识别系统得到了广泛的应用,它可以将用户发出的语音指令解释为智能设备上可以理解的数字指令或信号,实现用户与这些设备的远程交互功能。近年来,深度学习技术的进步推动了语音识别系统发展,使得语音识别系统的精度和可用性不断提高。然而深度学习技术自身还存在未解决的安全性问题,例如对抗样本。对抗样本是指在模型的预测阶段,通过对预测样本添加细微的扰动,使模型以高置信度给出一个错误的目标类别输出。目前对于对抗样本的攻击及防御研究主要集中在计算机视觉领域而忽略了语音识别系统模型的安全问题,当今最先进的语音识别系统由于采用深度学习技术也面临着对抗样本攻击带来的巨大安全威胁。针对语音识别系统模型同样面临对抗样本的风险,本文对语音识别系统的对抗样本攻击和防御提供了一个系统的综述。我们概述了不同类型语音对抗样本攻击的基本原理并对目前最先进的语音对抗样本生成方法进行了全面的比较和讨论。同时,为了构建更安全的语音识别系统,我们讨论了现有语音对抗样本的防御策略并展望了该领域未来的研究方向。     

行人再识别系统中无感噪声攻击的防御方法

深度学习在行人再识别任务上的应用已经取得了较大进步。然而,由于深度神经网络的鲁棒性容易受到对抗样本的攻击,深度学习在行人再识别模型应用中暴露出来一些安全问题。针对该问题,提出一种无感噪声攻击的防御方法DSN。首先,利用RGB图像的灰度补丁图像,使其在训练过程中增强数据,从而提升行人再识别模型的识别能力。其次,采用模型内外结合的防御结构,并采用一种新的降噪网络,对输入的噪声图像进行降噪处理,从而使得行人再识别模型有更高的识别精度和防御无感噪声攻击的能力。在market1501数据集上模拟无感噪声攻击与防御,实验结果显示,该方法将mAP识别精度从2.6%提高到82.6%,rank-1精度从0.8%提高到83.5%。另外,通过消融实验表明了该方法中每个模块防御无感噪声攻击的有效性。     

基于插值法的对抗攻击防御算法

深度神经网络(DNN)在预测过程中会受到对抗攻击而输出错误的结果,因此研究具有防御能力的新型深度学习算法,对于提高神经网络的鲁棒性和安全性有重要的价值。文章主要研究应对对抗样本攻击的被动防御方法,提出基于插值法的对抗攻击防御算法(Interpolation Defense Algorithm,IDA),实验结果表明,本算法可以提高神经网络对于对抗样本的识别率。     

车牌识别系统的黑盒对抗攻击

深度神经网络(Deep neural network, DNN)作为最常用的深度学习方法之一,广泛应用于各个领域.然而,DNN容易受到对抗攻击的威胁,因此通过对抗攻击来检测应用系统中DNN的漏洞至关重要.针对车牌识别系统进行漏洞检测,在完全未知模型内部结构信息的前提下展开黑盒攻击,发现商用车牌识别系统存在安全漏洞.提出基于精英策略的非支配排序遗传算法(NSGA-II)的车牌识别黑盒攻击方法,仅获得输出类标及对应置信度,即可产生对环境变化较为鲁棒的对抗样本,而且该算法将扰动控制为纯黑色块,可用淤泥块代替,具有较强的迷惑性.为验证本方法在真实场景的攻击可复现性,分别在实验室和真实环境中对车牌识别系统展开攻击,并且将对抗样本用于开源的商业软件中进行测试,验证了攻击的迁移性.     

基于Rectified Adam和颜色不变性的对抗迁移攻击

深度神经网络在物体检测、图像分类、自然语言处理、语音识别等众多领域上得到广泛应用.然而,深度神经网络很容易受到对抗样本(即在原有样本上施加人眼无法察觉的微小扰动)的攻击,而且相同的扰动可以跨模型、甚至跨任务地欺骗多个分类器.对抗样本这种跨模型迁移特性,使得深度神经网络在实际生活的应用受到了很大限制.对抗样本对神经网络的威胁,激发了研究者对对抗攻击的研究兴趣.虽然研究者们已提出了不少对抗攻击方法,但是大多数这些方法(特别是黑盒攻击方法)的跨模型的攻击能力往往较差,尤其是对经过对抗训练、输入变换等的防御模型.为此,提出了一种提高对抗样本可迁移性的方法:RLI-CI-FGSM. RLI-CI-FGSM是一种基于迁移的攻击方法,在替代模型上,使用基于梯度的白盒攻击RLI-FGSM生成对抗样本,同时使用CIM扩充源模型,使RLI-FGSM能够同时攻击替代模型和扩充模型.具体而言,RLI-FGSM算法将Radam优化算法与迭代快速符号下降法相结合,并利用目标函数的二阶导信息来生成对抗样本,避免优化算法陷入较差的局部最优.基于深度神经网络具有一定的颜色变换不变性,CIM算法通过优化对颜色变换图像集合...     

面向深度学习的对抗样本差异性检测方法

深度神经网络(DNN)在许多深度学习关键系统如人脸识别、智能驾驶中被证明容易受到对抗样本攻击,而对多种类对抗样本的检测还存在着检测不充分以及检测效率低的问题,为此,提出一种面向深度学习模型的对抗样本差异性检测方法.首先,构建工业化生产中常用的残差神经网络模型作为对抗样本生成与检测系统的模型;然后,利用多种对抗攻击攻击深...     

自动语音辨识对抗攻击和防御技术综述

语音辨识技术是人机交互的重要方式。随着深度学习的不断发展,基于深度学习的自动语音辨识系统也取得了重要进展。然而,经过精心设计的音频对抗样本可以使得基于神经网络的自动语音辨识系统产生错误,给基于语音辨识系统的应用带来安全风险。为了提升基于神经网络的自动语音辨识系统的安全性,需要对音频对抗样本的攻击和防御进行研究。基于此,分析总结对抗样本生成和防御技术的研究现状,介绍自动语音辨识系统对抗样本攻击和防御技术面临的挑战和解决思路。     

基于GAN与数据流形的对抗样本防御模型

神经网络在图像分类的任务上取得了极佳的成绩，但是相关工作表明它们容易受到对抗样本的攻击并且产生错误的结果。之前的工作利用深度神经网络去除对抗性扰动，以达到防御对抗样本的目的。但是存在正常样本经该网络处理，反而会降低分类准确率的问题。为了提高对抗样本的分类准确率和减轻防御网络对正常样本影响，提出一种基于对抗生成网络(Generative Adversarial Networks, GAN)与数据流形的防御网络。引入GAN提高分类网络识别对抗样本的准确率；利用正常样本数据流形降低防御网络对干净样本的影响。实验结果表明该方法可以防御多种攻击方法，同时降低了防御网络对正常样本的影响。     

基于模型的深度学习通信信号鲁棒识别算法

深度学习现在是计算机视觉和自然语言处理的热门话题.在许多应用中,深度神经网络(DNN)的性能都优于传统的方法,并且已经成功应用于调制分类和无线电信号表示等任务的学习.近几年研究发现深度神经网络极易受到对抗性攻击,对“对抗性示例”缺乏鲁棒性.笔者就神经网络的通信信号识别算法的鲁棒性问题,将经过PGD攻击的数据看作基于模型...     

图像分类中的白盒对抗攻击技术综述

在深度学习中图像分类任务研究里发现,对抗攻击现象给深度学习模型的安全应用带来了严峻挑战,引发了研究人员的广泛关注。首先,围绕深度学习中用于生成对抗扰动的对抗攻击技术,对图像分类任务中重要的白盒对抗攻击算法进行了详细介绍,同时分析了各个攻击算法的优缺点;然后,分别从移动终端、人脸识别和自动驾驶三个现实中的应用场景出发,介绍了白盒对抗攻击技术的应用现状;此外,选择了一些典型的白盒对抗攻击算法针对不同的目标模型进行了对比实验并分析了实验结果;最后,对白盒对抗攻击技术进行了总结,并展望了其有价值的研究方向。     

针对深度学习模型的对抗性攻击与防御

以深度学习为主要代表的人工智能技术正在悄然改变人们的生产生活方式,但深度学习模型的部署也带来了一定的安全隐患.研究针对深度学习模型的攻防分析基础理论与关键技术,对深刻理解模型内在脆弱性、全面保障智能系统安全性、广泛部署人工智能应用具有重要意义.拟从对抗的角度出发,探讨针对深度学习模型的攻击与防御技术进展和未来挑战.首先介绍了深度学习生命周期不同阶段所面临的安全威胁.然后从对抗性攻击生成机理分析、对抗性攻击生成、对抗攻击的防御策略设计、对抗性攻击与防御框架构建4个方面对现有工作进行系统的总结和归纳.还讨论了现有研究的局限性并提出了针对深度学习模型攻防的基本框架.最后讨论了针对深度学习模型的对抗性攻击与防御未来的研究方向和面临的技术挑战.     

面向深度学习模型的对抗攻击与防御方法综述

深度学习作为人工智能技术的重要组成部分,被广泛应用于计算机视觉和自然语言处理等领域.尽管深度学习在图像分类和目标检测等任务中取得了较好性能,但是对抗攻击的存在对深度学习模型的安全应用构成了潜在威胁,进而影响了模型的安全性.在简述对抗样本的概念及其产生原因的基础上,分析对抗攻击的主要攻击方式及目标,研究具有代表性的经典对...     

基于边界值不变量的对抗样本检测方法

目前,深度学习成为计算机领域研究与应用最广泛的技术之一,在图像识别、语音、自动驾驶、文本翻译等方面都取得良好的应用成果。但人们逐渐发现深度神经网络容易受到微小扰动图片的影响,导致分类出现错误,这类攻击手段被称为对抗样本。对抗样本的出现可能会给安全敏感的应用领域带来灾难性的后果。现有的防御手段大多需要对抗样本本身作为训练集,这种对抗样本相关的防御手段是无法应对未知对抗样本攻击的。借鉴传统软件安全中的边界检查思想,提出了一种基于边界值不变量的对抗样本检测防御方法,该方法通过拟合分布来寻找深度神经网络中的不变量,且训练集的选取与对抗样本无关。实验结果表明,在 LeNet、vgg19 模型和 Mnist、Cifar10 数据集上,与其他对抗检测方法相比,提出的方法可有效检测目前的常见对抗样本攻击,并且具有低误报率。     

面向鲁棒学习的对抗训练技术综述

深度学习在众多领域取得了巨大成功。然而，其强大的数据拟合能力隐藏着不可解释的“捷径学习”现象，从而引发深度模型脆弱、易受攻击的安全隐患。众多研究表明，攻击者向正常数据中添加人类无法察觉的微小扰动，便可能造成模型产生灾难性的错误输出，这严重限制了深度学习在安全敏感领域的应用。对此，研究者提出了各种对抗性防御方法。其中，对抗训练是典型的启发式防御方法。它将对抗攻击与对抗防御注入一个框架，一方面通过攻击已有模型学习生成对抗样本，另一方面利用对抗样本进一步开展模型训练，从而提升模型的鲁棒性。为此，本文围绕对抗训练，首先，阐述了对抗训练的基本框架；其次，对对抗训练框架下的对抗样本生成、对抗模型防御性训练等方法与关键技术进行分类梳理；然后，对评估对抗训练鲁棒性的数据集及攻击方式进行总结；最后，通过对当前对抗训练所面临挑战的分析，本文给出了其未来的几个发展方向。     

图像分类模型的对抗样本攻防研究综述

深度学习模型在图像分类领域的能力已经超越了人类,但不幸的是,研究发现深度学习模型在对抗样本面前非常脆弱,这给它在安全敏感的系统中的应用带来了巨大挑战。图像分类领域对抗样本的研究工作被梳理和总结,以期为进一步地研究该领域建立基本的知识体系,介绍了对抗样本的形式化定义和相关术语,介绍了对抗样本的攻击和防御方法,特别是新兴的可验证鲁棒性的防御,并且讨论了对抗样本存在可能的原因。为了强调在现实世界中对抗攻击的可能性,回顾了相关的工作。在梳理和总结文献的基础上,分析了对抗样本的总体发展趋势和存在的挑战以及未来的研究展望。