多约束引导的中文对抗样本生成

深度神经网络(DNN)已经被广泛应用于图像识别和自然语言处理等各个领域。近年来的研究表明，向DNN模型输入包含微小扰动的样本后，很容易对其输出结果造成严重破坏，这样处理过的样本被称为对抗样本。但中文对抗样本生成领域一直面临着一个严重问题，攻击成功率和对抗样本的可读性难以兼得。该文提出了一种在对抗样本生成的不同阶段，对对抗样本进行视觉相似度和语义相似度进行约束的对抗攻击方法 MCGC。MCGC生成的对抗样本不但具有良好的可读性，且在针对Text-CNN、Bi-LSTM、BERT-Chinese等多个模型的定向和非定向攻击可以达到90%左右的攻击成功率。同时，该文还研究了以BERT-Chinese为代表的掩码语言模型(MLM)和传统自然语言处理模型在鲁棒性上的差异表现。     

基于稀疏扰动的对抗样本生成方法

近年来,深度神经网络(deep neural network, DNN)在图像领域取得了巨大的进展.然而研究表明, DNN容易受到对抗样本的干扰,表现出较差的鲁棒性.通过生成对抗样本攻击DNN,可以对DNN的鲁棒性进行评估,进而采取相应的防御方法提高DNN的鲁棒性.现有对抗样本生成方法依旧存在生成扰动稀疏性不足、扰动幅度过大等缺陷.提出一种基于稀疏扰动的对抗样本生成方法——SparseAG (sparse perturbation based adversarial example generation),该方法针对图像样本能够生成较为稀疏并且幅度较小的扰动.具体来讲, SparseAG方法首先基于损失函数关于输入图像的梯度值迭代地选择扰动点来生成初始对抗样本,每一次迭代按照梯度值由大到小的顺序确定新增扰动点的候选集,选择使损失函数值最小的扰动添加到图像中.其次,针对初始扰动方案,通过一种扰动优化策略来提高对抗样本的稀疏性和真实性,基于每个扰动的重要性来改进扰动以跳出局部最优,并进一步减少冗余扰动以及冗余扰动幅度.选取CIFAR-10数据集以及ImageNet数据集,在目标攻击以及非目...     

面向深度学习的对抗样本差异性检测方法

深度神经网络（DNN）在许多深度学习关键系统如人脸识别、智能驾驶中被证明容易受到对抗样本攻击,而对多种类对抗样本的检测还存在着检测不充分以及检测效率低的问题,为此,提出一种面向深度学习模型的对抗样本差异性检测方法。首先,构建工业化生产中常用的残差神经网络模型作为对抗样本生成与检测系统的模型;然后,利用多种对抗攻击攻击深度学习模型以产生对抗样本组;最终,构建样本差异性检测系统,包含置信度检测、感知度检测及抗干扰度检测三个子检测系统共7项检测方法。在MNIST与Cifar-10数据集上的实验结果表明,属于不同对抗攻击的对抗样本在置信度、感知度、抗干扰度等各项性能检测上存在明显差异,如感知度各项指标优异的对抗样本在置信度以及抗干扰度的检测中,相较于其他类的对抗样本表现出明显不足;同时,证明了在两个数据集上呈现出差异的一致性。通过运用该检测方法,能有效提升模型对对抗样本检测的全面性与多样性。     

车牌识别系统的黑盒对抗攻击

深度神经网络(Deep neural network, DNN)作为最常用的深度学习方法之一, 广泛应用于各个领域. 然而, DNN容易受到对抗攻击的威胁, 因此通过对抗攻击来检测应用系统中DNN的漏洞至关重要. 针对车牌识别系统进行漏洞检测, 在完全未知模型内部结构信息的前提下展开黑盒攻击, 发现商用车牌识别系统存在安全漏洞. 提出基于精英策略的非支配排序遗传算法(NSGA-II)的车牌识别黑盒攻击方法, 仅获得输出类标及对应置信度, 即可产生对环境变化较为鲁棒的对抗样本, 而且该算法将扰动控制为纯黑色块, 可用淤泥块代替, 具有较强的迷惑性. 为验证本方法在真实场景的攻击可复现性, 分别在实验室和真实环境中对车牌识别系统展开攻击, 并且将对抗样本用于开源的商业软件中进行测试, 验证了攻击的迁移性.     

文本对抗样本攻击与防御技术综述

对抗样本攻击与防御是最近几年兴起的一个研究热点,攻击者通过微小的修改生成对抗样本来使深度神经网络预测出错。生成的对抗样本可以揭示神经网络的脆弱性,并可以修复这些脆弱的神经网络以提高模型的安全性和鲁棒性。对抗样本的攻击对象可以分为图像和文本两种,大部分研究方法和成果都针对图像领域,由于文本与图像本质上的不同,在攻击和防御方法上存在很多差异。该文对目前主流的文本对抗样本攻击与防御方法做出了较为详尽的介绍,同时说明了数据集、主流攻击的目标神经网络,并比较了不同攻击方法的区别。最后总结文本对抗样本领域面临的挑战,并对未来的研究进行展望。     

基于多损失混合对抗函数和启发式投影算法的逼真医学图像增强方法

早期发现新冠肺炎可以及时医疗干预提高患者的存活率，而利用深度神经网络（Deep neural networks， DNN）对新冠肺炎进行检测，可以提高胸部CT对其筛查的敏感性和判读速度。然而，DNN在医学领域的应用受到有限样本和不可察觉的噪声扰动的影响。本文提出了一种多损失混合对抗方法来搜索含有可能欺骗网络的有效对抗样本，将这些对抗样本添加到训练数据中，以提高网络对意外噪声扰动的稳健性和泛化能力。特别是，本文方法不仅包含了风格、原图和细节损失在内的多损失功能从而将医学对抗样本制作成逼真的样式，而且使用启发式投影算法产生具有强聚集性和干扰性的噪声。这些样本被证明具有较强的抗去噪能力和攻击迁移性。在新冠肺炎数据集上的测试结果表明，基于该算法的对抗攻击增强后的网络诊断正确率提高了4.75%。因此，基于多损失混合和启发式投影算法的对抗攻击的增强网络能够提高模型的建模能力，并具有抗噪声扰动的能力。     

基于改进CGANs的入侵检测方法研究

近年来,机器学习算法在入侵检测系统(IDS)中的应用获得越来越多的关注。然而,传统的机器学习算法更多的依赖于已知样本,因此需要尽可能多的数据样本来对模型进行训练。遗憾地是,随着越来越多未知攻击的出现,且用于训练的攻击样本具有不平衡性,传统的机器学习模型会遇到瓶颈。文章提出一种将改进后的条件生成对抗网络(CGANs)与深度神经网络(DNN)相结合的入侵检测模型(CGANs-DNN),通过解决样本不平衡性问题来提高检测模型对未知攻击类型或只有少数攻击样本类型的检测率。深度神经网络(DNN)具有表征数据潜在特征的能力,而经过改进后的条件CGANs,能够通过学习已知攻击样本潜在数据特征分布,来根据指定类型生成新的攻击样本。此外,与生成对抗网络(GANs)和变分自编码器(VAE)等无监督生成模型相比,CGANsDNN经过改进后加入梯度惩罚项,在训练的稳定性上有了很大地提升。通过NSL-KDD数据集对模型进行评估,与传统算法相比CGANs-DNN不仅在整体准确率、召回率和误报率等方面有更好的性能,而且对未知攻击和只有少数样本的攻击类型具有较高的检测率。     

基于特征梯度的调制识别深度网络对抗攻击方法

基于深度神经网络(Deep Neural Network,DNN)的自动调制识别(Automatic Modulation Recognition,AMR)模型具有特征自提取、识别精度高、人工干预少的优势.但是,业界在设计面向AMR的DNN(AMR-oriented DNN,ADNN)模型时,往往仅关注识别精度,而忽视了对抗样本可能带来的安全威胁.为此,文中从人工智能安全的角度出发,探究了对抗样本对ADNN模型的安全威胁,并提出了一种新颖的基于特征梯度的对抗攻击方法.相比传统标签梯度的攻击方式,特征梯度攻击方法能够更有效地攻击ADNN提取的调制信号空时特征,且具有更好的迁移性.在公开数据集上的实验结果表明,无论白盒攻击还是黑盒攻击,所提出的基于特征梯度的对抗攻击方法的攻击效果和迁移性均优于当前的标签梯度攻击方法.     

应用量子行为粒子群优化算法的文本对抗

文本对抗攻击能够极大地弱化深度神经网络在自然语言处理任务中的判别能力,对抗攻击方法的研究是提升深度神经网络鲁棒性的重要方法。现有的词级别文本对抗方法在搜索对抗样本时不够有效,搜索到的往往不是最理想的样本。针对这一缺陷,提出了基于改进的量子行为粒子群优化算法的文本对抗方法。通过对量子行为粒子群优化算法进行离散化的适应性改动,更有效地搜索出高质量的对抗样本。实验结果表明,提出的方法在多个数据集上取得了更高的攻击成功率,同时保持了更低的改动率,人工评测则表明提出的方法生成的对抗样本相比于其他对抗样本能够更多地保留语法和语义的正确性。     

基于图像翻转变换的对抗样本生成方法

面对对抗样本的攻击,深度神经网络是脆弱的。对抗样本是在原始输入图像上添加人眼几乎不可见的噪声生成的,从而使深度神经网络误分类并带来安全威胁。因此在深度神经网络部署前,对抗性攻击是评估模型鲁棒性的重要方法。然而,在黑盒情况下,对抗样本的攻击成功率还有待提高,即对抗样本的可迁移性有待提升。针对上述情况,提出基于图像翻转变换的对抗样本生成方法——FT-MI-FGSM（Flipping Transformation Momentum Iterative Fast Gradient Sign Method）。首先,从数据增强的角度出发,在对抗样本生成过程的每次迭代中,对原始输入图像随机翻转变换;然后,计算变换后图像的梯度;最后,根据梯度生成对抗样本以减轻对抗样本生成过程中的过拟合,并提升对抗样本的可迁移性。此外,通过使用攻击集成模型的方法,进一步提高对抗样本的可迁移性。在ImageNet数据集上验证了所提方法的有效性。相较于I-FGSM（Iterative Fast Gradient Sign Method）和MI-FGSM（Momentum I-FGSM）,在攻击集成模型设置下,FT-MI-FGSM在对抗训练网络上的平均黑盒攻击成功率分别提升了26.0和8.4个百分点。     

基于边界值不变量的对抗样本检测方法

目前,深度学习成为计算机领域研究与应用最广泛的技术之一,在图像识别、语音、自动驾驶、文本翻译等方面都取得良好的应用成果。但人们逐渐发现深度神经网络容易受到微小扰动图片的影响,导致分类出现错误,这类攻击手段被称为对抗样本。对抗样本的出现可能会给安全敏感的应用领域带来灾难性的后果。现有的防御手段大多需要对抗样本本身作为训练集,这种对抗样本相关的防御手段是无法应对未知对抗样本攻击的。借鉴传统软件安全中的边界检查思想,提出了一种基于边界值不变量的对抗样本检测防御方法,该方法通过拟合分布来寻找深度神经网络中的不变量,且训练集的选取与对抗样本无关。实验结果表明,在 LeNet、vgg19 模型和 Mnist、Cifar10 数据集上,与其他对抗检测方法相比,提出的方法可有效检测目前的常见对抗样本攻击,并且具有低误报率。     

基于汉语特征的中文对抗样本生成方法

深度神经网络容易受到来自对抗样本的攻击,例如在文本分类任务中修改原始文本中的少量字、词、标点符号即可改变模型分类结果.目前NLP领域对中文对抗样本的研究较少且未充分结合汉语的语言特征.从中文情感分类场景入手,结合了汉语象形、表音等语言特征,提出一种字词级别的高质量的对抗样本生成方法 CWordCheater,涵盖字音、字形、标点符号等多个角度.针对形近字的替换方式,引入ConvAE网络完成汉字视觉向量的嵌入,进而生成形近字替换候选池.同时提出一种基于USE编码距离的语义约束方法避免对抗样本的语义偏移问题.构建一套多维度的对抗样本评估方法,从攻击效果和攻击代价两方面评估对抗样本的质量.实验结果表明, CWordAttacker在多个分类模型和多个数据集上能使分类准确率至少下降27.9%,同时拥有更小的基于视觉和语义的扰动代价.     

基于平移随机变换的对抗样本生成方法

基于深度神经网络的图像分类模型能够以达到甚至高于人眼的识别度识别图像,但是因模型自身结构的脆弱性,导致其容易受对抗样本的攻击。现有的对抗样本生成方法具有较高的白盒攻击率,而在黑盒条件下对抗样本的攻击成功率较低。将数据增强技术引入到对抗样本生成过程中,提出基于平移随机变换的对抗样本生成方法。通过构建概率模型对原始图像进行随机平移变换,并将变换后的图像用于生成对抗样本,有效缓解对抗样本生成过程中的过拟合现象。在此基础上,采用集成模型攻击的方式生成可迁移性更强的对抗样本,从而提高黑盒攻击成功率。在ImageNet数据集上进行单模型和集成模型攻击的实验结果表明,该方法的黑盒攻击成功率高达80.1%,与迭代快速梯度符号方法和动量迭代快速梯度符号方法相比,该方法的白盒攻击成功率虽然略有降低,但仍保持在97.8%以上。     

基于Rectified Adam和颜色不变性的对抗迁移攻击

深度神经网络在物体检测、图像分类、自然语言处理、语音识别等众多领域上得到广泛应用.然而,深度神经网络很容易受到对抗样本(即在原有样本上施加人眼无法察觉的微小扰动)的攻击,而且相同的扰动可以跨模型、甚至跨任务地欺骗多个分类器.对抗样本这种跨模型迁移特性,使得深度神经网络在实际生活的应用受到了很大限制.对抗样本对神经网络的威胁,激发了研究者对对抗攻击的研究兴趣.虽然研究者们已提出了不少对抗攻击方法,但是大多数这些方法(特别是黑盒攻击方法)的跨模型的攻击能力往往较差,尤其是对经过对抗训练、输入变换等的防御模型.为此,提出了一种提高对抗样本可迁移性的方法:RLI-CI-FGSM. RLI-CI-FGSM是一种基于迁移的攻击方法,在替代模型上,使用基于梯度的白盒攻击RLI-FGSM生成对抗样本,同时使用CIM扩充源模型,使RLI-FGSM能够同时攻击替代模型和扩充模型.具体而言,RLI-FGSM算法将Radam优化算法与迭代快速符号下降法相结合,并利用目标函数的二阶导信息来生成对抗样本,避免优化算法陷入较差的局部最优.基于深度神经网络具有一定的颜色变换不变性,CIM算法通过优化对颜色变换图像集合...     

用于白盒目标攻击的GAN对抗样本生成

深度神经网络易受对抗样本攻击的影响并产生错误输出,传统的生成对抗样本的方法都是从优化角度生成对抗样本.文中提出基于生成对抗网络(GAN)的对抗样本生成方法,使用GAN进行白盒目标攻击,训练好的生成器对输入样本产生扰动,生成对抗样本.使用四种损失函数约束生成对抗样本的质量并提高攻击成功率.在MNIST、CIFAR-10、ImageNet数据集上的大量实验验证文中方法的有效性,文中方法的攻击成功率较高.     

基于多维特征图知识蒸馏的对抗样本防御方法

计算机视觉领域倾向使用深度神经网络完成识别任务,但对抗样本会导致网络决策异常.为了防御对抗样本,主流的方法是对模型进行对抗训练.对抗训练存在算力高、训练耗时长的缺点,其应用场景受限.提出一种基于知识蒸馏的对抗样本防御方法,将大型数据集学习到的防御经验复用到新的分类任务中.在蒸馏过程中,教师模型和学生模型结构一致,利用模...