深度学习中的后门攻击综述

随着深度学习研究与应用的迅速发展,人工智能安全问题日益突出。近年来,深度学习模型的脆弱性和不鲁棒性被不断的揭示,针对深度学习模型的攻击方法层出不穷,而后门攻击就是其中一类新的攻击范式。与对抗样本和数据投毒不同,后门攻击者在模型的训练数据中添加触发器并改变对应的标签为目标类别。深度学习模型在中毒数据集上训练后就被植入了可由触发器激活的后门,使得模型对于正常输入仍可保持高精度的工作,而当输入具有触发器时,模型将按照攻击者所指定的目标类别输出。在这种新的攻击场景和设置下,深度学习模型表现出了极大的脆弱性,这对人工智能领域产生了极大的安全威胁,后门攻击也成为了一个热门研究方向。因此,为了更好的提高深度学习模型对于后门攻击的安全性,本文针对深度学习中的后门攻击方法进行了全面的分析。首先分析了后门攻击和其他攻击范式的区别,定义了基本的攻击方法和流程,然后对后门攻击的敌手模型、评估指标、攻击设置等方面进行了总结。接着,将现有的攻击方法从可见性、触发器类型、标签类型以及攻击场景等多个维度进行分类,包含了计算机视觉和自然语言处理在内的多个领域。此外,还总结了后门攻击研究中常用的任务、数据集与深度学习模型,并介绍了后门攻击在数据隐私、模型保护以及模型水印等方面的有益应用,最后对未来的关键研究方向进行了展望。     

分布式深度学习隐私与安全攻击研究进展与挑战

不同于集中式深度学习模式,分布式深度学习摆脱了模型训练过程中数据必须中心化的限制,实现了数据的本地操作,允许各方参与者在不交换数据的情况下进行协作,显著降低了用户隐私泄露风险,从技术层面可以打破数据孤岛,显著提升深度学习的效果,能够广泛应用于智慧医疗、智慧金融、智慧零售和智慧交通等领域.但生成对抗式网络攻击、成员推理攻击和后门攻击等典型攻击揭露了分布式深度学习依然存在严重隐私漏洞和安全威胁.首先对比分析了联合学习、联邦学习和分割学习3种主流的分布式深度学习模式特征及其存在的核心问题.其次,从隐私攻击角度,全面阐述了分布式深度学习所面临的各类隐私攻击,并归纳和分析了现有隐私攻击防御手段.同时,从安全攻击角度,深入剖析了数据投毒攻击、对抗样本攻击和后门攻击3种安全攻击方法的攻击过程和内在安全威胁,并从敌手能力、防御原理和防御效果等方面对现有安全攻击防御技术进行了度量.最后,从隐私与安全攻击角度,对分布式深度学习未来的研究方向进行了讨论和展望.     

图深度学习攻击模型综述

近年来,图深度学习模型面临的安全威胁日益严重,相关研究表明,推荐系统中恶意用户可以通过诋毁、女巫攻击等攻击手段轻易地对系统进行欺骗.本文对现有基于图深度学习攻击工作进行系统分析和总结,提出了一种分析图深度学习攻击模型的通用框架,旨在帮助研究者快速梳理领域内现有的方法,进而设计新的攻击模型.该框架将攻击的过程分为预备阶段...     

文本后门攻击与防御综述

深度神经网络的安全性和鲁棒性是深度学习领域的研究热点.以往工作主要从对抗攻击角度揭示神经网络的脆弱性,即通过构建对抗样本来破坏模型性能并探究如何进行防御.但随着预训练模型的广泛应用,出现了一种针对神经网络尤其是预训练模型的新型攻击方式——后门攻击.后门攻击向神经网络注入隐藏的后门,使其在处理包含触发器（攻击者预先定义的图案或文本等）的带毒样本时会产生攻击者指定的输出.目前文本领域已有大量对抗攻击与防御的研究,但对后门攻击与防御的研究尚不充分,缺乏系统性的综述.全面介绍文本领域后门攻击和防御技术.首先,介绍文本领域后门攻击基本流程,并从不同角度对文本领域后门攻击和防御方法进行分类,介绍代表性工作并分析其优缺点;之后,列举常用数据集以及评价指标,将后门攻击与对抗攻击、数据投毒2种相关安全威胁进行比较;最后,讨论文本领域后门攻击和防御面临的挑战,展望该新兴领域的未来研究方向.     

基于随机断层与梯度剪裁的横向联邦学习后门防御研究

联邦学习解决了用户隐私与数据共享相悖之大数据困局,体现了“数据可用不可见”的理念。然而,联邦模型在训练过程中存在后门攻击的风险。攻击者通过本地训练一个包含后门任务的攻击模型,并将模型参数放大一定比例,从而实现将后门植入联邦模型中。针对横向联邦学习模型所面临的后门威胁,从博弈的视角,提出一种基于随机断层与梯度剪裁相结合的后门防御策略和技术方案：中心服务器在收到参与方提交的梯度信息后,随机确定每个参与方的神经网络层,然后将各参与方的梯度贡献分层聚合,并使用梯度阈值对梯度参数进行裁剪。梯度剪裁和随机断层可削弱个别参与方异常数据的影响力,使联邦模型在学习后门特征时陷入平缓期,长时间无法学习到后门特征,同时不影响正常任务的学习。如果中心服务器在平缓期内结束联邦学习,即可实现对后门攻击的防御。实验结果表明,该方法可以有效地防御联邦学习中潜在的后门威胁,同时保证了模型的准确性。因此,该方法可以应用于横向联邦学习场景中,为联邦学习的安全保驾护航。     

基于生成式对抗网络的联邦学习后门攻击方案

联邦学习使用户在数据不出本地的情形下参与协作式的模型训练,降低了用户数据隐私泄露风险,广泛地应用于智慧金融、智慧医疗等领域.但联邦学习对后门攻击表现出固有的脆弱性,攻击者通过上传模型参数植入后门,一旦全局模型识别带有触发器的输入时,会按照攻击者指定的标签进行误分类.因此针对联邦学习提出了一种新型后门攻击方案Bac_GAN,通过结合生成式对抗网络技术将触发器以水印的形式植入干净样本,降低了触发器特征与干净样本特征之间的差异,提升了触发器的隐蔽性,并通过缩放后门模型,避免了参数聚合过程中后门贡献被抵消的问题,使得后门模型在短时间内达到收敛,从而显著提升了后门攻击成功率.此外,论文对触发器生成、水印系数、缩放系数等后门攻击核心要素进行了实验测试,给出了影响后门攻击性能的最佳参数,并在MNIST,CIFAR-10等数据集上验证了Bac_GAN方案的攻击有效性.     

面向频谱接入深度强化学习模型的后门攻击方法

深度强化学习(Deep Reinforcement Learning, DRL)方法以其在智能体感知和决策方面的优势,在多用户智能动态频谱接入问题上得到广泛关注。然而,深度神经网络的弱可解释性使得DRL模型容易受到后门攻击威胁。针对认知无线网络下基于深度强化学习模型的动态频谱接入(Dynamic Spectrum Access, DSA)场景,提出了一种非侵入、开销低的后门攻击方法。攻击者通过监听信道使用情况来选择非侵入的后门触发器,随后将后门样本添加到次用户的DRL模型训练池,并在训练阶段将后门植入DRL模型中;在推理阶段,攻击者主动发送信号激活模型中的触发器,使次用户做出目标动作,降低次用户的信道接入成功率。仿真结果表明,所提后门攻击方法能够在不同规模的DSA场景下达到90%以上的攻击成功率,相比持续攻击可以减少20%～30%的攻击开销,并适用于3种不同类型的DRL模型。     

基于自定义后门的触发器样本检测方案

深度学习利用强大的特征表示和学习能力为金融、医疗等多个领域注入新的活力, 但其训练过程存在安全威胁漏洞, 攻击者容易通过操纵训练集或修改模型权重执行主流后门攻击: 数据中毒攻击与模型中毒攻击。两类攻击所产生的后门行为十分隐蔽, 后门模型可以保持干净样本的分类精度, 同时对嵌入攻击者预定义触发器的样本呈现定向误分类。针对干净样本与触发器样本在拟合程度上的区别, 提出一种基于自定义后门行为的触发器样本检测方案 BackDetc, 防御者自定义一种微小触发器并执行数据中毒攻击向模型注入自定义的后门, 接着通过嵌入自定义触发器设计一种输入样本扰动机制, 根据自定义触发器的透明度衡量输入样本的拟合程度, 最终以干净样本的拟合程度为参照设置异常检测的阈值, 进而识别触发器样本, 不仅维持资源受限用户可负担的计算开销, 而且降低了后门防御假设, 能够部署于实际应用中, 成功抵御主流后门攻击以及威胁更大的类可知后门攻击。在 MNIST、 CIFAR-10 等分类任务中, BackDetc 对数据中毒攻击与模型中毒攻击的检测成功率均高于目前的触发器样本检测方案, 平均达到 99.8%以上。此外, 论文探究了检测假阳率对检测性能的影响, 并给出了动态调整 BackDetc 检测效果的方法, 能够以 100%的检测成功率抵御所有分类任务中的主流后门攻击。最后, 在 CIFAR-10 任务中实现类可知后门攻击并对比各类触发器样本检测方案, 仅有 BackDetc 成功抵御此类攻击并通过调整假阳率将检测成功率提升至 96.2%。     

深度学习赋能的恶意代码攻防研究进展

深度学习赋能的恶意代码攻防研究已经成为网络安全领域中的热点问题.当前还没有针对这一热点问题的相关综述,为了及时跟进该领域的最新研究成果,本文首先分析并总结了恶意代码攻击的一般流程.基于该攻击流程,本文对深度学习的赋能攻击点和赋能防御点进行了定位,将深度学习助力攻击的技术分为5类:(1)基于对抗样本生成的自动化免杀;(2)基于自然语言生成的自动化网络钓鱼;(3)基于神经网络的精准定位与打击;(4)基于生成对抗网络的流量模仿;(5)基于黑盒模型的攻击意图隐藏,并将深度学习助力防御的新型技术分为3类:(1)基于深度学习的恶意代码查杀;(2)自动化网络钓鱼识别;(3)深度学习赋能的恶意行为检测;其次,基于以上分类,本文对恶意代码攻防研究中的前沿技术进行了综述,并从技术原理、实际可行性、发展趋势等不同的角度对这些技术进行了深入剖析;再者,由于深度学习的伴生安全问题与其在恶意代码攻防领域的赋能安全问题紧密相关,本文对其中代表性的模型后门攻击与防御的相关技术也进行了关注;之后,本文分析并总结了当前深度学习赋能的恶意代码攻防研究领域中的主要研究方向,并对其未来的发展趋势进行了讨论;最后,深度学习赋能的恶意代码攻防研究才刚刚起步,基于恶意代码攻击链的更多可能的赋能攻击与防御点有待研究者继续探索和发掘.此外,深度学习助力恶意代码攻防的一大挑战是数据集的限制,如何建立有效、公开的数据集供研究者使用,这也是一个非常值得思考和研究的问题.     

面向深度学习模型的对抗攻击与防御方法综述

深度学习作为人工智能技术的重要组成部分,被广泛应用于计算机视觉和自然语言处理等领域。尽管深度学习在图像分类和目标检测等任务中取得了较好性能,但是对抗攻击的存在对深度学习模型的安全应用构成了潜在威胁,进而影响了模型的安全性。在简述对抗样本的概念及其产生原因的基础上,分析对抗攻击的主要攻击方式及目标,研究具有代表性的经典对抗样本生成方法。描述对抗样本的检测与防御方法,并阐述对抗样本在不同领域的应用实例。通过对对抗样本攻击与防御方法的分析与总结,展望对抗攻击与防御领域未来的研究方向。     

面向机器学习的成员推理攻击综述

随着机器学习的不断发展，特别是在深度学习领域，人工智能已经融入到人们日常生活的方方面面。机器学习模型被部署到多种场景的应用中，提升了传统应用的智能化水平。然而，近年来的研究指出，用于训练机器学习模型的个人数据时常面临隐私泄露的风险。其中，成员推理攻击就是针对机器学习模型威胁用户隐私安全的一种非常重要的攻击方式。成员推理攻击的目的是判断用户数据样本是否被用于训练目标模型(如在医疗、金融等领域的用户数据),从而直接干涉到用户隐私信息。首先介绍了成员推理攻击的相关背景知识，随后对现有的成员推理攻击按照攻击者是否拥有影子模型进行分类，并对成员推理攻击在不同领域的威胁进行了相应的总结。其次，介绍了应对成员推理攻击的防御手段，对现有的防御机制按照模型过拟合、基于模型压缩和基于扰动等策略进行分类和总结。最后，对现有的成员推理攻击和防御机制的优缺点进行了分析，并提出了成员推理攻击的一些潜在的研究方向。     

针对深度学习模型的对抗性攻击与防御

以深度学习为主要代表的人工智能技术正在悄然改变人们的生产生活方式,但深度学习模型的部署也带来了一定的安全隐患.研究针对深度学习模型的攻防分析基础理论与关键技术,对深刻理解模型内在脆弱性、全面保障智能系统安全性、广泛部署人工智能应用具有重要意义.拟从对抗的角度出发,探讨针对深度学习模型的攻击与防御技术进展和未来挑战.首先介绍了深度学习生命周期不同阶段所面临的安全威胁.然后从对抗性攻击生成机理分析、对抗性攻击生成、对抗攻击的防御策略设计、对抗性攻击与防御框架构建4个方面对现有工作进行系统的总结和归纳.还讨论了现有研究的局限性并提出了针对深度学习模型攻防的基本框架.最后讨论了针对深度学习模型的对抗性攻击与防御未来的研究方向和面临的技术挑战.     

深度强化学习的攻防与安全性分析综述

深度强化学习是人工智能领域新兴技术之一,它将深度学习强大的特征提取能力与强化学习的决策能力相结合,实现从感知输入到决策输出的端到端框架,具有较强的学习能力且应用广泛.然而,已有研究表明深度强化学习存在安全漏洞,容易受到对抗样本攻击.为提高深度强化学习的鲁棒性、实现系统的安全应用,本文针对已有的研究工作,较全面地综述了深度强化学习方法、对抗攻击、防御方法与安全性分析,并总结深度强化学习安全领域存在的开放问题以及未来发展的趋势,旨在为从事相关安全研究与工程应用提供基础.     

深度强化学习的攻防与安全性分析综述

深度强化学习是人工智能领域新兴技术之一,它将深度学习强大的特征提取能力与强化学习的决策能力相结合,实现从感知输入到决策输出的端到端框架,具有较强的学习能力且应用广泛.然而,已有研究表明深度强化学习存在安全漏洞,容易受到对抗样本攻击.为提高深度强化学习的鲁棒性、实现系统的安全应用,本文针对已有的研究工作,较全面地综述了深度强化学习方法、对抗攻击、防御方法与安全性分析,并总结深度强化学习安全领域存在的开放问题以及未来发展的趋势,旨在为从事相关安全研究与工程应用提供基础.     

机器学习中成员推理攻击和防御研究综述

机器学习被广泛应用于各个领域, 已成为推动各行业革命的强大动力, 极大促进了人工智能的繁荣与发展。同时, 机器学习模型的训练和预测均需要大量数据, 而这些数据可能包含隐私信息, 导致其隐私安全面临严峻挑战。成员推理攻击主要通过推测一个数据样本是否被用于训练目标模型来破坏数据隐私, 其不仅可以破坏多种机器学习模型(如, 分类模型和生成模型)的数据隐私, 而且其隐私泄露也渗透到图像分类、语音识别、自然语言处理、计算机视觉等领域, 这对机器学习的长远发展产生了极大的安全威胁。因此, 为了提高机器学习模型对成员推理攻击的安全性, 本文从机器学习隐私安全攻防角度, 全面系统性分析和总结了成员推理攻击和防御的基本原理和特点。首先, 介绍了成员推理攻击的定义、威胁模型, 并从攻击原理、攻击场景、背景知识、攻击的目标模型、攻击领域、攻击数据集大小六个方面对成员推理攻击进行分类, 比较不同攻击的优缺点; 然后, 从目标模型的训练数据、模型类型以及模型的过拟合程度三个角度分析成员推理攻击存在原因, 并从差分隐私、正则化、数据增强、模型堆叠、早停、信任分数掩蔽和知识蒸馏七个层面对比分析不同防御措施; 接着, 归纳总结了成员推理攻击和防御常用的评估指标和数据集, 以及其在其他方面的应用。最后, 通过对比分析已有成员推理攻击和防御的优缺点, 对其面临的挑战和未来研究方向进行了展望。     

基于CBAPD网络的侧信道攻击

侧信道攻击是一类强大的密码分析攻击,自该理论提出以来受到了密码学界的广泛关注.近年来深度学习技术被越来越多地应用于侧信道攻击领域,其中如何提升深度学习模型的性能是研究的热点.本文根据攻击目标数据的特点,提出了一种新的卷积神经网络结构CBAPD,此网络将卷积层中的激活函数去除,然后在卷积层后加入了批标准化层,并且在批标准...     

机器学习模型安全与隐私研究综述

在大数据时代下,深度学习、强化学习以及分布式学习等理论和技术取得的突破性进展,为机器学习提供了数据和算法层面的强有力支撑,同时促进了机器学习的规模化和产业化发展.然而,尽管机器学习模型在现实应用中有着出色的表现,但其本身仍然面临着诸多的安全威胁.机器学习在数据层、模型层以及应用层面临的安全和隐私威胁呈现出多样性、隐蔽性和动态演化的特点.机器学习的安全和隐私问题吸引了学术界和工业界的广泛关注,一大批学者分别从攻击和防御的角度对模型的安全和隐私问题进行了深入的研究,并且提出了一系列的攻防方法.在本综述中,我们回顾了机器学习的安全和隐私问题,并对现有的研究工作进行了系统的总结和科学的归纳,同时明确了当前研究的优势和不足.最后,我们探讨了机器学习模型安全与隐私保护研究当前所面临的挑战以及未来潜在的研究方向,旨在为后续学者进一步推动机器学习模型安全与隐私保护研究的发展和应用提供指导.     

面向鲁棒学习的对抗训练技术综述

深度学习在众多领域取得了巨大成功。然而，其强大的数据拟合能力隐藏着不可解释的“捷径学习”现象，从而引发深度模型脆弱、易受攻击的安全隐患。众多研究表明，攻击者向正常数据中添加人类无法察觉的微小扰动，便可能造成模型产生灾难性的错误输出，这严重限制了深度学习在安全敏感领域的应用。对此，研究者提出了各种对抗性防御方法。其中，对抗训练是典型的启发式防御方法。它将对抗攻击与对抗防御注入一个框架，一方面通过攻击已有模型学习生成对抗样本，另一方面利用对抗样本进一步开展模型训练，从而提升模型的鲁棒性。为此，本文围绕对抗训练，首先，阐述了对抗训练的基本框架；其次，对对抗训练框架下的对抗样本生成、对抗模型防御性训练等方法与关键技术进行分类梳理；然后，对评估对抗训练鲁棒性的数据集及攻击方式进行总结；最后，通过对当前对抗训练所面临挑战的分析，本文给出了其未来的几个发展方向。     

隐蔽图像后门攻击

目的 图像后门攻击是一种经典的对抗性攻击形式,后门攻击使被攻击的深度模型在正常情况下表现良好,而当隐藏的后门被预设的触发器激活时就会出现恶性结果。现有的后门攻击开始转向为有毒样本分配干净标签或在有毒数据中隐蔽触发器以对抗人类检查,但这些方法在视觉监督下很难同时具备这两种安全特性,并且它们的触发器可以很容易地通过统计分析检测出来。因此,提出了一种隐蔽有效的图像后门攻击方法。方法 首先通过信息隐藏技术隐蔽图像后门触发,使标签正确的中毒图像样本(标签不可感知性)和相应的干净图像样本看起来几乎相同(图像不可感知性)。其次,设计了一种全新的后门攻击范式,其中毒的源图像类别同时也是目标类。提出的后门攻击方法不仅视觉上是隐蔽的,同时能抵御经典的后门防御方法(统计不可感知性)。结果 为了验证方法的有效性与隐蔽性,在ImageN et、MNIST、CIFAR-10数据集上与其他3种方法进行了对比实验。实验结果表明,在3个数据集上,原始干净样本分类准确率下降均不到1%,中毒样本分类准确率都超过94%,并具备最好的图像视觉效果。另外,验证了所提出的触发器临时注入的任意图像样本都可以发起有效的后门攻击。结论 ...     

对抗攻击威胁基于卷积神经网络的网络流量分类

深度学习算法被广泛地应用于网络流量分类,具有较好的分类效果,应用卷积神经网络不仅能大幅提高网络流量分类的准确性,还能简化其分类过程.然而,神经网络面临着对抗攻击等安全威胁,这些安全威胁对基于神经网络的网络流量分类的影响有待进一步的研究和验证.文中提出了基于卷积神经网络的网络流量分类的对抗攻击方法,通过对由网络流量转换成的深度学习输入图像添加人眼难以识别的扰动,使得卷积神经网络对网络流量产生错误的分类.同时,针对这种攻击方法,文中也提出了基于混合对抗训练的防御措施,将对抗攻击形成的对抗流量样本和原始流量样本混合训练以增强分类模型的鲁棒性.文中采用公开数据集进行实验,实验结果表明,所提对抗攻击方法能导致基于卷积神经网络的网络流量分类方法的准确率急剧下降,通过混合对抗训练则能够有效地抵御对抗攻击,从而提高模型的鲁棒性.