基于随机断层与梯度剪裁的横向联邦学习后门防御研究

联邦学习解决了用户隐私与数据共享相悖之大数据困局,体现了“数据可用不可见”的理念。然而,联邦模型在训练过程中存在后门攻击的风险。攻击者通过本地训练一个包含后门任务的攻击模型,并将模型参数放大一定比例,从而实现将后门植入联邦模型中。针对横向联邦学习模型所面临的后门威胁,从博弈的视角,提出一种基于随机断层与梯度剪裁相结合的后门防御策略和技术方案：中心服务器在收到参与方提交的梯度信息后,随机确定每个参与方的神经网络层,然后将各参与方的梯度贡献分层聚合,并使用梯度阈值对梯度参数进行裁剪。梯度剪裁和随机断层可削弱个别参与方异常数据的影响力,使联邦模型在学习后门特征时陷入平缓期,长时间无法学习到后门特征,同时不影响正常任务的学习。如果中心服务器在平缓期内结束联邦学习,即可实现对后门攻击的防御。实验结果表明,该方法可以有效地防御联邦学习中潜在的后门威胁,同时保证了模型的准确性。因此,该方法可以应用于横向联邦学习场景中,为联邦学习的安全保驾护航。     

基于自定义后门的触发器样本检测方案

深度学习利用强大的特征表示和学习能力为金融、医疗等多个领域注入新的活力, 但其训练过程存在安全威胁漏洞, 攻击者容易通过操纵训练集或修改模型权重执行主流后门攻击: 数据中毒攻击与模型中毒攻击。两类攻击所产生的后门行为十分隐蔽, 后门模型可以保持干净样本的分类精度, 同时对嵌入攻击者预定义触发器的样本呈现定向误分类。针对干净样本与触发器样本在拟合程度上的区别, 提出一种基于自定义后门行为的触发器样本检测方案 BackDetc, 防御者自定义一种微小触发器并执行数据中毒攻击向模型注入自定义的后门, 接着通过嵌入自定义触发器设计一种输入样本扰动机制, 根据自定义触发器的透明度衡量输入样本的拟合程度, 最终以干净样本的拟合程度为参照设置异常检测的阈值, 进而识别触发器样本, 不仅维持资源受限用户可负担的计算开销, 而且降低了后门防御假设, 能够部署于实际应用中, 成功抵御主流后门攻击以及威胁更大的类可知后门攻击。在 MNIST、 CIFAR-10 等分类任务中, BackDetc 对数据中毒攻击与模型中毒攻击的检测成功率均高于目前的触发器样本检测方案, 平均达到 99.8%以上。此外, 论文探究了检测假阳率对检测性能的影响, 并给出了动态调整 BackDetc 检测效果的方法, 能够以 100%的检测成功率抵御所有分类任务中的主流后门攻击。最后, 在 CIFAR-10 任务中实现类可知后门攻击并对比各类触发器样本检测方案, 仅有 BackDetc 成功抵御此类攻击并通过调整假阳率将检测成功率提升至 96.2%。     

基于生成式对抗网络的联邦学习后门攻击方案

联邦学习使用户在数据不出本地的情形下参与协作式的模型训练,降低了用户数据隐私泄露风险,广泛地应用于智慧金融、智慧医疗等领域.但联邦学习对后门攻击表现出固有的脆弱性,攻击者通过上传模型参数植入后门,一旦全局模型识别带有触发器的输入时,会按照攻击者指定的标签进行误分类.因此针对联邦学习提出了一种新型后门攻击方案Bac_GAN,通过结合生成式对抗网络技术将触发器以水印的形式植入干净样本,降低了触发器特征与干净样本特征之间的差异,提升了触发器的隐蔽性,并通过缩放后门模型,避免了参数聚合过程中后门贡献被抵消的问题,使得后门模型在短时间内达到收敛,从而显著提升了后门攻击成功率.此外,论文对触发器生成、水印系数、缩放系数等后门攻击核心要素进行了实验测试,给出了影响后门攻击性能的最佳参数,并在MNIST,CIFAR-10等数据集上验证了Bac_GAN方案的攻击有效性.     

分布式深度学习隐私与安全攻击研究进展与挑战

不同于集中式深度学习模式,分布式深度学习摆脱了模型训练过程中数据必须中心化的限制,实现了数据的本地操作,允许各方参与者在不交换数据的情况下进行协作,显著降低了用户隐私泄露风险,从技术层面可以打破数据孤岛,显著提升深度学习的效果,能够广泛应用于智慧医疗、智慧金融、智慧零售和智慧交通等领域.但生成对抗式网络攻击、成员推理攻击和后门攻击等典型攻击揭露了分布式深度学习依然存在严重隐私漏洞和安全威胁.首先对比分析了联合学习、联邦学习和分割学习3种主流的分布式深度学习模式特征及其存在的核心问题.其次,从隐私攻击角度,全面阐述了分布式深度学习所面临的各类隐私攻击,并归纳和分析了现有隐私攻击防御手段.同时,从安全攻击角度,深入剖析了数据投毒攻击、对抗样本攻击和后门攻击3种安全攻击方法的攻击过程和内在安全威胁,并从敌手能力、防御原理和防御效果等方面对现有安全攻击防御技术进行了度量.最后,从隐私与安全攻击角度,对分布式深度学习未来的研究方向进行了讨论和展望.     

文本后门攻击与防御综述

深度神经网络的安全性和鲁棒性是深度学习领域的研究热点.以往工作主要从对抗攻击角度揭示神经网络的脆弱性,即通过构建对抗样本来破坏模型性能并探究如何进行防御.但随着预训练模型的广泛应用,出现了一种针对神经网络尤其是预训练模型的新型攻击方式——后门攻击.后门攻击向神经网络注入隐藏的后门,使其在处理包含触发器（攻击者预先定义的图案或文本等）的带毒样本时会产生攻击者指定的输出.目前文本领域已有大量对抗攻击与防御的研究,但对后门攻击与防御的研究尚不充分,缺乏系统性的综述.全面介绍文本领域后门攻击和防御技术.首先,介绍文本领域后门攻击基本流程,并从不同角度对文本领域后门攻击和防御方法进行分类,介绍代表性工作并分析其优缺点;之后,列举常用数据集以及评价指标,将后门攻击与对抗攻击、数据投毒2种相关安全威胁进行比较;最后,讨论文本领域后门攻击和防御面临的挑战,展望该新兴领域的未来研究方向.     

路由器拟态防御能力测试与分析

路由器是网络中的核心基础设备,但其面对基于漏洞和后门的攻击时却缺少有效的防御手段。拟态防御机制作为一种创新的主动防御方法引入到路由器的设计架构中,构建了路由器拟态防御原理验证系统。结合拟态防御机制的特性和路由器的特点,提出了针对路由器拟态防御原理验证系统的测试方法,并按照测试方法对该系统进行了全面测试,包括基础性能测试,拟态防御机制测试以及防御效果测试。测试结果表明,路由器拟态防御原理验证系统能在不影响路由器基本功能和性能指标的前提下实现了拟态防御机制,拟态防御机制能够改变固有漏洞或者后门的呈现性质,扰乱漏洞或后门的可锁定性与攻击链路通达性,大幅增加系统视在漏洞或后门的可利用难度。     

拟态防御体系攻击检测研究与分析

网络空间拟态防御技术是一种采用动态异构冗余架构的新型主动防御技术,论述了基于拟态防御体系的攻击检测方法,能够检测定位漏洞并及时修复,完成从静态防御到动态防御的转变,提高对未知漏洞和后门攻击的防御能力。     

联邦学习安全防御与隐私保护技术研究

联邦学习（federated learning,FL）在多个参与方不直接进行数据传输的前提下共同完成模型训练,充分发挥各方数据价值;然而,由于联邦学习的固有缺陷以及存储和通信的安全问题,其在实际应用场景中仍面临多种安全与隐私威胁。首先阐述了FL面临的安全攻击和隐私攻击;然后针对这两类典型攻击分别总结了最新的安全防御机制和隐私保护手段,包括投毒攻击防御、后门攻击防御、搭便车攻击防御、女巫攻击防御以及基于安全计算与差分隐私的防御手段。通过对联邦学习的现有风险和相应防御手段的系统梳理,展望了联邦学习未来的研究挑战与发展方向。     

联邦学习中抵抗大量后门客户端的鲁棒聚合算法

随着数据的爆炸式增长以及企业和个人对隐私问题的关注,传统的集中式机器学习已经不能满足现有的需求.联邦学习是一种新兴的分布式机器学习框架,旨在不分享私有数据的前提下利用分散的客户端训练一个全局模型,解决数据隐私和数据孤岛问题.然而,由于联邦学习的分布式和隐私保护特性,其容易受到各种各样的攻击,后门攻击则是联邦学习系统受到的攻击之一.目前,业界已提出大量的鲁邦算法来抵抗联邦学习系统遭受的后门攻击.然而,现有的鲁棒算法大多有较强的假设,例如受到不同客户端数据分布和恶意后门客户端数量的限制.我们的研究表明了现有的鲁棒算法不能解决在非独立同分布场景下,大量后门客户端共同攻击的问题.为解决这一难题,本文提出了一种鲁棒算法Poly.Poly算法包含两部分:一部分利用相似度矩阵和聚类算法进行聚类分析;另一部分则基于余弦相似度选择最优的类去聚合全局模型.由于Poly算法能完全去除恶意后门模型,从而完全避免了后门污染全局模型.为了验证Poly算法的性能,实验利用了MNIST、Fashion-MNIST、CIFAR-10和Reddit四种数据集,考虑了数据不平衡和类别不平衡两种非独立同分布场景以及独立同分布...     

基于矩阵映射的拜占庭鲁棒联邦学习算法

联邦学习(federated learning)由于参数服务器端只收集客户端模型而不接触客户端本地数据,从而更好地保护数据隐私然而其基础聚合算法FedAvg容易受到拜占庭客户端攻击.针对此问题,很多研究提出了不同聚合算法,但这些聚合算法存在防守能力不足、模型假设不贴合实际等问题.因此,提出一种新型的拜占庭鲁棒聚合算法.与现有聚合算法不同,该算法侧重于检测Softmax层的概率分布具体地,参数服务器在收集客户端模型之后,通过构造的矩阵去映射模型的更新部分来获取此模型的Softmax层概率分布,排除分布异常的客户端模型.实验结果表明:在不降低FedAvg精度的前提下,在阻碍收敛攻击中,将拜占庭容忍率从40％提高到45％,在后门攻击中实现对边缘后门攻击的防守.此外,根据目前最先进的自适应攻击框架,设计出专门针对该聚合算法的自适应攻击,并进行了实验评估,实验结果显示,该聚合算法可以防御至少30％的拜占庭客户端.     

深度学习模型的后门攻击研究综述

近年来,以深度学习为代表的人工智能在理论与技术上取得了重大进展,在数据、算法、算力的强力支撑下,深度学习受到空前的重视,并被广泛应用于各领域。与此同时,深度学习自身的安全问题也引起了广泛的关注。研究者发现深度学习存在诸多安全隐患,其中在深度学习模型安全方面,研究者对后门攻击这种新的攻击范式进行广泛探索,深度学习模型在全生命周期中都可能面临后门攻击威胁。首先分析了深度学习面临的安全威胁,在此基础上给出后门攻击技术的相关背景及原理,并对与之相近的对抗攻击、数据投毒攻击等攻击范式进行区分。然后对近年来有关后门攻击的研究工作进行总结与分析,根据攻击媒介将攻击方案分为基于数据毒化、基于模型毒化等类型,随后详细介绍了后门攻击针对各类典型任务及学习范式的研究现状,进一步揭示后门攻击对深度学习模型的威胁。随后梳理了将后门攻击特性应用于积极方面的研究工作。最后总结了当前后门攻击领域面临的挑战,并给出未来有待深入研究的方向,旨在为后续研究者进一步推动后门攻击和深度学习安全的发展提供有益参考。     

深度学习中的后门攻击综述

随着深度学习研究与应用的迅速发展,人工智能安全问题日益突出。近年来,深度学习模型的脆弱性和不鲁棒性被不断的揭示,针对深度学习模型的攻击方法层出不穷,而后门攻击就是其中一类新的攻击范式。与对抗样本和数据投毒不同,后门攻击者在模型的训练数据中添加触发器并改变对应的标签为目标类别。深度学习模型在中毒数据集上训练后就被植入了可由触发器激活的后门,使得模型对于正常输入仍可保持高精度的工作,而当输入具有触发器时,模型将按照攻击者所指定的目标类别输出。在这种新的攻击场景和设置下,深度学习模型表现出了极大的脆弱性,这对人工智能领域产生了极大的安全威胁,后门攻击也成为了一个热门研究方向。因此,为了更好的提高深度学习模型对于后门攻击的安全性,本文针对深度学习中的后门攻击方法进行了全面的分析。首先分析了后门攻击和其他攻击范式的区别,定义了基本的攻击方法和流程,然后对后门攻击的敌手模型、评估指标、攻击设置等方面进行了总结。接着,将现有的攻击方法从可见性、触发器类型、标签类型以及攻击场景等多个维度进行分类,包含了计算机视觉和自然语言处理在内的多个领域。此外,还总结了后门攻击研究中常用的任务、数据集与深度学习模型,并介绍了后门攻击在数据隐私、模型保护以及模型水印等方面的有益应用,最后对未来的关键研究方向进行了展望。     

基于人工智能技术的热电企业网络安全防御系统设计

热电企业网络具有开放性,网络内部数据极易被恶意攻击威胁网络安全,因此设计基于人工智能技术的热电企业网络安全防御系统。系统硬件方面,部署一个由入侵检测服务器、日志服务器、路由器、防火墙等组件构成的蜜罐网络架构;系统软件方面,利用聚类算法设计热电企业网络入侵检测功能,通过人工智能技术,建立深度学习网络模型的后门攻击与后门防御机制实现热电企业网络的安全防御。结果表明,在系统的防御下,热电企业网络数据被攻击者成功篡改的概率不超过1%,系统可有效抵御恶意网络攻击。     

基于数据属性修改的联邦学习隐私保护策略

针对大部分联邦学习防御方法存在降低联邦学习实用性、计算效率低和防御攻击种类单一等问题,文章提出一种基于变分自编码器的属性修改框架,在客户端对数据预处理以达到保护联邦学习的目的。首先,为了提高算法计算效率,文章提出一种基于迁移学习的变分自编码器训练方案来减少客户端训练周期;其次,利用变分自编码器具有连续性的潜变量,设计了一种基于属性分布约束规则的属性修改方案来实现客户端训练数据的重构。实验结果表明,属性修改方案可以成功分离和控制图像的属性向量,通过将原始图像改变为带有相应属性的重构图像,保护了客户端数据隐私。将修改后的图像用于训练联邦学习分类任务,其准确率可达94.44%,体现了方案的可用性,并且该方案可以成功防御非主属性隐私泄露和基于数据中毒的后门攻击。     

抑制图像非语义信息的通用后门防御策略

目的 后门攻击已成为目前卷积神经网络所面临的重要威胁。然而,当下的后门防御方法往往需要后门攻击和神经网络模型的一些先验知识,这限制了这些防御方法的应用场景。本文依托图像分类任务提出一种基于非语义信息抑制的后门防御方法,该方法不再需要相关的先验知识,只需要对网络的输入进行编解码处理就可以达到后门防御的目的。方法 核心思想是在保持图像语义不改变的同时,尽量削弱原始样本中与图像语义不相关的信息,以此抑制触发器。通过在待保护模型前添加一个即插即用的U型网络(即信息提纯网络)来实现对图像非语义信息的抑制。其输入是干净的初始样本,输出命名为强化样本。具体的训练过程中,首先用不同的训练超参数训练多个结构不一的干净分类器,然后在保持强化样本被上述分类器正确分类的前提下,优化信息提纯网络使强化样本和原始样本之间的差异尽可能地大。结果 实验在MNIST、CIFAR10和Image Net10数据集上进行。实验结果显示,经过信息提纯网络编解码后,干净样本的分类准确率略有下降,后门攻击成功率大幅降低,带有触发器的样本以接近干净样本的准确率被正确预测。结论 提出的非语义信息抑制防御方法能够在不需要相关先验知识的...     

面向频谱接入深度强化学习模型的后门攻击方法

深度强化学习(Deep Reinforcement Learning, DRL)方法以其在智能体感知和决策方面的优势,在多用户智能动态频谱接入问题上得到广泛关注。然而,深度神经网络的弱可解释性使得DRL模型容易受到后门攻击威胁。针对认知无线网络下基于深度强化学习模型的动态频谱接入(Dynamic Spectrum Access, DSA)场景,提出了一种非侵入、开销低的后门攻击方法。攻击者通过监听信道使用情况来选择非侵入的后门触发器,随后将后门样本添加到次用户的DRL模型训练池,并在训练阶段将后门植入DRL模型中;在推理阶段,攻击者主动发送信号激活模型中的触发器,使次用户做出目标动作,降低次用户的信道接入成功率。仿真结果表明,所提后门攻击方法能够在不同规模的DSA场景下达到90%以上的攻击成功率,相比持续攻击可以减少20%～30%的攻击开销,并适用于3种不同类型的DRL模型。     

隐蔽图像后门攻击

目的 图像后门攻击是一种经典的对抗性攻击形式,后门攻击使被攻击的深度模型在正常情况下表现良好,而当隐藏的后门被预设的触发器激活时就会出现恶性结果。现有的后门攻击开始转向为有毒样本分配干净标签或在有毒数据中隐蔽触发器以对抗人类检查,但这些方法在视觉监督下很难同时具备这两种安全特性,并且它们的触发器可以很容易地通过统计分析检测出来。因此,提出了一种隐蔽有效的图像后门攻击方法。方法 首先通过信息隐藏技术隐蔽图像后门触发,使标签正确的中毒图像样本(标签不可感知性)和相应的干净图像样本看起来几乎相同(图像不可感知性)。其次,设计了一种全新的后门攻击范式,其中毒的源图像类别同时也是目标类。提出的后门攻击方法不仅视觉上是隐蔽的,同时能抵御经典的后门防御方法(统计不可感知性)。结果 为了验证方法的有效性与隐蔽性,在ImageN et、MNIST、CIFAR-10数据集上与其他3种方法进行了对比实验。实验结果表明,在3个数据集上,原始干净样本分类准确率下降均不到1%,中毒样本分类准确率都超过94%,并具备最好的图像视觉效果。另外,验证了所提出的触发器临时注入的任意图像样本都可以发起有效的后门攻击。结论 ...     

基于梯度检测的联邦学习标签翻转攻击防御方法

联邦学习作为一种分布式机器学习范式,解决了数据孤岛问题,并为各种学习任务提供有效的隐私保障。但是,联邦学习不直接访问用户端数据,全局模型容易受恶意客户端篡改数据的投毒攻击。其中,标签翻转攻击因隐蔽性强和危害性大的缺点成为学术界关注的热点。目前,有学者已经提出了许多减少标签翻转攻击威胁的策略,但这些策略需要较大的计算开销,缺乏健壮性,甚至会引起隐私问题。针对联邦学习中标签翻转攻击问题,提出了基于梯度检测联邦学习标签翻转攻击防御方法(A Gradient Detection-Based Defense Approach for Federated Learning Label Flipping Attacks,GDFL)。通过服务器测试数据集的准确度检测收集的梯度更新是否恶意,并使用强化学习方法提高检测效率,限制恶意客户端的参数更新,从而实现联邦学习标签翻转攻击的防御。在CIFAR-10数据集上的实验,验证了提出方法在防御标签翻转攻击的有效性。     

面向联邦学习的神经通路中毒攻击方法

随着人工智能技术与大数据科学的不断发展，联邦学习在金融、医疗、工业制造等重要领域中得到广泛运用.同集中式学习相比，联邦学习在效率和安全性上都有明显的优势.然而，随着应用层次的逐步深入，联邦学习也随之暴露出一些安全问题，例如：隐私窃取、中毒攻击等.为了更好的挖掘联邦学习中存在的安全漏洞，本文提出了一种面向联邦学习的神经通路中毒攻击方法(Neural Path Poisoning Attack, NPFA).首先利用准备的中毒数据集生成与目标模型等价的中毒模型，然后提取中毒模型中的神经通路并替换目标模型的神经通路，使得联邦模型在聚合的过程中中毒，并在保持中毒能力的同时克服中毒模型与正常模型差异较大这一问题，实现隐蔽的中毒攻击，绕过防御方法.大量实验验证了植入神经通路后的中毒成功率可以达到85%以上，并且联邦学习主任务性能略有提升.值得一提的是，在一些联邦防御方法下，NPFA依旧有很好的攻击效果.     

抗推理攻击的隐私增强联邦学习算法

联邦学习在保证各分布式客户端训练数据不出本地的情况下，由中心服务器收集梯度协同训练全局网络模型，具有良好的性能与隐私保护优势。但研究表明，联邦学习存在梯度传递引起的数据隐私泄漏问题。针对现有安全联邦学习算法存在的模型学习效果差、计算开销大和防御攻击种类单一等问题，提出了一种抗推理攻击的隐私增强联邦学习算法。首先，构建了逆推得到的训练数据与训练数据距离最大化的优化问题，基于拟牛顿法求解该优化问题，获得具有抗推理攻击能力的新特征。其次，利用新特征生成梯度实现梯度重构，基于重构后的梯度更新网络模型参数，可提升网络模型的隐私保护能力。最后，仿真结果表明所提算法能够同时抵御两类推理攻击，并且相较于其他安全方案，所提算法在保护效果与收敛速度上更具优势。