工业场景下联邦学习中基于模型诊断的后门防御方法

联邦学习作为一种能够解决数据孤岛问题、实现数据资源共享的机器学习方法，其特点与工业设备智能化发展的要求相契合。因此，以联邦学习为代表的人工智能技术在工业互联网中的应用越来越广泛。但是，针对联邦学习架构的攻击手段也在不断更新。后门攻击作为攻击手段的代表之一，有着隐蔽性和破坏性强的特点，而传统的防御方案往往无法在联邦学习架构下发挥作用或者对早期攻击防范能力不足。因此，研究适用于联邦学习架构的后门防御方案具有重大意义。文中提出了一种适用于联邦学习架构的后门诊断方案，能够在无数据情况下利用后门模型的形成特点重构后门触发器，实现准确识别并移除后门模型，从而达到全局模型后门防御的目的。此外，还提出了一种新的检测机制实现对早期模型的后门检测，并在此基础上优化了模型判决算法，通过早退联合判决模式实现了准确率与速度的共同提升。     

基于梯度检测的联邦学习标签翻转攻击防御方法

联邦学习作为一种分布式机器学习范式,解决了数据孤岛问题,并为各种学习任务提供有效的隐私保障。但是,联邦学习不直接访问用户端数据,全局模型容易受恶意客户端篡改数据的投毒攻击。其中,标签翻转攻击因隐蔽性强和危害性大的缺点成为学术界关注的热点。目前,有学者已经提出了许多减少标签翻转攻击威胁的策略,但这些策略需要较大的计算开销,缺乏健壮性,甚至会引起隐私问题。针对联邦学习中标签翻转攻击问题,提出了基于梯度检测联邦学习标签翻转攻击防御方法(A Gradient Detection-Based Defense Approach for Federated Learning Label Flipping Attacks,GDFL)。通过服务器测试数据集的准确度检测收集的梯度更新是否恶意,并使用强化学习方法提高检测效率,限制恶意客户端的参数更新,从而实现联邦学习标签翻转攻击的防御。在CIFAR-10数据集上的实验,验证了提出方法在防御标签翻转攻击的有效性。     

联邦学习安全防御与隐私保护技术研究

联邦学习（federated learning,FL）在多个参与方不直接进行数据传输的前提下共同完成模型训练,充分发挥各方数据价值;然而,由于联邦学习的固有缺陷以及存储和通信的安全问题,其在实际应用场景中仍面临多种安全与隐私威胁。首先阐述了FL面临的安全攻击和隐私攻击;然后针对这两类典型攻击分别总结了最新的安全防御机制和隐私保护手段,包括投毒攻击防御、后门攻击防御、搭便车攻击防御、女巫攻击防御以及基于安全计算与差分隐私的防御手段。通过对联邦学习的现有风险和相应防御手段的系统梳理,展望了联邦学习未来的研究挑战与发展方向。     

深度神经网络中的后门攻击与防御技术综述

神经网络后门攻击旨在将隐藏的后门植入到深度神经网络中,使被攻击的模型在良性测试样本上表现正常,而在带有后门触发器的有毒测试样本上表现异常,如将有毒测试样本的类别预测为攻击者的目标类。对现有攻击和防御方法进行全面的回顾,以攻击对象作为主要分类依据,将攻击方法分为数据中毒攻击、物理世界攻击、中毒模型攻击和其他攻击等类别。从攻防对抗的角度对现有后门攻击和防御的技术进行归纳总结,将防御方法分为识别有毒数据、识别中毒模型、过滤攻击数据等类别。从深度学习几何原理、可视化等角度探讨深度神经网络后门缺陷产生的原因,从软件工程、程序分析等角度探讨深度神经网络后门攻击和防御的困难以及未来发展方向。希望为研究者了解深度神经网络后门攻击与防御的研究进展提供帮助,为设计更健壮的深度神经网络提供更多启发。     

联邦学习中的隐私问题研究进展

随着大数据、云计算等领域的蓬勃发展,重视数据安全与隐私已经成为世界性的趋势,不同团体为保护自身利益和隐私不愿贡献数据,形成了数据孤岛.联邦学习使数据不出本地就可被多方利用,为解决数据碎片化和数据隔离等问题提供了解决思路.然而越来越多研究表明,由谷歌首先提出的联邦学习算法不足以抵抗精心设计的隐私攻击,因此如何进一步加强隐私防护,保护联邦学习场景下的用户数据隐私成为一个重要问题.对近些年来联邦学习隐私攻击与防护领域取得的成果进行了系统总结.首先介绍了联邦学习的定义、特点和分类;然后分析了联邦学习场景下隐私威胁的敌手模型,并根据敌手攻击目标对隐私攻击方法进行了分类和梳理;介绍了联邦学习中的主流隐私防护技术,并比较了各技术在实际应用中的优缺点;分析并总结了6类目前联邦学习的隐私保护方案;最后指出目前联邦学习隐私保护面临的挑战,展望了未来可能的研究方向.     

基于随机断层与梯度剪裁的横向联邦学习后门防御研究

联邦学习解决了用户隐私与数据共享相悖之大数据困局,体现了“数据可用不可见”的理念。然而,联邦模型在训练过程中存在后门攻击的风险。攻击者通过本地训练一个包含后门任务的攻击模型,并将模型参数放大一定比例,从而实现将后门植入联邦模型中。针对横向联邦学习模型所面临的后门威胁,从博弈的视角,提出一种基于随机断层与梯度剪裁相结合的后门防御策略和技术方案：中心服务器在收到参与方提交的梯度信息后,随机确定每个参与方的神经网络层,然后将各参与方的梯度贡献分层聚合,并使用梯度阈值对梯度参数进行裁剪。梯度剪裁和随机断层可削弱个别参与方异常数据的影响力,使联邦模型在学习后门特征时陷入平缓期,长时间无法学习到后门特征,同时不影响正常任务的学习。如果中心服务器在平缓期内结束联邦学习,即可实现对后门攻击的防御。实验结果表明,该方法可以有效地防御联邦学习中潜在的后门威胁,同时保证了模型的准确性。因此,该方法可以应用于横向联邦学习场景中,为联邦学习的安全保驾护航。     

不同场景的联邦学习安全与隐私保护研究综述

随着大数据不断发展,联邦学习已被广泛应用于各种各样的场景,从而方便人们的生产生活,但该技术给人们带来便利的同时也让用户面临着数据泄露的挑战,因此数据安全成为联邦学习研究的热点问题.通过介绍横向及纵向联邦学习的训练过程,并对该过程的潜在对手及其攻击原因进行研究,从而分类总结了现有的攻击手段,如投毒攻击、对抗攻击及模型逆推攻击等;在两种场景下分类介绍针对几种攻击手段的防御措施,如梯度稀疏化、恶意检测、秘密样本对齐、标签保护、加密共享和扰动共享等,这些方法不仅可以保证参与方的数据安全,也可以保证联合模型的准确率;最后根据对现有技术的研究,总结了现存方法存在的问题及未来的研究方向.     

联邦学习的隐私保护与安全防御研究综述

联邦学习作为人工智能领域的新兴技术,它兼顾处理“数据孤岛”和隐私保护问题,将分散的数据方联合起来训练全局模型同时保持每一方的数据留在本地.联邦学习在很大程度上给需要将数据融合处理的数据敏感型应用带来了希望,但它仍然存在一些潜在的隐私泄露隐患和数据安全问题.为了进一步探究基于联邦学习的隐私保护和安全防御技术研究现状,本文对联邦学习的隐私和安全问题在现有最前沿的研究成果上进行了更清晰的分类,并对威胁隐私和安全的手段进行了威胁强度的划分.本文首先介绍了涉及联邦学习隐私和安全问题的威胁根源,并从多个方面罗列了其在联邦学习中的破坏手段及威胁性.其次,本文总结了关于联邦学习隐私和安全问题所面临的挑战.对于隐私保护而言,本文同时分析了包括单个恶意参与方或中央服务器的攻击和多方恶意合谋泄露隐私的场景,并探讨了相应的最先进保护技术.对于安全问题而言,本文着重分析了影响全局模型性能的多种恶意攻击手段,并系统性地阐述了先进的安全防御方案,以帮助规避构建安全的大规模分布式联邦学习计算环境中潜在的风险.同时与其他联邦学习相关综述论文相比,本文还介绍了联邦学习的多方恶意合谋问题,对比分析了现有的联邦安全聚合算法及...     

分布式深度学习隐私与安全攻击研究进展与挑战

不同于集中式深度学习模式,分布式深度学习摆脱了模型训练过程中数据必须中心化的限制,实现了数据的本地操作,允许各方参与者在不交换数据的情况下进行协作,显著降低了用户隐私泄露风险,从技术层面可以打破数据孤岛,显著提升深度学习的效果,能够广泛应用于智慧医疗、智慧金融、智慧零售和智慧交通等领域.但生成对抗式网络攻击、成员推理攻击和后门攻击等典型攻击揭露了分布式深度学习依然存在严重隐私漏洞和安全威胁.首先对比分析了联合学习、联邦学习和分割学习3种主流的分布式深度学习模式特征及其存在的核心问题.其次,从隐私攻击角度,全面阐述了分布式深度学习所面临的各类隐私攻击,并归纳和分析了现有隐私攻击防御手段.同时,从安全攻击角度,深入剖析了数据投毒攻击、对抗样本攻击和后门攻击3种安全攻击方法的攻击过程和内在安全威胁,并从敌手能力、防御原理和防御效果等方面对现有安全攻击防御技术进行了度量.最后,从隐私与安全攻击角度,对分布式深度学习未来的研究方向进行了讨论和展望.     

基于softmax激活变换的对抗防御方法

深度学习广泛应用于图像处理、自然语言处理、网络挖掘等各个领域并取得良好效果,但其容易受到对抗攻击、存在安全漏洞的问题引起广泛关注.目前已有一些有效的防御方法,包括对抗训练、数据变化、模型增强等方法.但是,依然存在一些问题,如提前已知攻击方法与对抗样本才能实现有效防御、面向黑盒攻击的防御能力差、以牺牲部分正常样本的处理性...     

抗推理攻击的隐私增强联邦学习算法

联邦学习在保证各分布式客户端训练数据不出本地的情况下，由中心服务器收集梯度协同训练全局网络模型，具有良好的性能与隐私保护优势。但研究表明，联邦学习存在梯度传递引起的数据隐私泄漏问题。针对现有安全联邦学习算法存在的模型学习效果差、计算开销大和防御攻击种类单一等问题，提出了一种抗推理攻击的隐私增强联邦学习算法。首先，构建了逆推得到的训练数据与训练数据距离最大化的优化问题，基于拟牛顿法求解该优化问题，获得具有抗推理攻击能力的新特征。其次，利用新特征生成梯度实现梯度重构，基于重构后的梯度更新网络模型参数，可提升网络模型的隐私保护能力。最后，仿真结果表明所提算法能够同时抵御两类推理攻击，并且相较于其他安全方案，所提算法在保护效果与收敛速度上更具优势。     

深度学习模型的中毒攻击与防御综述s

深度学习是当前机器学习和人工智能兴起的核心。随着深度学习在自动驾驶、门禁安检、人脸支付等严苛的安全领域中广泛应用,深度学习模型的安全问题逐渐成为新的研究热点。深度模型的攻击根据攻击阶段可分为中毒攻击和对抗攻击,其区别在于前者的攻击发生在训练阶段,后者的攻击发生在测试阶段。本文首次综述了深度学习中的中毒攻击方法,回顾深度学习中的中毒攻击,分析了此类攻击存在的可能性,并研究了现有的针对这些攻击的防御措施。最后,对未来中毒攻击的研究发展方向进行了探讨。     

面向联邦学习的对抗样本投毒攻击

为了解决传统的机器学习中数据隐私和数据孤岛问题,联邦学习技术应运而生.现有的联邦学习方法采用多个不共享私有数据的参与方联合训练得到了更优的全局模型.然而研究表明,联邦学习仍然存在很多安全问题.典型地,如在训练阶段受到恶意参与方的攻击,导致联邦学习全局模型失效和参与方隐私泄露.本文通过研究对抗样本在训练阶段对联邦学习系统进行投毒攻击的有效性,以发现联邦学习系统的潜在安全问题.尽管对抗样本常用于在测试阶段对机器学习模型进行攻击,但本文中,恶意参与方将对抗样本用于本地模型训练,旨在使得本地模型学习混乱的样本分类特征,从而生成恶意的本地模型参数.为了让恶意参与方主导联邦学习训练过程,本文进一步使用了“学习率放大”的策略.实验表明,相比于Fed-Deepconfuse攻击方法,本文的攻击在CIFAR10数据集和MNIST数据集上均获得了更优的攻击性能.     

基于数据属性修改的联邦学习隐私保护策略

针对大部分联邦学习防御方法存在降低联邦学习实用性、计算效率低和防御攻击种类单一等问题,文章提出一种基于变分自编码器的属性修改框架,在客户端对数据预处理以达到保护联邦学习的目的。首先,为了提高算法计算效率,文章提出一种基于迁移学习的变分自编码器训练方案来减少客户端训练周期;其次,利用变分自编码器具有连续性的潜变量,设计了一种基于属性分布约束规则的属性修改方案来实现客户端训练数据的重构。实验结果表明,属性修改方案可以成功分离和控制图像的属性向量,通过将原始图像改变为带有相应属性的重构图像,保护了客户端数据隐私。将修改后的图像用于训练联邦学习分类任务,其准确率可达94.44%,体现了方案的可用性,并且该方案可以成功防御非主属性隐私泄露和基于数据中毒的后门攻击。     

联邦学习与攻防对抗综述北大核心CSCD

随着机器学习技术的不断发展,个人隐私问题被广泛重视。由于用户数据被发送至中心节点导致集中学习受到相当程度的制约,所以联邦学习作为一个数据不出本地便可以完成模型训练的框架应运而生。但联邦学习机制依旧会受到各种攻击的影响而导致安全性和隐私性降低。文章先从联邦学习的基本定义入手,再对机密性和完整性两个方面进行重点分析、总结联邦学习中的威胁和防御手段,最后结合这些问题来讨论该领域在未来的发展方向。     

一种利用反插值操作的隐蔽中毒攻击方法

为了解决图像的预处理操作造成中毒样本的触发器消失不见或被破坏,导致攻击性能失效的问题,提出一种利用反插值操作的隐蔽中毒攻击方法.通过对尺寸缩放后的目标图像进行反插值计算,实现针对性的中毒图像优化.该中毒图像可在尺寸缩放后变为带有特定触发器的目标图像并输入模型中训练,在模型中插入后门,实现对模型的中毒攻击.实验针对MNIST和CIFAR10数据集展开中毒攻击实验,与现有方法相比,所提出方法能够在保持中毒攻击成功率基本不变的同时,中毒过程更隐蔽.     

基于隐私保护联邦学习与区块链的图像分类方案

传统的中心化图像分类方法受制于数据隐私问题和计算资源限制,无法满足实际需求。现有的联邦学习框架依赖中心服务器,存在单点故障和数据中毒攻击等安全挑战。为解决这些问题,提出了一种面向隐私保护联邦学习与区块链的图像分类方案,通过将联邦学习与区块链技术相结合,实现在分布式环境下进行图像分类任务的可靠性和安全性。图像分类模型通过联邦学习进行训练,并上传至区块链网络进行验证和共识;在分类阶段,模型通过加权组合得到最终分类结果。实验结果表明,该方案在确保用户隐私的同时提高了图像分类的准确度,本方法为解决图像分类中的数据隐私和安全问题提供了一种有效途径,并为提高分类准确性作出了积极探索。     

行人再识别系统中无感噪声攻击的防御方法

深度学习在行人再识别任务上的应用已经取得了较大进步。然而,由于深度神经网络的鲁棒性容易受到对抗样本的攻击,深度学习在行人再识别模型应用中暴露出来一些安全问题。针对该问题,提出一种无感噪声攻击的防御方法DSN。首先,利用RGB图像的灰度补丁图像,使其在训练过程中增强数据,从而提升行人再识别模型的识别能力。其次,采用模型内外结合的防御结构,并采用一种新的降噪网络,对输入的噪声图像进行降噪处理,从而使得行人再识别模型有更高的识别精度和防御无感噪声攻击的能力。在market1501数据集上模拟无感噪声攻击与防御,实验结果显示,该方法将mAP识别精度从2.6%提高到82.6%,rank-1精度从0.8%提高到83.5%。另外,通过消融实验表明了该方法中每个模块防御无感噪声攻击的有效性。     

基于生成式对抗网络的联邦学习后门攻击方案

联邦学习使用户在数据不出本地的情形下参与协作式的模型训练,降低了用户数据隐私泄露风险,广泛地应用于智慧金融、智慧医疗等领域.但联邦学习对后门攻击表现出固有的脆弱性,攻击者通过上传模型参数植入后门,一旦全局模型识别带有触发器的输入时,会按照攻击者指定的标签进行误分类.因此针对联邦学习提出了一种新型后门攻击方案Bac_GAN,通过结合生成式对抗网络技术将触发器以水印的形式植入干净样本,降低了触发器特征与干净样本特征之间的差异,提升了触发器的隐蔽性,并通过缩放后门模型,避免了参数聚合过程中后门贡献被抵消的问题,使得后门模型在短时间内达到收敛,从而显著提升了后门攻击成功率.此外,论文对触发器生成、水印系数、缩放系数等后门攻击核心要素进行了实验测试,给出了影响后门攻击性能的最佳参数,并在MNIST,CIFAR-10等数据集上验证了Bac_GAN方案的攻击有效性.     

抗拜占庭攻击的隐私保护联邦学习

联邦学习是一种隐私保护的分布式机器学习框架,可以让各方参与者在不披露本地数据的前提下共建模型.然而,联邦学习仍然面临拜占庭攻击和用户隐私泄漏等威胁.现有研究结合鲁棒聚合规则和安全计算技术以同时应对上述安全威胁,但是这些方案难以兼顾模型鲁棒性与计算高效性.针对此问题,本文提出一种抗拜占庭攻击的隐私保护联邦学习框架Sec FedDMC,在保护用户数据隐私的条件下实现高效的拜占庭攻击检测与防御.基础方案Fed DMC采用“先降维后聚类”的策略,设计了高效精准的恶意客户端检测方法.此外,该方法利用的随机主成分分析降维技术和K-均值聚类技术主要由线性运算构成,从而优化了算法在安全计算环境中的适用性.针对基础方案存在的用户数据隐私泄露问题,提出了基于安全多方计算技术的隐私增强方案Sec FedDMC.基于轻量级加法秘密分享技术,设计安全的正交三角分解协议和安全的特征分解协议,从而构建双服务器模型下隐私保护的拜占庭鲁棒联邦学习方案,以保护模型训练和拜占庭节点识别过程中的用户隐私.经实验验证,Sec FedDMC在保护用户隐私的前提下,可以高效准确地识别拜占庭攻击节点,具有较好的鲁棒性.其中,本方案与...