面向分割学习的数据投毒防御方法设计与实现

分割学习作为一种新型的分布式学习方法,可能受到投毒攻击的严重威胁。在分割学习中,训练场景涉及模型分割后的多端协作训练,与传统联邦学习的终端独立训练后同步模型的攻击场景不同,如何设计有效的防御方法,避免恶意客户端的集群性的投毒攻击是一大挑战。针对上述挑战,本文聚焦在分割学习中客户端投毒攻击对中间特征的影响进行相关考察;提出并实现了一种综合检测防御方法——客户端随机分组策略,通过各组学习指定标签的样本的分组策略以避免恶意客户端的集群攻击;提出了基于DBSCAN聚类算法的中间特征检测算法,用于识别投毒攻击的恶意客户端;提出了基于信任度的防御机制,对信任度低的客户端的网络进行重新初始化,以减小恶意客户端对神经网络的持续影响。实验结果表明,该方法可以降低恶意客户端对模型的影响,尤其是在对中间特征产生较大影响的投毒的防御上效果较好,为分割学习领域的安全防护提供了一种新的思路和实践方案。     

抗推理攻击的隐私增强联邦学习算法

联邦学习在保证各分布式客户端训练数据不出本地的情况下，由中心服务器收集梯度协同训练全局网络模型，具有良好的性能与隐私保护优势。但研究表明，联邦学习存在梯度传递引起的数据隐私泄漏问题。针对现有安全联邦学习算法存在的模型学习效果差、计算开销大和防御攻击种类单一等问题，提出了一种抗推理攻击的隐私增强联邦学习算法。首先，构建了逆推得到的训练数据与训练数据距离最大化的优化问题，基于拟牛顿法求解该优化问题，获得具有抗推理攻击能力的新特征。其次，利用新特征生成梯度实现梯度重构，基于重构后的梯度更新网络模型参数，可提升网络模型的隐私保护能力。最后，仿真结果表明所提算法能够同时抵御两类推理攻击，并且相较于其他安全方案，所提算法在保护效果与收敛速度上更具优势。     

面向联邦学习的对抗样本投毒攻击

为了解决传统的机器学习中数据隐私和数据孤岛问题,联邦学习技术应运而生.现有的联邦学习方法采用多个不共享私有数据的参与方联合训练得到了更优的全局模型.然而研究表明,联邦学习仍然存在很多安全问题.典型地,如在训练阶段受到恶意参与方的攻击,导致联邦学习全局模型失效和参与方隐私泄露.本文通过研究对抗样本在训练阶段对联邦学习系统进行投毒攻击的有效性,以发现联邦学习系统的潜在安全问题.尽管对抗样本常用于在测试阶段对机器学习模型进行攻击,但本文中,恶意参与方将对抗样本用于本地模型训练,旨在使得本地模型学习混乱的样本分类特征,从而生成恶意的本地模型参数.为了让恶意参与方主导联邦学习训练过程,本文进一步使用了“学习率放大”的策略.实验表明,相比于Fed-Deepconfuse攻击方法,本文的攻击在CIFAR10数据集和MNIST数据集上均获得了更优的攻击性能.     

抗拜占庭攻击的隐私保护联邦学习

联邦学习是一种隐私保护的分布式机器学习框架,可以让各方参与者在不披露本地数据的前提下共建模型.然而,联邦学习仍然面临拜占庭攻击和用户隐私泄漏等威胁.现有研究结合鲁棒聚合规则和安全计算技术以同时应对上述安全威胁,但是这些方案难以兼顾模型鲁棒性与计算高效性.针对此问题,本文提出一种抗拜占庭攻击的隐私保护联邦学习框架Sec FedDMC,在保护用户数据隐私的条件下实现高效的拜占庭攻击检测与防御.基础方案Fed DMC采用“先降维后聚类”的策略,设计了高效精准的恶意客户端检测方法.此外,该方法利用的随机主成分分析降维技术和K-均值聚类技术主要由线性运算构成,从而优化了算法在安全计算环境中的适用性.针对基础方案存在的用户数据隐私泄露问题,提出了基于安全多方计算技术的隐私增强方案Sec FedDMC.基于轻量级加法秘密分享技术,设计安全的正交三角分解协议和安全的特征分解协议,从而构建双服务器模型下隐私保护的拜占庭鲁棒联邦学习方案,以保护模型训练和拜占庭节点识别过程中的用户隐私.经实验验证,Sec FedDMC在保护用户隐私的前提下,可以高效准确地识别拜占庭攻击节点,具有较好的鲁棒性.其中,本方案与...     

联邦学习中抵抗大量后门客户端的鲁棒聚合算法

随着数据的爆炸式增长以及企业和个人对隐私问题的关注,传统的集中式机器学习已经不能满足现有的需求.联邦学习是一种新兴的分布式机器学习框架,旨在不分享私有数据的前提下利用分散的客户端训练一个全局模型,解决数据隐私和数据孤岛问题.然而,由于联邦学习的分布式和隐私保护特性,其容易受到各种各样的攻击,后门攻击则是联邦学习系统受到的攻击之一.目前,业界已提出大量的鲁邦算法来抵抗联邦学习系统遭受的后门攻击.然而,现有的鲁棒算法大多有较强的假设,例如受到不同客户端数据分布和恶意后门客户端数量的限制.我们的研究表明了现有的鲁棒算法不能解决在非独立同分布场景下,大量后门客户端共同攻击的问题.为解决这一难题,本文提出了一种鲁棒算法Poly.Poly算法包含两部分:一部分利用相似度矩阵和聚类算法进行聚类分析;另一部分则基于余弦相似度选择最优的类去聚合全局模型.由于Poly算法能完全去除恶意后门模型,从而完全避免了后门污染全局模型.为了验证Poly算法的性能,实验利用了MNIST、Fashion-MNIST、CIFAR-10和Reddit四种数据集,考虑了数据不平衡和类别不平衡两种非独立同分布场景以及独立同分布...     

基于随机断层与梯度剪裁的横向联邦学习后门防御研究

联邦学习解决了用户隐私与数据共享相悖之大数据困局,体现了“数据可用不可见”的理念。然而,联邦模型在训练过程中存在后门攻击的风险。攻击者通过本地训练一个包含后门任务的攻击模型,并将模型参数放大一定比例,从而实现将后门植入联邦模型中。针对横向联邦学习模型所面临的后门威胁,从博弈的视角,提出一种基于随机断层与梯度剪裁相结合的后门防御策略和技术方案：中心服务器在收到参与方提交的梯度信息后,随机确定每个参与方的神经网络层,然后将各参与方的梯度贡献分层聚合,并使用梯度阈值对梯度参数进行裁剪。梯度剪裁和随机断层可削弱个别参与方异常数据的影响力,使联邦模型在学习后门特征时陷入平缓期,长时间无法学习到后门特征,同时不影响正常任务的学习。如果中心服务器在平缓期内结束联邦学习,即可实现对后门攻击的防御。实验结果表明,该方法可以有效地防御联邦学习中潜在的后门威胁,同时保证了模型的准确性。因此,该方法可以应用于横向联邦学习场景中,为联邦学习的安全保驾护航。     

基于联邦学习的入侵检测机制研究

大数据时代的到来使得数据成为社会发展的重要战略资源。然而随着网络环境日趋复杂化,隐私泄露和恶意攻击事件层出不穷。联邦学习作为一种新型数据共享模型,能够在保护数据隐私的前提下进行数据共享,有效解决了传统入侵检测模型的弊端。文章首先介绍了联邦学习及入侵检测模型的构成及特点,提出了基于联邦学习的入侵检测机制,并深入分析了该检测机制在检测准确率及效率上有效提升的可行性。通过对模型进行需求分析和设计,并以函数编程进行模拟仿真实验,实现原型系统开发。实验表明联邦学习机制能够在保证参与客户端数据隐私安全的前提下实现多方攻击行为日志的共享。多组控制变量的对照实验表明,基于联邦学习的入侵检测机制在检测准确率及效率上得到明显改善。     

基于数据属性修改的联邦学习隐私保护策略

针对大部分联邦学习防御方法存在降低联邦学习实用性、计算效率低和防御攻击种类单一等问题,文章提出一种基于变分自编码器的属性修改框架,在客户端对数据预处理以达到保护联邦学习的目的。首先,为了提高算法计算效率,文章提出一种基于迁移学习的变分自编码器训练方案来减少客户端训练周期;其次,利用变分自编码器具有连续性的潜变量,设计了一种基于属性分布约束规则的属性修改方案来实现客户端训练数据的重构。实验结果表明,属性修改方案可以成功分离和控制图像的属性向量,通过将原始图像改变为带有相应属性的重构图像,保护了客户端数据隐私。将修改后的图像用于训练联邦学习分类任务,其准确率可达94.44%,体现了方案的可用性,并且该方案可以成功防御非主属性隐私泄露和基于数据中毒的后门攻击。     

联邦学习的隐私保护与安全防御研究综述

联邦学习作为人工智能领域的新兴技术,它兼顾处理“数据孤岛”和隐私保护问题,将分散的数据方联合起来训练全局模型同时保持每一方的数据留在本地.联邦学习在很大程度上给需要将数据融合处理的数据敏感型应用带来了希望,但它仍然存在一些潜在的隐私泄露隐患和数据安全问题.为了进一步探究基于联邦学习的隐私保护和安全防御技术研究现状,本文对联邦学习的隐私和安全问题在现有最前沿的研究成果上进行了更清晰的分类,并对威胁隐私和安全的手段进行了威胁强度的划分.本文首先介绍了涉及联邦学习隐私和安全问题的威胁根源,并从多个方面罗列了其在联邦学习中的破坏手段及威胁性.其次,本文总结了关于联邦学习隐私和安全问题所面临的挑战.对于隐私保护而言,本文同时分析了包括单个恶意参与方或中央服务器的攻击和多方恶意合谋泄露隐私的场景,并探讨了相应的最先进保护技术.对于安全问题而言,本文着重分析了影响全局模型性能的多种恶意攻击手段,并系统性地阐述了先进的安全防御方案,以帮助规避构建安全的大规模分布式联邦学习计算环境中潜在的风险.同时与其他联邦学习相关综述论文相比,本文还介绍了联邦学习的多方恶意合谋问题,对比分析了现有的联邦安全聚合算法及...     

分布式深度学习隐私与安全攻击研究进展与挑战

不同于集中式深度学习模式,分布式深度学习摆脱了模型训练过程中数据必须中心化的限制,实现了数据的本地操作,允许各方参与者在不交换数据的情况下进行协作,显著降低了用户隐私泄露风险,从技术层面可以打破数据孤岛,显著提升深度学习的效果,能够广泛应用于智慧医疗、智慧金融、智慧零售和智慧交通等领域.但生成对抗式网络攻击、成员推理攻击和后门攻击等典型攻击揭露了分布式深度学习依然存在严重隐私漏洞和安全威胁.首先对比分析了联合学习、联邦学习和分割学习3种主流的分布式深度学习模式特征及其存在的核心问题.其次,从隐私攻击角度,全面阐述了分布式深度学习所面临的各类隐私攻击,并归纳和分析了现有隐私攻击防御手段.同时,从安全攻击角度,深入剖析了数据投毒攻击、对抗样本攻击和后门攻击3种安全攻击方法的攻击过程和内在安全威胁,并从敌手能力、防御原理和防御效果等方面对现有安全攻击防御技术进行了度量.最后,从隐私与安全攻击角度,对分布式深度学习未来的研究方向进行了讨论和展望.     

面向隐私保护联邦学习的医学影像目标检测算法

联邦学习技术是一种新型多机构协同训练模型范式,广泛应用于多领域,其中模型参数隐私保护是一个关键问题.针对CT影像综合性病灶检测任务,提出隐私保护的联邦学习算法.首先部署松散耦合的客户端-服务器架构;其次在各客户端使用改进的RetinaNet检测器,引入上下文卷积和后向注意力机制;最后完成联邦训练.各客户端使用局部更新策略,采用自适应训练周期,局部目标函数中加入了限制项;服务器使用自适应梯度裁剪策略和高斯噪声差分隐私算法更新全局模型参数.在DeepLesion数据集上的消融分析说明了算法各部分的重要性.实验结果表明,改进的RetinaNet检测器有效地提升了多尺度病灶的检测精度.与集中数据训练模型范式相比,联邦学习所得模型性能略低(mAP分别为75.33％和72.80％),但训练用时缩短近38％,有效地实现了隐私保护、通信效率和模型性能的良好权衡.     

基于强化联邦图神经网络的个性化公共安全突发事件检测方法

近年来,将公共安全数据转换为图的形式,通过图神经网络构造节点表示应用于下游任务的方法,充分利用了公共安全数据的实体与关联信息,取得了较好的效果.为了提高模型的有效性,需要大量的高质量数据,但是高质量的数据通常归属于政府、公司和组织,很难通过数据集中的方式使模型学习到有效的事件检测模型.由于各数据拥有方的关注主题与收集时间不同,数据之间存在Non-IID的问题.传统的假设一个全局模型可以适合所有客户端的方法难以解决此类问题.本文提出了基于强化联邦图神经网络的公共安全突发事件检测方法PPSED,各客户端采用多方协作的方式训练个性化的模型来解决本地的突发事件检测任务.设计联邦公共安全突发事件检测模型的本地训练与梯度量化模块,采用基于图采样的minibatch机制的GraphSage构造公共安全突发事件检测本地模型,以减小数据Non-IID的影响,采用梯度量化方法减小梯度通信的消耗.设计基于随机图嵌入的客户端状态感知模块,在保护隐私的同时更好地保留客户端模型有价值的梯度信息.设计强化联邦图神经网络的个性化梯度聚合与量化策略,采用DDPG拟合个性化联邦学习梯度聚合加权策略,并根据权重决定是否对梯度进行量化,对模型的性能与通信压力进行平衡.通过在微博平台收集的公共安全数据集和三个公开的图数据集进行了大量的实验,实验结果表明了提出的方法的有效性.     

基于矩阵映射的拜占庭鲁棒联邦学习算法

联邦学习(federated learning)由于参数服务器端只收集客户端模型而不接触客户端本地数据,从而更好地保护数据隐私然而其基础聚合算法FedAvg容易受到拜占庭客户端攻击.针对此问题,很多研究提出了不同聚合算法,但这些聚合算法存在防守能力不足、模型假设不贴合实际等问题.因此,提出一种新型的拜占庭鲁棒聚合算法.与现有聚合算法不同,该算法侧重于检测Softmax层的概率分布具体地,参数服务器在收集客户端模型之后,通过构造的矩阵去映射模型的更新部分来获取此模型的Softmax层概率分布,排除分布异常的客户端模型.实验结果表明:在不降低FedAvg精度的前提下,在阻碍收敛攻击中,将拜占庭容忍率从40％提高到45％,在后门攻击中实现对边缘后门攻击的防守.此外,根据目前最先进的自适应攻击框架,设计出专门针对该聚合算法的自适应攻击,并进行了实验评估,实验结果显示,该聚合算法可以防御至少30％的拜占庭客户端.     

面向联邦学习的神经通路中毒攻击方法

随着人工智能技术与大数据科学的不断发展，联邦学习在金融、医疗、工业制造等重要领域中得到广泛运用.同集中式学习相比，联邦学习在效率和安全性上都有明显的优势.然而，随着应用层次的逐步深入，联邦学习也随之暴露出一些安全问题，例如：隐私窃取、中毒攻击等.为了更好的挖掘联邦学习中存在的安全漏洞，本文提出了一种面向联邦学习的神经通路中毒攻击方法(Neural Path Poisoning Attack, NPFA).首先利用准备的中毒数据集生成与目标模型等价的中毒模型，然后提取中毒模型中的神经通路并替换目标模型的神经通路，使得联邦模型在聚合的过程中中毒，并在保持中毒能力的同时克服中毒模型与正常模型差异较大这一问题，实现隐蔽的中毒攻击，绕过防御方法.大量实验验证了植入神经通路后的中毒成功率可以达到85%以上，并且联邦学习主任务性能略有提升.值得一提的是，在一些联邦防御方法下，NPFA依旧有很好的攻击效果.     

联邦学习中的隐私问题研究进展

随着大数据、云计算等领域的蓬勃发展,重视数据安全与隐私已经成为世界性的趋势,不同团体为保护自身利益和隐私不愿贡献数据,形成了数据孤岛.联邦学习使数据不出本地就可被多方利用,为解决数据碎片化和数据隔离等问题提供了解决思路.然而越来越多研究表明,由谷歌首先提出的联邦学习算法不足以抵抗精心设计的隐私攻击,因此如何进一步加强隐私防护,保护联邦学习场景下的用户数据隐私成为一个重要问题.对近些年来联邦学习隐私攻击与防护领域取得的成果进行了系统总结.首先介绍了联邦学习的定义、特点和分类;然后分析了联邦学习场景下隐私威胁的敌手模型,并根据敌手攻击目标对隐私攻击方法进行了分类和梳理;介绍了联邦学习中的主流隐私防护技术,并比较了各技术在实际应用中的优缺点;分析并总结了6类目前联邦学习的隐私保护方案;最后指出目前联邦学习隐私保护面临的挑战,展望了未来可能的研究方向.     

基于自编码神经网络的半监督联邦学习模型

联邦学习是一种新型的分布式机器学习方法,可以使得各客户端在不分享隐私数据的前提下共同建立共享模型。然而现有的联邦学习框架仅适用于监督学习,即默认所有客户端数据均带有标签。由于现实中标记数据难以获取,联邦学习模型训练的前提假设通常很难成立。为解决此问题,对原有联邦学习进行扩展,提出了一种基于自编码神经网络的半监督联邦学习模型ANN-SSFL,该模型允许无标记的客户端参与联邦学习。无标记数据利用自编码神经网络学习得到可被分类的潜在特征,从而在联邦学习中提供无标记数据的特征信息来作出自身贡献。在MNIST数据集上进行实验,实验结果表明,提出的ANN-SSFL模型实际可行,在监督客户端数量不变的情况下,增加无监督客户端可以提高原有联邦学习精度。     

云-边融合的可验证隐私保护跨域联邦学习方案

联邦学习技术的飞速发展促进不同终端用户数据协同训练梯度模型,其显著特征是训练数据集不离开本地设备,只有梯度模型在本地进行更新并共享,使边缘服务器生成全局梯度模型。然而,本地设备间的异构性会影响训练性能,且共享梯度模型更新具有隐私泄密与恶意篡改威胁。提出云-边融合的可验证隐私保护跨域联邦学习方案。在方案中,终端用户利用单掩码盲化技术保护数据隐私,利用基于向量内积的签名算法产生梯度模型的签名,边缘服务器通过盲化技术聚合隐私数据并产生去盲化聚合签名,确保全局梯度模型更新与共享过程的不可篡改性。采用多区域权重转发技术解决异构网络中设备计算资源与通信开销受限的问题。实验结果表明,该方案能够安全高效地部署在异构网络中,并在MNIST、SVHN、CIFAR-10和CIFAR-100 4个基准数据集上进行系统实验仿真,与经典联邦学习方案相比,在精度相当的情况下,本文方案梯度模型收敛速度平均提高了21.6%。     

不同场景的联邦学习安全与隐私保护研究综述

随着大数据不断发展,联邦学习已被广泛应用于各种各样的场景,从而方便人们的生产生活,但该技术给人们带来便利的同时也让用户面临着数据泄露的挑战,因此数据安全成为联邦学习研究的热点问题.通过介绍横向及纵向联邦学习的训练过程,并对该过程的潜在对手及其攻击原因进行研究,从而分类总结了现有的攻击手段,如投毒攻击、对抗攻击及模型逆推攻击等;在两种场景下分类介绍针对几种攻击手段的防御措施,如梯度稀疏化、恶意检测、秘密样本对齐、标签保护、加密共享和扰动共享等,这些方法不仅可以保证参与方的数据安全,也可以保证联合模型的准确率;最后根据对现有技术的研究,总结了现存方法存在的问题及未来的研究方向.     

联邦学习安全防御与隐私保护技术研究

联邦学习（federated learning,FL）在多个参与方不直接进行数据传输的前提下共同完成模型训练,充分发挥各方数据价值;然而,由于联邦学习的固有缺陷以及存储和通信的安全问题,其在实际应用场景中仍面临多种安全与隐私威胁。首先阐述了FL面临的安全攻击和隐私攻击;然后针对这两类典型攻击分别总结了最新的安全防御机制和隐私保护手段,包括投毒攻击防御、后门攻击防御、搭便车攻击防御、女巫攻击防御以及基于安全计算与差分隐私的防御手段。通过对联邦学习的现有风险和相应防御手段的系统梳理,展望了联邦学习未来的研究挑战与发展方向。     

提升联邦学习通信效率的梯度压缩算法

联邦学习通过聚合客户端训练的模型, 保证数据留在客户端本地, 从而保护用户隐私. 由于参与训练的设备数目庞大, 存在数据非独立同分布和通信带宽受限的情况. 因此, 降低通信成本是联邦学习的重要研究方向. 梯度压缩是提升联邦学习通信效率的有效方法, 然而目前常用的梯度压缩方法大多针对独立同分布的数据, 未考虑联邦学习的特性. 针对数据非独立同分布的联邦场景, 本文提出了基于投影的稀疏三元压缩算法, 通过在客户端和服务端进行梯度压缩, 降低通信成本, 并在服务端采用梯度投影的聚合策略以缓解客户端数据非独立同分布导致的不利影响. 实验结果表明, 本文提出的算法不仅提升了通信效率, 而且在收敛速度和准确率上均优于现有的梯度压缩算法.