基于联邦学习的安全与隐私保护技术研究

联邦学习是一种高效隐私保护技术,其能在不直接获得数据源的情景下,通过参与方的本地训练及传输主要参数,进而成功训练出一个完整的学习模型。但联邦学习本体也有很多隐患因素,文章简单介绍联邦学习的概念,分析联邦学习内的威胁因素,包括投毒攻击、对抗攻击及隐私泄露,探究相关防御思路与策略。     

基于联邦学习的隐私保护区域交通流量预测模型

区域交通流量预测是智慧交通系统的一项重要功能。联邦学习可以支持多位置服务提供商(Location Service Provider, LSP)的联合训练,使得训练数据集可以更加全面地覆盖整个区域的交通流量,提高预测准确率。但是,当前基于联邦学习的区域交通流量预测方案存在车辆数据去重、训练节点背叛以及隐私泄露等问题。为此,构建了基于联邦学习的隐私保护区域交通流量预测(Privacy-Preserving Regional Traffic Flow Prediction based on Federated Learning, PPRTFP-FL)模型。模型采用中心部署架构,由联邦中央服务器协调各个LSP联合完成模型的训练,并对全局模型进行梯度聚合与模型更新;采用交叉评价加权聚合的策略来防御部分不可信节点对全局模型的恶意攻击,提升了全局模型的鲁棒性;预测阶段使用同态加密聚合算法,各LSP在不泄露自身运营数据的情况下实现了更准确的流量预测。利用相关数据集进行测试,测试结果表明当训练数据集覆盖区域流量充分的情况下,本模型相比本地模型的预测准确率有明显的提升。对模型进行不同比例的恶意节点攻击实验...     

冗余数据去除的联邦学习高效通信方法

为了应对终端设备网络带宽受限对联邦学习通信效率的影响，高效地传输本地模型更新以完成模型聚合，提出了一种冗余数据去除的联邦学习高效通信方法。该方法通过分析冗余更新参数产生的本质原因，根据联邦学习中数据非独立同分布特性和模型分布式训练特点，给出新的核心数据集敏感度和损失函数容忍度定义，提出联邦核心数据集构建算法。此外，为了适配所提取的核心数据，设计了分布式自适应模型演化机制，在每次训练迭代前动态调整训练模型的结构和大小，在减少终端与云服务器通信比特数传输的同时，保证了训练模型的准确率。仿真实验表明，与目前最优的方法相比，所提方法减少了17%的通信比特数，且只有0.5%的模型准确率降低。     

一种基于合同理论的可激励联邦学习模型

针对目前较少研究去中心化联邦学习中的激励机制设计,且已有联邦学习激励机制较少以全局模型效果为出发点的现状,该文为去中心化联邦学习加入了基于合同理论的联邦学习激励机制,提出一种新的可激励的联邦学习模型。使用区块链与星际文件系统(IPFS)取代传统联邦学习的中央服务器,用于模型参数存储与分发,在此基础上使用一个合同发布者来负责合同的制定和发布,各个联邦学习参与方结合本地数据质量选择签订合同。每轮本地训练结束后合同发布者将对各个本地训练模型进行评估,若满足签订合同时约定的奖励发放条件则发放相应的奖励,同时全局模型的聚合也基于奖励结果进行模型参数的聚合。通过在MNIST数据集以及行业用电量数据集上进行实验验证,相比于传统联邦学习,加入激励机制后的联邦学习训练得到的全局模型效果更优,同时去中心化的结构也提高了联邦学习的鲁棒性。     

基于对比学习的图神经网络后门攻击防御方法

针对现有的后门攻击防御方法难以处理非规则的非结构化的离散的图数据的问题，为了缓解图神经网络后门攻击的威胁，提出了一种基于对比学习的图神经网络后门攻击防御方法（CLB-Defense）。具体来说，基于对比学习无监督训练的对比模型查找可疑后门样本，采取图重要性指标以及标签平滑策略去除训练数据集中的扰动，实现对图后门攻击的防御。最终，在4个真实数据集和5主流后门攻击方法上展开防御验证，结果显示CLB-Defense能够平均降低75.66%的攻击成功率（与对比算法相比，改善了54.01%）。     

面向纵向联邦学习的对抗样本生成算法

为了适应纵向联邦学习应用中高通信成本、快速模型迭代和数据分散式存储的场景特点,提出了一种通用的纵向联邦学习对抗样本生成算法VFL-GASG。具体而言,构建了一种适用于纵向联邦学习架构的对抗样本生成框架来实现白盒对抗攻击,并在该架构下扩展实现了L-BFGS、FGSM、C&W等不同策略的集中式机器学习对抗样本生成算法。借鉴深度卷积生成对抗网络的反卷积层设计,设计了一种对抗样本生成算法VFL-GASG以解决推理阶段对抗性扰动生成的通用性问题,该算法以本地特征的隐层向量作为先验知识训练生成模型,经由反卷积网络层产生精细的对抗性扰动,并通过判别器和扰动项控制扰动幅度。实验表明,相较于基线算法,所提算法在保持高攻击成功率的同时,在生成效率、鲁棒性和泛化能力上均达到较高水平,并通过实验验证了不同实验设置对对抗攻击效果的影响。     

联邦学习深度梯度反演攻防研究进展

联邦学习作为一种“保留数据所有权,释放数据使用权”的分布式机器学习方法,打破了阻碍大数据建模的数据孤岛。然而,联邦学习在训练过程中只交换梯度而不交换训练数据的特点并不能保证用户训练数据的机密性。近年来新型的深度梯度反演攻击表明,敌手可从共享梯度中重建用户的私有训练数据,从而对联邦学习的私密性产生了严重威胁。随着梯度反演技术的演进,敌手从深层网络恢复大批量原始数据的能力不断增强,甚至对加密梯度的隐私保护联邦学习(PPFL)发起了挑战。而有效的针对性防御方法主要基于扰动变换,旨在混淆梯度、输入或特征以隐藏敏感信息。该文首先指出了隐私保护联邦学习的梯度反演漏洞,并给出了梯度反演威胁模型。之后从攻击范式、攻击能力、攻击对象3个角度对深度梯度反演攻击进行详细梳理。随后将基于扰动变换的防御方法依据扰动对象的不同分为梯度扰动、输入扰动、特征扰动3类,并对各类方法中的代表性工作进行分析介绍。最后,对未来研究工作进行展望。     

数据新鲜度驱动的协作式无人机联邦学习智能决策优化研究

联邦学习是6G关键技术之一,其可以在保护数据隐私的前提下,利用跨设备的数据训练一个可用且安全的共享模型。然而,大部分终端设备由于处理能力有限,无法支持复杂的机器学习模型训练过程。在异构网络融合环境下移动边缘计算(MEC)框架中,多个无人机(UAVs)作为空中边缘服务器以协作的方式灵活地在目标区域内移动,并且及时收集新鲜数据进行联邦学习本地训练以确保数据学习的实时性。该文综合考虑数据新鲜程度、通信代价和模型质量等多个因素,对无人机飞行轨迹、与终端设备的通信决策以及无人机之间的协同工作方式进行综合优化。进一步,该文使用基于优先级的可分解多智能体深度强化学习算法解决多无人机联邦学习的连续在线决策问题,以实现高效的协作和控制。通过采用多个真实数据集进行仿真实验,仿真结果验证了所提出的算法在不同的数据分布以及快速变化的动态环境下都能取得优越的性能。     

基于参数差异假设的图卷积网络对抗性攻击

图神经网络容易受到对抗性攻击安全威胁.现有图神经网络对抗性攻击思想可以概括为构造矛盾的训练数据.矛盾数据假设不能很好地解释图神经网络过拟合训练数据的攻击场景.本文以有效攻击前后图神经网络模型的训练参数应该具有较大差异为基本出发点，以图卷积网络为具体研究对象，建立基于参数差异假设的对抗性攻击模型.将统计诊断的重要结果 Cook距离引入对抗性攻击，提出基于Cook距离的参数差异度量方法 .采用基于Cook距离梯度的攻击方法，首次得出了攻击梯度的闭式解，并结合梯度下降算法思想和贪心算法思想提出完整的攻击算法.最后设计实验验证了参数差异假设的合理性和基于该假设导出方法的有效性；验证了梯度信息对图场景离散数据的可用性；仿真示例说明了攻击梯度闭式解的正确性；与其他攻击方法对比分析了攻击方法的有效性.     

基于5G网络的联邦学习架构及关键技术

针对5G网络下的联邦学习架构及关键技术展开研究，通过5G网络的帮助来提升移动终端收集的小样本数据对于训练全局模型的重要意义。从具有不同本地数据集的终端可以加速模型训练和增强模型泛化能力的理论分析入手，详细阐述了如何利用5G系统优势，实现在通信资源约束下选择具有典型特征的终端成员，从而达到联邦学习效果最大化的目的。基于3GPP 5G系统现有架构，提出了支持联邦学习的5G架构以及典型解决方案流程，最后给出了仿真结果，证明了5G网络对于联邦学习具有良好增益。     

一种提高联邦学习准确度的算法

联邦学习可以使客户端在不公开其本地数据的情况下合作训练一个共享模型,此种学习方式保证了客户端数据的隐私性。但是,与集中式学习相比,客户端数据的异构性会大大降低联邦学习的性能。数据异构使本地训练的模型向不同方向更新,导致聚合后的全局模型性能较差。为了缓解数据异构对联邦学习造成的影响,算法提出了基于模型对比和梯度投影的联邦学习算法。此算法设计了一个新的损失函数。新损失函数利用全局模型与本地模型的差异性来指导本地模型的更新方向,并且通过降低全局梯度与本地梯度的冲突来提高模型准确度。实验表明相比其他算法,此算法可以在不增加任何通信开销的情况下达到更高的准确度。     

联邦学习中的模型逆向攻防研究综述

联邦学习作为一种分布式机器学习技术可以解决数据孤岛问题,但机器学习模型会无意识地记忆训练数据,导致参与方上传的模型参数与全局模型会遭受各种隐私攻击。针对隐私攻击中的模型逆向攻击,对现有的攻击方法进行了系统总结。首先,概括并详细分析了模型逆向攻击的理论框架;其次,从威胁模型的角度对现有的攻击方法进行总结分析与比较;再次,总结与比较了不同技术类型的防御策略;最后,对现有模型逆向攻击常用的评估标准及数据集进行汇总,并对模型逆向攻击现有的主要挑战以及未来研究方向进行总结。     

基于生成模型的联邦学习隐私保护算法

在联邦学习中,交换模型参数或梯度信息通常被视作是安全的。但近期研究表明,模型参数或者梯度信息也会导致训练数据的泄露。基于保护客户端数据安全的目的,提出了一种基于生成模型的联邦学习算法。为了验证该算法的有效性,在DermaMNIST数据集上进行了仿真实验,采用梯度泄露攻击对算法进行验证。实验结果表明,提出的基于生成模型的联邦学习算法与联邦学习经典算法在准确率上仅仅相差0.02%,并且通过MSE、PSNR、SSIM等评价指标可以判断出该算法可以有效地保护数据隐私。     

云原生下基于深度强化学习的移动目标防御策略优化方案

针对云原生环境下攻击场景的复杂性导致移动目标防御策略配置困难的问题,该文提出一种基于深度强化学习的移动目标防御策略优化方案(SmartSCR)。首先,针对云原生环境容器化、微服务化等特点,对其安全威胁及攻击者攻击路径进行分析;然后,为了定量分析云原生复杂攻击场景下移动目标防御策略的防御效率,提出微服务攻击图模型并对防御效率进行刻画。最后,将移动目标防御策略的优化问题建模为马尔可夫决策过程,并使用深度强化学习解决云原生应用规模较大时带来的状态空间爆炸问题,对最优移动目标防御配置进行求解。实验结果表明,SmartSCR能够在云原生应用规模较大时快速收敛,并实现逼近最优的防御效率。     

面向联邦学习的6G大规模物联网资源跳跃多址方案

随着移动设备的广泛应用和大数据的快速增长,联邦学习作为一种在分散数据环境中进行机器学习的新兴范式,吸引了越来越多的关注。同时,5G/6G均将大规模物联网场景作为其核心场景之一,以通过实现大规模设备连接来完成未来海量分散数据的实时传输。因此,6G大规模物联网可以为联邦学习中海量终端的数据处理提供有力支撑。多址技术是6G大规模物联网实现海量连接的关键,现有研究提出了多种面向大规模物联网的新型多址方案,其中资源跳跃多址方案考虑信道资源的跳跃,通过给不同用户分配不同的资源跳跃图案从而实现海量用户接入。提出了资源跳跃多址与联邦学习的结合方案,将联邦学习客户端的通信信道划分为多个子信道,然后根据其数据特征和计算资源分配资源跳跃图案。结果表明,所提出的结合方案不仅能够提高联邦学习模型的训练速度,而且能够有效保护用户数据的隐私。     

基于GAN实现环境声音分类的组合对抗防御

虽然深度神经网络可以有效改善环境声音分类(ESC)性能，但对对抗样本攻击依然具有脆弱性。已有对抗防御方法通常只对特定攻击有效，无法适应白盒、黑盒等不同攻击场景。为提高ESC模型在各种场景下对各种攻击的防御能力，该文提出一种结合对抗检测、对抗训练和判别性特征学习的ESC组合对抗防御方法。该方法使用对抗样本检测器(AED)对输入ESC模型的样本进行检测，基于生成对抗网络(GAN)同时对AED和ESC模型进行对抗训练，其中，AED作为GAN的判别器使用。同时，该方法将判别性损失函数引入ESC模型的对抗训练中，以驱使模型学习到的样本特征类内更加紧凑、类间更加远离，进一步提升模型的对抗鲁棒性。在两个典型ESC数据集，以及白盒、自适应白盒、黑盒攻击设置下，针对多种模型开展了防御对比实验。实验结果表明，该方法基于GAN实现多种防御方法的组合，可以有效提升ESC模型防御对抗样本攻击的能力，对应的ESC准确率比其他方法对应的ESC准确率提升超过10%。同时，实验验证了所提方法的有效性不是由混淆梯度引起的。     

基于隐私推断Non-ⅡD联邦学习模型的后门攻击研究

联邦学习安全与隐私在现实场景中受数据异构性的影响很大,为了研究隐私推断攻击、后门攻击与数据异构性的相互作用机理,提出一种基于隐私推断的高隐蔽后门攻击方案。首先基于生成对抗网络进行客户端的多样化数据重建,生成用于改善攻击者本地数据分布的补充数据集;在此基础上,实现一种源类别定向的后门攻击策略,不仅允许使用隐蔽触发器控制后门是否生效,还允许攻击者任意指定后门针对的源类别数据。基于MNIST、CIFAR 10和YouTube Aligned Face三个公开数据集的仿真实验表明,所提方案在数据非独立同分布的联邦学习场景下有着较高的攻击成功率和隐蔽性。     

基于异构导频能量估计的边缘节点导频攻击检测算法

针对边端协同联邦学习中边缘服务器与设备终端频繁交互更新模型和梯度参数时,窃听者容易通过导频攻击干扰信道估计,从而达到降低模型更新效率和窃取模型参数的问题,基于异构导频能量估计提出一种导频攻击检测算法。首先,通过深入分析导频攻击对系统安全速率的影响,构建联邦学习导频攻击系统模型。进而,基于随机分割和加密方法提出一种信号平均能量差的导频攻击检测方法,能够准确地检测出潜在的导频攻击并进行污染信道的恢复。实验结果表明,与其他已有算法相比,所提算法适用于检测发射功率小、隐蔽性强的导频攻击,基于恢复的信道状态信息进行预编码可以大幅度提高边缘服务器的数据传输速率。     

异构边缘计算环境下异步联邦学习的节点分组与分时调度策略

为了克服异构边缘计算环境下联邦学习的3个关键挑战,边缘异构性、非独立同分布数据及通信资源约束,提出了一种分组异步联邦学习（FedGA）机制,将边缘节点分为多个组,各个分组间通过异步方式与全局模型聚合进行全局更新,每个分组内部节点通过分时方式与参数服务器通信。理论分析建立了FedGA的收敛界与分组间数据分布之间的定量关系。针对分组内节点的通信提出了分时调度策略魔镜法（MMM）优化模型单轮更新的完成时间。基于FedGA的理论分析和MMM,设计了一种有效的分组算法来最小化整体训练的完成时间。实验结果表明,FedGA和MMM相对于现有最先进的方法能降低30.1%～87.4%的模型训练时间。     

基于区块链的自适应权重趋势感知联邦学习方案

联邦学习作为一种新兴的分布式机器学习框架,在训练过程中模型更新会占用大量网络带宽,这成为联邦学习获得高精度机器学习模型的瓶颈之一。为了解决以上问题,基于Hyperledger Fabric区块链,设计了一个简单而有效的自适应阈值更新算法,并提出了一种自适应权重趋势感知的联邦学习解决方案。通过客户端训练的本地模型与全局模型方向向量矩阵的相关性,来筛除与全局模型偏差较大的客户端模型,同时在训练过程中自适应地调整筛选阈值。实验结果表明,相比于传统的联邦学习方案,提出方案减少了神经网络模型训练过程中超过20%的网络通信开销以及节约超过五倍的训练资源,提高了近4%的模型精确度,并且训练过程可追溯和去中心化,极大地提高了隐私安全保障。