一种面向联邦学习对抗攻击的选择性防御策略

联邦学习(FL)基于终端本地的学习以及终端与服务器之间持续地模型参数交互完成模型训练,有效地解决了集中式机器学习模型存在的数据泄露和隐私风险。但由于参与联邦学习的多个恶意终端能够在进行本地学习的过程中通过输入微小扰动即可实现对抗性攻击,并进而导致全局模型输出不正确的结果。该文提出一种有效的联邦防御策略-SelectiveFL,该策略首先建立起一个选择性联邦防御框架,然后通过在终端进行对抗性训练提取攻击特性的基础上,在服务器端对上传的本地模型更新的同时根据攻击特性进行选择性聚合,最终得到多个适应性的防御模型。该文在多个具有代表性的基准数据集上评估了所提出的防御方法。实验结果表明,与已有研究工作相比能够提升模型准确率提高了2%～11%。     

基于相似度聚类的可信联邦安全聚合算法

联邦学习能够有效地规避参与方数据隐私问题,但模型训练中传递的参数或者梯度仍有可能泄露参与方的隐私数据,而恶意参与方的存在则会严重影响聚合过程和模型质量。基于此,该文提出一种基于相似度聚类的可信联邦安全聚合方法(FSA-SC)。首先基于客户端训练数据集规模及其与服务器间的通信距离综合评估选出拟参与模型聚合的候选客户端;然后根据候选客户端间的相似度,利用聚类将候选客户端划分为良性客户端和异常客户端;最后,对异常客户端类中的成员利用类内广播和二次协商进行参数替换和记录,检测识别恶意客户端。为了验证FSA-SC的有效性,以联邦推荐为应用场景,选取MovieLens 1M,Netflix数据集和Amazon抽样数据集为实验数据集,实验结果表明,所提方法能够实现高效的安全聚合,且相较对比方法有更高的鲁棒性。     

基于生成模型的联邦学习隐私保护算法

在联邦学习中,交换模型参数或梯度信息通常被视作是安全的。但近期研究表明,模型参数或者梯度信息也会导致训练数据的泄露。基于保护客户端数据安全的目的,提出了一种基于生成模型的联邦学习算法。为了验证该算法的有效性,在DermaMNIST数据集上进行了仿真实验,采用梯度泄露攻击对算法进行验证。实验结果表明,提出的基于生成模型的联邦学习算法与联邦学习经典算法在准确率上仅仅相差0.02%,并且通过MSE、PSNR、SSIM等评价指标可以判断出该算法可以有效地保护数据隐私。     

FastProtector：一种支持梯度隐私保护的高效联邦学习方法

联邦学习存在来自梯度的参与方隐私泄露,现有基于同态加密的梯度保护方案产生较大时间开销且潜在参与方与聚合服务器合谋导致梯度外泄的风险,为此,该文提出一种新的联邦学习方法FastProtector,在采用同态加密保护参与方梯度时引入符号随机梯度下降(SignSGD)思想,利用梯度中正负的多数决定聚合结果也能使模型收敛的特性,量化梯度并改进梯度更新机制,降低梯度加密的开销;同时给出一种加性秘密共享方案保护梯度密文以抵抗恶意聚合服务器和参与方之间共谋攻击;在MNIST和CIFAR-10数据集上进行了实验,结果表明所提方法在降低80%左右加解密总时间的同时仍可保证较高的模型准确率。     

基于混合隐私的区块链高效模型协同训练共享方案

针对海量数据下,基于区块链的联邦学习数据共享平台面临的效率低下和隐私泄露问题,该文提出基于混合隐私的区块链高效模型协同训练共享方案。在该方案中,首先根据欧氏距离设计了一种基于相似度的训练成员选择算法来选择训练成员,组成联邦社区,即通过选取少量的高匹配训练节点来提高训练的效率和效果。然后,结合阈值同态加密和差分隐私,设计一种基于混合隐私技术的模型协同训练共享方案来保证训练和共享过程中的隐私性。实验结果和系统实现表明,所提方案可以在保证训练结果准确率的情况下,实现高效训练和隐私保护下的数据共享。     

一种提高联邦学习准确度的算法

联邦学习可以使客户端在不公开其本地数据的情况下合作训练一个共享模型,此种学习方式保证了客户端数据的隐私性。但是,与集中式学习相比,客户端数据的异构性会大大降低联邦学习的性能。数据异构使本地训练的模型向不同方向更新,导致聚合后的全局模型性能较差。为了缓解数据异构对联邦学习造成的影响,算法提出了基于模型对比和梯度投影的联邦学习算法。此算法设计了一个新的损失函数。新损失函数利用全局模型与本地模型的差异性来指导本地模型的更新方向,并且通过降低全局梯度与本地梯度的冲突来提高模型准确度。实验表明相比其他算法,此算法可以在不增加任何通信开销的情况下达到更高的准确度。     

关于车联网联邦学习中可信信誉管理方法的研究

联邦学习由于其分布式、隐私保护等特点有望应用到车联网中，然而由于缺少相应的本地模型质量验证机制，全局模型容易受到恶意用户的攻击从而导致模型训练的准确率降低。提出一种车联网中分层区块链使能的联邦学习信誉管理架构。首先介绍整个架构的组成以及具体的工作流程，然后设计智能合约为系统提供更加灵活可信的信誉意见共享环境，并开发一种轻量级的区块链共识算法，以提升区块链的运行效率。仿真结果表明所提方法能够筛选出恶意用户，同时保证数据隐私和安全，从而提高FL的准确性。     

基于联邦学习的安全与隐私保护技术研究

联邦学习是一种高效隐私保护技术,其能在不直接获得数据源的情景下,通过参与方的本地训练及传输主要参数,进而成功训练出一个完整的学习模型。但联邦学习本体也有很多隐患因素,文章简单介绍联邦学习的概念,分析联邦学习内的威胁因素,包括投毒攻击、对抗攻击及隐私泄露,探究相关防御思路与策略。     

一种基于合同理论的可激励联邦学习模型

针对目前较少研究去中心化联邦学习中的激励机制设计,且已有联邦学习激励机制较少以全局模型效果为出发点的现状,该文为去中心化联邦学习加入了基于合同理论的联邦学习激励机制,提出一种新的可激励的联邦学习模型。使用区块链与星际文件系统(IPFS)取代传统联邦学习的中央服务器,用于模型参数存储与分发,在此基础上使用一个合同发布者来负责合同的制定和发布,各个联邦学习参与方结合本地数据质量选择签订合同。每轮本地训练结束后合同发布者将对各个本地训练模型进行评估,若满足签订合同时约定的奖励发放条件则发放相应的奖励,同时全局模型的聚合也基于奖励结果进行模型参数的聚合。通过在MNIST数据集以及行业用电量数据集上进行实验验证,相比于传统联邦学习,加入激励机制后的联邦学习训练得到的全局模型效果更优,同时去中心化的结构也提高了联邦学习的鲁棒性。     

联邦学习中的模型逆向攻防研究综述

联邦学习作为一种分布式机器学习技术可以解决数据孤岛问题,但机器学习模型会无意识地记忆训练数据,导致参与方上传的模型参数与全局模型会遭受各种隐私攻击。针对隐私攻击中的模型逆向攻击,对现有的攻击方法进行了系统总结。首先,概括并详细分析了模型逆向攻击的理论框架;其次,从威胁模型的角度对现有的攻击方法进行总结分析与比较;再次,总结与比较了不同技术类型的防御策略;最后,对现有模型逆向攻击常用的评估标准及数据集进行汇总,并对模型逆向攻击现有的主要挑战以及未来研究方向进行总结。     

基于联邦学习的本地化差分隐私机制研究

联邦学习与群体学习作为当前热门的分布式机器学习范式，前者能够保护用户数据不被第三方获得的前提下在服务器中实现模型参数共享计算，后者在无中心服务器的前提下利用区块链技术实现所有用户同等地聚合模型参数。但是，通过分析模型训练后的参数，如深度神经网络训练的权值，仍然可能泄露用户的隐私信息。目前，在联邦学习下运用本地化差分隐私(LDP)保护模型参数的方法层出不穷，但皆难以在较小的隐私预算和用户数量下缩小模型测试精度差。针对此问题，该文提出正负分段机制(PNPM)，在聚合前对本地模型参数进行扰动。首先，证明了该机制满足严格的差分隐私定义，保证了算法的隐私性；其次分析了该机制能够在较少的用户数量下保证模型的精度，保证了机制的有效性；最后，在3种主流图像分类数据集上与其他最先进的方法在模型准确性、隐私保护方面进行了比较，表现出了较好的性能。     

基于同态加密的高效安全联邦学习聚合框架

为了解决联邦学习数据安全以及加密后通信开销大等问题，提出了一种基于同态加密的高效安全联邦聚合框架。在联邦学习过程中，用户数据的隐私安全问题亟须解决，然而在训练过程中采用加密方案带来的计算和通信开销又会影响训练效率。在既要保护数据安全又要保证训练效率的情况下，首先，采用Top-K梯度选择方法对模型梯度进行筛选，减少了需要上传的梯度数量，提出适合多边缘节点的候选量化协议和安全候选索引合并算法，进一步降低通信开销、加速同态加密计算。其次，由于神经网络每层模型参数具有高斯分布的特性，对选择的模型梯度进行裁剪量化，并采用梯度无符号量化协议以加速同态加密计算。最后，实验结果表明，在联邦学习的场景下，所提框架既保证了数据隐私安全，又具有较高的准确率和高效的性能。     

基于区块链的联邦学习应用研究

联邦学习区块链应用领域、架构特性和隐私机制等,具有很强的互补性和兼容性。将这两种技术结合起来,以增加隐私保护。数据交换是在计算性能的机制进行。基于区块链的联邦学习,了解有关开发基于区块链的联邦学习最新研究成果。人工智能离不开大数据,由于目前的数据管控政策和行业竞争造成的数据孤岛严重限制了大数据技术的使用价值。联邦学习可以消除数据孤岛,在多个参与者不公开数据集的情况下,共同完成模型学习。由于中心化的相互依赖,以及隐私泄露的风险,基于区块链的联邦学习方法已进入人工智能研究领域。基于此,本文讨论了联邦学习和区块链的概念,结合区块链和联邦学习进行了分析。     

面向星地协同网络的联邦边缘学习方法研究

目前地面蜂窝网络无法实现全球广域覆盖,同时抗毁性不高。低轨卫星网络的加入,弥补了地面蜂窝网络的不足。二者协同成为星地协同网络后可以打破两种网络之间互相独立的现状并结合它们的优点,是未来的发展趋势。在对星地协同网络中海量设备产生的大量数据进行分析处理时,易出现隐私信息泄露和数据孤岛问题。为解决上述问题,提出一种包含分层聚合和用户关联策略的联邦边缘学习算法。该算法通过分层聚合来适配星地协同网络,并通过用户关联策略实现时延和模型精度的联合优化。仿真表明,所提出的算法可以使协同网络中进行联邦边缘学习的全过程时延较低,同时可以得到较高的模型测试精度。     

基于隐私保护机制的辐射光源衍射图像筛选

同步辐射光源产生超高速的衍射图像数据流，需要通过数据筛选降低数据传输和存储的压力。但互相竞争的研究小组不愿意分享数据，现有基于深度学习的筛选方法难以应对隐私保护下有效训练的挑战，因此首次将联邦学习技术应用在辐射光源衍射图像筛选中，通过数据和模型分离，实现隐私保护下的训练数据增广。提出筛选方法 Federated Kullback-Leibler (FedKL)，基于改进的KL散度和数据量权重，对全局模型更新进行改进，在获得高准确率的同时降低算法的复杂度，满足高速数据流高精度处理要求。针对异地光源多中心数据同步训练的困难，又提出同步和异步相结合的混合训练方式，在不降低模型识别准确率的同时，显著提升了模型的训练速度。在光源CXIDB-76公开数据集上的实验结果表明，相比FedAvg,FedKL能够提升准确率和F1分数，分别提升了25.2个百分点和0.419。     

冗余数据去除的联邦学习高效通信方法

为了应对终端设备网络带宽受限对联邦学习通信效率的影响，高效地传输本地模型更新以完成模型聚合，提出了一种冗余数据去除的联邦学习高效通信方法。该方法通过分析冗余更新参数产生的本质原因，根据联邦学习中数据非独立同分布特性和模型分布式训练特点，给出新的核心数据集敏感度和损失函数容忍度定义，提出联邦核心数据集构建算法。此外，为了适配所提取的核心数据，设计了分布式自适应模型演化机制，在每次训练迭代前动态调整训练模型的结构和大小，在减少终端与云服务器通信比特数传输的同时，保证了训练模型的准确率。仿真实验表明，与目前最优的方法相比，所提方法减少了17%的通信比特数，且只有0.5%的模型准确率降低。     

融合联邦学习和剪枝神经网络分布式物联网安全方法研究

针对传统物联网安全检测模型准确率不高且计算复杂度较高的问题,提出融合联邦学习和剪枝神经网络的分布式物联网安全方法。该方法在构建局部模型的基础上采用联邦学习框架构建全局模型神经元,采用剪枝方法优化全局模型神经元,以参数微调的方式构建轻量级深度学习模型。通过仿真验证了该方法对物联网恶意节点检测方面具有较好的效果及较高的安全性,可以保障物联网系统安全可靠运行。     

联邦学习与数据安全研究综述

数据孤岛是制约人工智能技术发展和落地的主要障碍,随着国家与个人对隐私保护意识的增强,联邦学习在数据不共享的情况下,却能达到数据共享目的,受到广泛关注,联邦学习分为:横向联邦学习、纵向联邦学习和联邦迁移学习,具有数据隔离、质量保证、各参数方地位等同、独立性等优点,但联邦学习也存在很多的安全隐患,本文详细探讨了联邦学习的原理,提出了中央服务器、数据传输、单方数据污染、数据泄露以及对抗攻击等重要的数据安全问题,并汇总介绍了当前主要的防御措施。     

基于时空特征的恶意加密流量检测

加密技术保护了用户的隐私,但也使得恶意攻击可以隐藏一定的攻击特征,增加了检测难度。针对传统的检测方法存在的对于加密字段无法进行有效检测和过于依赖专家经验难以建立对应特征库等缺点,提出了一种不依赖专家经验、自动提取数据的时空特征的恶意加密流量检测方法 CNN-MHGRU。基于网络流量的数据结构,结合卷积神经网络（Convolutional Neural Networks,CNN）和门控循环单元（Gate Recurrent Unit,GRU）的时空特征提取能力,并加入多头注意力机制,使得GRU能够更好地处理长序列数据之间的联系。在公开数据集上进行二分类和多分类实验,CNN-MHGRU模型的准确率分别达到99.92%和92.98%,在对未知恶意加密流量二分类检测实验中准确率达到了99.89%,在整体上均优于实验对比模型。     

基于中国剩余定理的Paillier加密改进方法

联邦学习（federated learning, FL）是最近几年快速兴起的一种分布式机器学习算法,可以在不交换数据的前提下保护隐私。但是在模型训练的过程中,由于一些“诚实且好奇”的客户端的参与,可能会导致隐私信息的泄露或遭受到成员推理、属性推理或恢复数据训练等攻击。因此,对于联邦学习中隐私保护技术的研究已经成为新的热点。在现阶段的研究中,常采用同态加密（homomorphic encryption, HE）技术进行隐私保护,而Paillier同态是最常用的加密算法之一。为了使得加密算法更高效,利用中国剩余定理（Chinese remainder theorem, CRT）对Paillier同态加密算法的计算过程进行优化,并与未优化的Paillier加密算法进行对比实验。实验结果表明,优化后的加密算法在联邦学习中,既提升了其隐私性能,也提高了同态加密计算的效。