基于秘密共享和压缩感知的通信高效联邦学习

深度学习技术的快速发展给我们带来了极大的便利,但同时也导致大量隐私数据的泄露.联邦学习允许客户端在只共享梯度的情况下联合训练模型,这看似解决了隐私信息泄露问题,但研究表明联邦学习框架中传输的梯度依然会导致隐私信息泄露.并且,联邦学习的高通信代价的特点难以适用于资源受限的环境.为此,提出了2个通信高效且安全的联邦学习算法,算法使用Top-K稀疏及压缩感知等技术以减少梯度传输造成的通信开销,另外利用安全多方计算中的加法秘密共享对重要的梯度测量值加密,以实现在减少通信开销的同时进一步增强其安全性.2个算法的主要区别是客户端与服务器通信时传递的分别为梯度测量值与梯度测量值的量化结果.在MNIST及Fashion-MNIST数据集上的实验表明,与其他算法相比,本文所提的算法在保证通信代价较低的情况下进一步增加了安全性,同时在模型准确性上也有较好的性能.     

基于使用MapReduce并行的同态加密和梯度选择的联邦迁移学习算法

机器学习的发展依赖大量可用的数据。但是,在现实中数据分布在大量不同的企业和组织中,并且受到很多法律和现实情况的限制,将这些分散在各处的数据合并成一个拥有大量数据的数据集并不现实。为了解决机器学习领域的这一挑战,引入了一个新的算法和框架,称之为联邦迁移学习(Federated Transfer Learning,FTL)。FTL在允许不损害用户隐私的情况下共享知识,并且也允许跨域传输互补知识,因此可以利用源域中丰富的标签,来为目标域建立一个灵活而有效的模型。在联邦迁移学习中,使用了同态加密算法来保证在传输知识时不泄露用户隐私,在提出的安全联邦迁移学习中,使用了并行方法来提升加密速度。在已有的知识基础上,结合了同态加密和Hadoop环境下MapReduce并行框架,提出了基于MapReduce并行同态加密的联邦迁移学习算法,并对该方案的安全性和正确性进行了理论的分析。论文还在联邦迁移学习中,引入了梯度选择算法Top-K,以此来减少通信开销。实验结果表明,基于MapReduce并行同态加密的联邦迁移学习算法,可以更加有效地减少数据加密的时间损耗,训练的准确率和明文训练达到同一水平。     

支持多数不规则用户的隐私保护联邦学习框架

针对联邦学习存在处理大多数不规则用户易引起聚合效率降低,以及采用明文通信导致参数隐私泄露的问题,基于设计的安全除法协议构建针对不规则用户鲁棒的隐私保护联邦学习框架.该框架通过将模型相关计算外包给两台边缘服务器以减小采用同态加密产生的高额计算开销,不仅允许模型及其相关信息以密文形式在边缘服务器上进行密文聚合,还支持用户在...     

联邦学习下高效的隐私保护安全聚合方案

联邦学习能使用户不共享原始数据的情况下, 允许多个用户协同训练模型. 为了确保用户本地数据集不被泄露, 现有的工作提出安全聚合协议. 但现有的多数方案存在未考虑全局模型隐私、系统计算资源与通信资源耗费较大等问题. 针对上述问题, 提出了联邦学习下高效的强安全的隐私保护安全聚合方案. 该方案利用对称同态加密技术实现了用户模型与全局模型的隐私保护, 利用秘密共享技术解决了用户掉线问题. 同时, 该方案利用Pedersen承诺来验证云服务器返回聚合结果的正确性, 利用BLS签名保护了用户与云服务器交互过程中的数据完整性. 此外, 安全性分析表明该方案是可证明安全的; 性能分析表明该方案是高效且实用的, 适用于大规模用户的联邦学习系统.     

云-边融合的可验证隐私保护跨域联邦学习方案

联邦学习技术的飞速发展促进不同终端用户数据协同训练梯度模型,其显著特征是训练数据集不离开本地设备,只有梯度模型在本地进行更新并共享,使边缘服务器生成全局梯度模型。然而,本地设备间的异构性会影响训练性能,且共享梯度模型更新具有隐私泄密与恶意篡改威胁。提出云-边融合的可验证隐私保护跨域联邦学习方案。在方案中,终端用户利用单掩码盲化技术保护数据隐私,利用基于向量内积的签名算法产生梯度模型的签名,边缘服务器通过盲化技术聚合隐私数据并产生去盲化聚合签名,确保全局梯度模型更新与共享过程的不可篡改性。采用多区域权重转发技术解决异构网络中设备计算资源与通信开销受限的问题。实验结果表明,该方案能够安全高效地部署在异构网络中,并在MNIST、SVHN、CIFAR-10和CIFAR-100 4个基准数据集上进行系统实验仿真,与经典联邦学习方案相比,在精度相当的情况下,本文方案梯度模型收敛速度平均提高了21.6%。     

一种基于同态签名的可验证联邦学习方案

联邦学习作为一种新兴的分布式机器学习技术,允许用户通过服务器协同训练全局模型,而无需共享其原始数据集.然而服务器可以对用户上传的模型参数进行分析,推断用户隐私.此外,服务器还可能伪造聚合结果,诱导用户发布敏感信息.因此用户需要对参数进行保护,同时对聚合结果进行正确性验证.本文设计了一种可验证的联邦学习方案.首先,基于公开可验证秘密共享设计了双掩码安全聚合协议,在保护用户模型参数的同时还能支持用户的动态退出和共享验证功能,确保服务器解密的正确性.其次,基于同态签名构建验证公钥更短的聚合结果验证方案,使用户可以验证服务器聚合结果的正确性.实验结果表明,同现有方案相比,方案验证聚合结果时的计算开销和通信开销同时处于较低水平.安全性分析证明了方案在隐私保护方面能够有效防止恶意攻击和数据泄露,保障了联邦学习训练的安全性.     

基于梯度选择的轻量化差分隐私保护联邦学习

为了应对机器学习过程中可能出现的用户隐私问题，联邦学习作为首个无需用户上传真实数据、仅上传模型更新的协作式在线学习解决方案，已经受到人们的广泛关注与研究。然而，它要求用户在本地训练且上传的模型更新中仍可能包含敏感信息，从而带来了新的隐私保护问题。与此同时，必须在用户本地进行完整训练的特点也使得联邦学习过程中的运算与通信开销问题成为一项挑战，亟需人们建立一种轻量化的联邦学习架构体系。出于进一步的隐私需求考虑，文中使用了带有差分隐私机制的联邦学习框架。另外，首次提出了基于Fisher信息矩阵的Dropout机制——FisherDropout,用于对联邦学习过程中在客户端训练产生梯度更新的每个维度进行优化选择，从而极大地节约运算成本、通信成本以及隐私预算，建立了一种兼具隐私性与轻量化优势的联邦学习框架。在真实世界数据集上的大量实验验证了该方案的有效性。实验结果表明，相比其他联邦学习框架，FisherDropout机制在最好的情况下可以节约76.8%～83.6%的通信开销以及23.0%～26.2%的运算开销，在差分隐私保护中隐私性与可用性的均衡方面同样具有突出优势。     

基于安全多方计算和差分隐私的联邦学习方案

联邦学习为非互信实体间的合作学习提供了一种新的解决思路,通过本地训练和中央聚合的模式,在训练全局模型的同时保护各实体的本地数据隐私。然而相关研究表明,该模式下无论是用户上传的局部模型,还是中央聚合的全局模型,都会泄露用户数据的信息。安全多方计算和差分隐私作为两种主流的隐私保护技术,分别保护计算过程和计算结果的隐私。目前很少有工作结合这两种技术的优势,用于联邦学习训练全流程的防护。将安全多方计算、差分隐私相结合,设计了一种面向深度学习的隐私保护联邦学习方案,用户对本地训练得到的局部模型添加扰动,并秘密共享至多个中央服务器,服务器间通过多方计算协议对局部模型进行聚合,得到一个共享的秘密全局模型。该方案在保护用户上传的局部信息不被窃取的同时,防止敌手从聚合模型等全局共享信息展开恶意推断,并具有容忍用户掉线和兼容多种聚合函数等优点。此外,针对不存在可信中心的现实应用,上述方案可自然拓展至去中心化场景。实验表明,所提方案与相同条件下的明文联邦学习效率相近,且能取得同水平的模型准确率。     

基于选择性通信策略的高效联邦学习研究

近年来,随着人工智能技术的飞速发展,人们越来越重视数据隐私与安全,世界各国也出台一系列法律法规以保护用户隐私.面对制约人工智能发展的数据孤岛以及数据隐私和安全问题,联邦学习作为一种新型的分布式机器学习技术应运而生.然而,高通信开销问题阻碍着联邦学习的进一步发展,为此,本文提出了基于选择性通信策略的高效联邦学习算法.具体地,该算法基于联邦学习的网络结构特点,采取选择性通信策略,在客户端通过最大均值差异衡量本地模型与全局模型的相关性以过滤相关性较低的本地模型,并在服务器端依据相关性对本地模型进行加权聚合.通过上述操作,所提算法在保证模型快速收敛的同时能够有效减少通信开销.仿真结果表明,与FedAvg算法和FedProx算法相比,所提算法能够在保证准确率的前提下,将通信轮次分别减少54%和60%左右.     

基于区块链的隐私保护去中心化联邦学习模型

传统的联邦学习依赖一个中央服务器,模型训练过程易受单点故障和节点恶意攻击的影响,明文传递的中间参数也可能被用来推断出数据中的隐私信息.提出了一种基于区块链的去中心化、安全、公平的联邦学习模型,利用同态加密技术保护协同训练方的中间参数隐私,通过选举的联邦学习委员会进行模型聚合和协同解密.解密过程通过秘密共享方案实现安全的密钥管理,利用双线性映射累加器为秘密份额提供正确性验证.引入信誉值作为评估参与方可靠性的指标,利用主观逻辑模型实现不信任增强的信誉计算作为联邦学习委员会的选举依据,信誉值作为激励机制的参考还可以保障参与公平性.模型信息和信誉值通过区块链实现数据的防篡改和不可抵赖.实验表明,模型在训练准确率相比中心化学习模型略有损失的情况下,能够保障在多方协作的环境下以去中心化的方式训练模型,有效实现了各参与方的隐私保护.     

面向分层联邦学习的传输优化研究

与传统机器学习相比,联邦学习有效解决了用户数据隐私和安全保护等问题,但是海量节点与云服务器间进行大量模型交换,会产生较高的通信成本,因此基于云-边-端的分层联邦学习受到了越来越多的重视。在分层联邦学习中,移动节点之间可采用D2D、机会通信等方式进行模型协作训练,边缘服务器执行局部模型聚合,云服务器执行全局模型聚合。为了提升模型的收敛速率,研究人员对面向分层联邦学习的网络传输优化技术展开了研究。文中介绍了分层联邦学习的概念及算法原理,总结了引起网络通信开销的关键挑战,归纳分析了选择合适节点、增强本地计算、减少本地模型更新上传数、压缩模型更新、分散训练和面向参数聚合传输这6种网络传输优化方法。最后,总结并探讨了未来的研究方向。     

抗拜占庭攻击的隐私保护联邦学习

联邦学习是一种隐私保护的分布式机器学习框架,可以让各方参与者在不披露本地数据的前提下共建模型.然而,联邦学习仍然面临拜占庭攻击和用户隐私泄漏等威胁.现有研究结合鲁棒聚合规则和安全计算技术以同时应对上述安全威胁,但是这些方案难以兼顾模型鲁棒性与计算高效性.针对此问题,本文提出一种抗拜占庭攻击的隐私保护联邦学习框架Sec FedDMC,在保护用户数据隐私的条件下实现高效的拜占庭攻击检测与防御.基础方案Fed DMC采用“先降维后聚类”的策略,设计了高效精准的恶意客户端检测方法.此外,该方法利用的随机主成分分析降维技术和K-均值聚类技术主要由线性运算构成,从而优化了算法在安全计算环境中的适用性.针对基础方案存在的用户数据隐私泄露问题,提出了基于安全多方计算技术的隐私增强方案Sec FedDMC.基于轻量级加法秘密分享技术,设计安全的正交三角分解协议和安全的特征分解协议,从而构建双服务器模型下隐私保护的拜占庭鲁棒联邦学习方案,以保护模型训练和拜占庭节点识别过程中的用户隐私.经实验验证,Sec FedDMC在保护用户隐私的前提下,可以高效准确地识别拜占庭攻击节点,具有较好的鲁棒性.其中,本方案与...     

边缘计算下指纹室内定位差分私有联邦学习模型

随着人们对位置服务需求的日益增长,基于接收信号强度(received signal strength, RSS)指纹的室内定位技术因具有其成熟的基础设施和易于实现等优势而受到广泛关注.深度学习(deep learning, DL)强大的特征抽取和自动分类能力使其成为基于RSS指纹室内定位的一个非常有吸引力的方案.但是,这种方案需要使用大量的RSS指纹数据并借助云计算对DL模型进行重复训练.由于RSS数据包含了用户的个人敏感信息,直接将这些数据发送到不可信的云端进行处理,会造成严重的用户隐私侵犯和数据传输延迟.针对以上挑战,提出了一种边缘计算下指纹室内定位差分私有联邦学习模型.该模型构建了边缘计算下的联邦学习协议并设计了一个基于卷积神经网络(convolutional neural network, CNN)的轻量级室内定位模型,不再需要将大量的RSS数据上传到云端后进行模型训练,在提高定位精度的同时减少数据传输延迟;然后,利用差分隐私技术解决了离线训练阶段和在线定位阶段的用户隐私泄露问题.在多个真实数据集上的实验结果和安全性分析表明,与基于云架构的集中式模型相比,该机制在提供可证明的隐私保护情况下取得了较高的定位精度、减少了通信开销;与基于联邦学习架构的分布式模型相比,该机制在取得几乎相同定位精度和资源开销的情况下,提供了更全面的隐私保护.     

抗推理攻击的隐私增强联邦学习算法

联邦学习在保证各分布式客户端训练数据不出本地的情况下，由中心服务器收集梯度协同训练全局网络模型，具有良好的性能与隐私保护优势。但研究表明，联邦学习存在梯度传递引起的数据隐私泄漏问题。针对现有安全联邦学习算法存在的模型学习效果差、计算开销大和防御攻击种类单一等问题，提出了一种抗推理攻击的隐私增强联邦学习算法。首先，构建了逆推得到的训练数据与训练数据距离最大化的优化问题，基于拟牛顿法求解该优化问题，获得具有抗推理攻击能力的新特征。其次，利用新特征生成梯度实现梯度重构，基于重构后的梯度更新网络模型参数，可提升网络模型的隐私保护能力。最后，仿真结果表明所提算法能够同时抵御两类推理攻击，并且相较于其他安全方案，所提算法在保护效果与收敛速度上更具优势。     

基于茫然传输协议的FATE联邦迁移学习方案

利用不同来源的数据参与机器学习模型的训练,能够使得训练出的模型的预测结果更加准确,然而大量的数据收集则会产生隐私方面的相关问题。FATE联邦迁移学习是一种基于同态加密的联邦学习框架,但FATE联邦迁移学习中同态加密计算复杂,收敛速度相对较慢,导致模型训练效率低。提出一种基于茫然传输协议的安全矩阵计算方案。通过实现矩阵加法和乘法及数乘的安全计算,完成参与两方交互下具有数据隐私保护特性机器学习模型的损失函数计算与梯度更新,并以此构造更高效的FATE联邦迁移学习算法方案。在此基础上,通过茫然传输扩展协议和通信批量处理,减少需要调用的茫然传输协议的数量,缩减通信轮数,从而降低茫然传输协议带来的通信消耗。性能分析结果表明,该方案的安全模型满足安全性和隐私保护性,并且具有一定的可扩展性,在局域网环境下,相比基于同态加密的方案,模型收敛的平均时间缩短约25%,并且随着数据样本特征维度的增加,该方案仍能保持稳定的收敛速度。     

一种基于注意力联邦蒸馏的推荐方法

数据隐私保护问题已成为推荐系统面临的主要挑战之一.随着《中华人民共和国网络安全法》的颁布和欧盟《通用数据保护条例》的实施,数据隐私和安全成为了世界性的趋势.联邦学习可通过不交换数据训练全局模型,不会泄露用户隐私.但是联邦学习存在每台设备数据量少、模型容易过拟合、数据稀疏导致训练好的模型很难达到较高的预测精度等问题.同时,随着5G （the 5th generation mobile communication technology）时代的到来,个人设备数据量和传输速率预计比当前提高10~100倍,因此要求模型执行效率更高.针对此问题,知识蒸馏可以将教师模型中的知识迁移到更为紧凑的学生模型中去,让学生模型能尽可能逼近或是超过教师网络,从而有效解决模型参数多和通信开销大的问题.但往往蒸馏后的学生模型在精度上会低于教师模型.提出一种面向推荐系统的联邦蒸馏方法,该方法首先在联邦蒸馏的目标函数中加入Kullback-Leibler散度和正则项,减少教师网络和学生网络间的差异性影响;引入多头注意力机制丰富编码信息,提升模型精度;并提出一个改进的自适应学习率训练策略来自动切换优化算法,选择合适的学习率,提升模型的收敛速度.实验验证了该方法的有效性：相比基准算法,模型的训练时间缩短52%,模型的准确率提升了13%,平均误差减少17%,NDCG值提升了10%.     

基于共享数据集和梯度补偿的分层联邦学习框架北大核心CSCD

联邦学习允许车辆在本地保留数据并进行模型训练,从而更好地保护用户隐私,但车载传感器和行驶路线等条件不同,参与联邦学习的车辆可能具有不同数据分布,从而降低模型泛化能力,增大收敛难度。为了确保实时性,车联网中广泛应用了异步随机梯度下降技术,但梯度延迟问题会导致模型训练不准确。为了解决上述问题,文章提出一种基于共享数据集和梯度补偿的分层联邦学习框架。该框架使用共享数据集和基于Re LU值加权的聚合方法减少模型偏差,并利用梯度函数的泰勒展开近似原始损失函数,对异步随机梯度下降进行梯度补偿。在MNIST和CIFAR-10数据集上的实验结果表明,与Fed AVG、MOON和Hier FAVG算法相比,该方法平均准确率分别提高了13.8%、2.2%和3.5%,时间开销仅为同步随机梯度下降和异步随机梯度下降的1/2。     

一种高效的非交互式隐私保护逻辑回归模型

逻辑回归作为一种典型的机器学习算法，被广泛应用于医疗诊断、金融预测等领域。由于单个用户没有足够的样本构建高精度模型，传统的集中式训练则会导致隐私泄露，因此构建具有隐私保护的逻辑回归模型受到广泛关注。现有的要求用户和服务器之间进行交互的方案具有较高的计算成本和通信负担。提出一种高效的非交互式逻辑回归训练协议，利用具有良可分离结构的梯度更新公式，解耦样本数据和模型参数之间的计算耦合性，保证用户与服务器之间的单向单次传输性，即用户将本地数据整合并以秘密共享的方式上传给云服务器后即可离线。在训练阶段设计基于矩阵和向量运算的协议，保证服务器在每次迭代中使用固定的信息更新参数，降低计算成本和通信开销。同时，基于协议的安全性分析和数值实验，在UCI库的4个真实数据集上训练逻辑回归模型，实验结果表明，在保证模型精度的前提下，与最新的隐私保护逻辑回归方案VANE相比，该回归模型效率提升了80～120倍，且训练时间与明文域相近。     

面向联邦算力网络的隐私计算自适激励机制

面对“人-机-物”超融合与万物智能互联远景的现实需求,联邦算力网络充分发挥联邦学习等分布式智能技术的数据聚合优势以及“信息高铁（低熵算力网）”的计算协同优势,高效利用网络中泛在离散部署的海量数据与算力资源,从而最大化满足多种高性能、智能化计算任务需求瓶颈.同时,为建立用户泛在协作计算过程中的全生命周期安全保障和对联邦算力网络的互信任基础,差分隐私等隐私计算技术的引入成为基础性需求之一.因此,在用户自身安全和隐私不受模型逆转、梯度泄露等新兴攻击威胁的前提下,如何对大量的个性化参与用户进行有效激励,促使其积极参与并真实共享本地数据和算力,是实现联邦算力任务实际部署的关键步骤之一.然而,当前联邦算力网络的激励机制大多主要侧重于用户数据评估与公平性等计算性能相关指标研究,缺少对用户隐私需求的关注,无法有效规约隐私噪声注入过程.边缘算力节点出于自身利益考量,往往夸大隐私预算需求,造成严重的冗余精度损失.针对这一问题,本文基于改进的斯塔克伯格主从博弈模型,提出一种面向联邦算力网络的隐私计算自适应激励方法,通过两阶段的动态博弈根据分布式计算过程中隐私注入尺度进行差异化定价激励.基于反向归纳法,参与用...     

面向联邦学习的高效分布式训练框架

联邦学习有效解决了数据孤岛问题,但仍然存在一些挑战。首先,联邦学习的训练节点具有较大的硬件异构性,对训练速度和模型性能存在影响,现有工作主要集中于联邦优化,但多数方法没有解决同步通信模式下各节点计算时间难以协调导致资源浪费的问题;此外,联邦学习中多数训练节点为移动设备,网络环境差,通信开销高,导致了更严重的网络瓶颈。已有方法通过对训练节点上传的梯度进行压缩来降低通信开销,但不可避免地带来了模型性能损失,难以达到较好的质量和效率的平衡。针对上述难题,在计算阶段,提出了自适应梯度聚合(Adaptive Federated Averaging, AFA),根据各个节点的硬件性能自适应协调本地训练的迭代周期,使得等待全局梯度下载的空闲时间整体最小化,提高了联邦学习的计算效率。在通信阶段,提出双重稀疏化(Double Sparsification, DS),通过在训练节点端和参数服务器端进行梯度稀疏化来最大化降低通信开销。此外,各个训练节点根据本地梯度信息和全局梯度信息的丢失值进行误差补偿,以较小的模型性能损失换取较大的通信开销降低。在图像分类数据集和时序预测数据集上进行实验,结果证明,所提方案...