基于同态加密的隐私保护与可验证联邦学习方案

Cross-silo联邦学习使客户端可以在不共享原始数据的情况下通过聚合本地模型更新来协作训练一个机器学习模型。然而研究表明,训练过程中传输的中间参数也会泄露原始数据隐私,且好奇的中央服务器可能为了自身利益伪造或篡改聚合结果。针对上述问题,文章提出一种抗合谋的隐私保护与可验证cross-silo联邦学习方案。具体地,对每个客户端中间参数进行加密以保护数据隐私,同时为增强系统安全性,结合秘密共享方案实现密钥管理和协同解密。此外,通过聚合签名进一步实现数据完整性和认证,并利用多项式承诺实现中央服务器聚合梯度的可验证性。安全性分析表明,该方案不仅能保护中间参数的隐私及验证数据完整性,而且能够确保聚合梯度的正确性。同时,性能分析表明,相比于现有同类方案,文章所提方案的通信开销显著降低。     

联邦学习下高效的隐私保护安全聚合方案

联邦学习能使用户不共享原始数据的情况下, 允许多个用户协同训练模型. 为了确保用户本地数据集不被泄露, 现有的工作提出安全聚合协议. 但现有的多数方案存在未考虑全局模型隐私、系统计算资源与通信资源耗费较大等问题. 针对上述问题, 提出了联邦学习下高效的强安全的隐私保护安全聚合方案. 该方案利用对称同态加密技术实现了用户模型与全局模型的隐私保护, 利用秘密共享技术解决了用户掉线问题. 同时, 该方案利用Pedersen承诺来验证云服务器返回聚合结果的正确性, 利用BLS签名保护了用户与云服务器交互过程中的数据完整性. 此外, 安全性分析表明该方案是可证明安全的; 性能分析表明该方案是高效且实用的, 适用于大规模用户的联邦学习系统.     

基于安全多方计算和差分隐私的联邦学习方案

联邦学习为非互信实体间的合作学习提供了一种新的解决思路,通过本地训练和中央聚合的模式,在训练全局模型的同时保护各实体的本地数据隐私。然而相关研究表明,该模式下无论是用户上传的局部模型,还是中央聚合的全局模型,都会泄露用户数据的信息。安全多方计算和差分隐私作为两种主流的隐私保护技术,分别保护计算过程和计算结果的隐私。目前很少有工作结合这两种技术的优势,用于联邦学习训练全流程的防护。将安全多方计算、差分隐私相结合,设计了一种面向深度学习的隐私保护联邦学习方案,用户对本地训练得到的局部模型添加扰动,并秘密共享至多个中央服务器,服务器间通过多方计算协议对局部模型进行聚合,得到一个共享的秘密全局模型。该方案在保护用户上传的局部信息不被窃取的同时,防止敌手从聚合模型等全局共享信息展开恶意推断,并具有容忍用户掉线和兼容多种聚合函数等优点。此外,针对不存在可信中心的现实应用,上述方案可自然拓展至去中心化场景。实验表明,所提方案与相同条件下的明文联邦学习效率相近,且能取得同水平的模型准确率。     

支持多数不规则用户的隐私保护联邦学习框架

针对联邦学习存在处理大多数不规则用户易引起聚合效率降低,以及采用明文通信导致参数隐私泄露的问题,基于设计的安全除法协议构建针对不规则用户鲁棒的隐私保护联邦学习框架.该框架通过将模型相关计算外包给两台边缘服务器以减小采用同态加密产生的高额计算开销,不仅允许模型及其相关信息以密文形式在边缘服务器上进行密文聚合,还支持用户在...     

云-边融合的可验证隐私保护跨域联邦学习方案

联邦学习技术的飞速发展促进不同终端用户数据协同训练梯度模型,其显著特征是训练数据集不离开本地设备,只有梯度模型在本地进行更新并共享,使边缘服务器生成全局梯度模型。然而,本地设备间的异构性会影响训练性能,且共享梯度模型更新具有隐私泄密与恶意篡改威胁。提出云-边融合的可验证隐私保护跨域联邦学习方案。在方案中,终端用户利用单掩码盲化技术保护数据隐私,利用基于向量内积的签名算法产生梯度模型的签名,边缘服务器通过盲化技术聚合隐私数据并产生去盲化聚合签名,确保全局梯度模型更新与共享过程的不可篡改性。采用多区域权重转发技术解决异构网络中设备计算资源与通信开销受限的问题。实验结果表明,该方案能够安全高效地部署在异构网络中,并在MNIST、SVHN、CIFAR-10和CIFAR-100 4个基准数据集上进行系统实验仿真,与经典联邦学习方案相比,在精度相当的情况下,本文方案梯度模型收敛速度平均提高了21.6%。     

基于秘密分享和梯度选择的高效安全联邦学习

近年来,联邦学习已经成为一种新兴的协作式机器学习方法.在联邦学习中,分布式用户可以仅通过共享梯度来训练各种模型.但是一些研究表明梯度也会泄露用户的隐私信息,而安全多方计算被认为是一种保护隐私安全的有效工具.另一方面,一些研究人员提出了Top-K梯度选择算法,以减少用户之间同步梯度的通信开销.但是,目前很少有工作可以平衡这2个领域的优势.将秘密共享与Top-K梯度选择相结合,设计了高效且安全的联邦学习协议,以便在保证用户隐私和数据安全的同时,减少通信开销,并提高模型训练效率.此外,提出了一种高效的方法来构造消息验证码,以验证服务器返回的聚合结果的有效性,其中,验证码引入的通信开销与梯度的数量无关.实验结果表明：相比于同样条件下的明文训练,该文的安全技术在通信和计算方面都会引入少量额外的开销,但该方案取得了和明文训练同一水平的模型准确率.     

基于区块链的隐私保护去中心化联邦学习模型

传统的联邦学习依赖一个中央服务器,模型训练过程易受单点故障和节点恶意攻击的影响,明文传递的中间参数也可能被用来推断出数据中的隐私信息.提出了一种基于区块链的去中心化、安全、公平的联邦学习模型,利用同态加密技术保护协同训练方的中间参数隐私,通过选举的联邦学习委员会进行模型聚合和协同解密.解密过程通过秘密共享方案实现安全的密钥管理,利用双线性映射累加器为秘密份额提供正确性验证.引入信誉值作为评估参与方可靠性的指标,利用主观逻辑模型实现不信任增强的信誉计算作为联邦学习委员会的选举依据,信誉值作为激励机制的参考还可以保障参与公平性.模型信息和信誉值通过区块链实现数据的防篡改和不可抵赖.实验表明,模型在训练准确率相比中心化学习模型略有损失的情况下,能够保障在多方协作的环境下以去中心化的方式训练模型,有效实现了各参与方的隐私保护.     

基于区块链的隐私保护可信联邦学习模型

基于联邦学习的智能边缘计算在物联网领域有广泛的应用前景.联邦学习是一种将数据存储在参与节点本地的分布式机器学习框架,可以有效保护智能边缘节点的数据隐私.现有的联邦学习通常将模型训练的中间参数上传至参数服务器实现模型聚合,此过程存在两方面问题:一是中间参数的隐私泄露,现有的隐私保护方案通常采用差分隐私给中间参数增加噪声,但过度加噪会降低聚合模型质量;另一方面,节点的自利性与完全自治化的训练过程可能导致恶意节点上传虚假参数或低质量模型,影响聚合过程与模型质量.基于此,本文将联邦学习中心化的参数服务器构建为去中心化的参数聚合链,利用区块链记录模型训练过程的中间参数作为证据,并激励协作节点进行模型参数验证,惩罚上传虚假参数或低质量模型的参与节点,以约束其自利性.此外,将模型质量作为评估依据,实现中间参数隐私噪声的动态调整以及自适应的模型聚合.原型搭建和仿真实验验证了模型的实用性,证实本模型不仅能增强联邦学习参与节点间的互信,而且能防止中间参数隐私泄露,从而实现隐私保护增强的可信联邦学习模型.     

面向用户的支持用户掉线的联邦学习数据隐私保护方法

联邦学习是解决多组织协同训练问题的一种有效手段,但是现有的联邦学习存在不支持用户掉线、模型API泄露敏感信息等问题。文章提出一种面向用户的支持用户掉线的联邦学习数据隐私保护方法,可以在用户掉线和保护的模型参数下训练出一个差分隐私扰动模型。该方法利用联邦学习框架设计了基于深度学习的数据隐私保护模型,主要包含两个执行协议:服务器和用户执行协议。用户在本地训练一个深度模型,在本地模型参数上添加差分隐私扰动,在聚合的参数上添加掉线用户的噪声和,使得联邦学习过程满足(ε,δ)-差分隐私。实验表明,当用户数为50、ε=1时,可以在模型隐私性与可用性之间达到平衡。     

隐私保护的高效可验证数据流协议

可验证数据流(verifiable data streaming, VDS)协议使得资源有限、计算能力不足的用户将爆炸式增长的数据外包到不完全可信的云服务器上,任意用户可以检索特定位置的数据并公开验证结果的正确性,不仅可以防止云端服务器篡改数据内容和对应位置,还允许数据拥有者有效更新已经外包的数据.然而,已有的可验证数据流协议没有考虑外包数据的隐私性,且用户添加新数据的复杂度与已存储数据的规模成对数关系,难以满足一些应用场景中对低延时和隐私保护的需求.本文构造了一个基于对称加密体制的新型变色龙认证树,对数据流先加密再存储,以此来保证数据的隐私性;依据通用的构造范式提出了新的支持隐私保护的高效可验证数据流协议,使得添加数据的计算开销达到了常量级,与已外包存储数据的规模无关.安全性和性能分析表明,所提出可验证数据流协议在标准模型下满足相应的安全性定义,且在隐私保护和计算开销方面具有优势.     

抗拜占庭攻击的隐私保护联邦学习

联邦学习是一种隐私保护的分布式机器学习框架,可以让各方参与者在不披露本地数据的前提下共建模型.然而,联邦学习仍然面临拜占庭攻击和用户隐私泄漏等威胁.现有研究结合鲁棒聚合规则和安全计算技术以同时应对上述安全威胁,但是这些方案难以兼顾模型鲁棒性与计算高效性.针对此问题,本文提出一种抗拜占庭攻击的隐私保护联邦学习框架Sec FedDMC,在保护用户数据隐私的条件下实现高效的拜占庭攻击检测与防御.基础方案Fed DMC采用“先降维后聚类”的策略,设计了高效精准的恶意客户端检测方法.此外,该方法利用的随机主成分分析降维技术和K-均值聚类技术主要由线性运算构成,从而优化了算法在安全计算环境中的适用性.针对基础方案存在的用户数据隐私泄露问题,提出了基于安全多方计算技术的隐私增强方案Sec FedDMC.基于轻量级加法秘密分享技术,设计安全的正交三角分解协议和安全的特征分解协议,从而构建双服务器模型下隐私保护的拜占庭鲁棒联邦学习方案,以保护模型训练和拜占庭节点识别过程中的用户隐私.经实验验证,Sec FedDMC在保护用户隐私的前提下,可以高效准确地识别拜占庭攻击节点,具有较好的鲁棒性.其中,本方案与...     

理性与可验证的联邦学习框架

联邦学习作为解决数据孤岛问题的有效方法,在服务器计算全部梯度的过程中,由于服务器的惰性和自利性会存在全局梯度不正确计算问题,因此需要验证全局梯度的完整性.现有的基于密码算法的方案验证开销过大.针对这些问题,提出一种理性与可验证的联邦学习框架.首先,结合博弈论,设计囚徒合约与背叛合约迫使服务器诚实.其次,所提方案使用基于复制的验证方案实现全局梯度的完整性验证,且支持客户端离线.最后,经分析证明所提方案的正确性,并经实验表明,该方案与已有的验证算法相比,客户端的计算开销降为0,一次迭代的通信轮数由原来的3轮优化到2轮,且训练开销与客户端的离线率成反比.     

基于联邦学习的PATE教师模型聚合优化方法

教师模型全体的隐私聚合（PATE）是一种重要的隐私保护方法,但该方法中存在训练数据集小时训练模型不精确的问题。为了解决该问题,提出了一种基于联邦学习的PATE教师模型聚合优化方法。首先,将联邦学习引入到教师模型全体隐私聚合方案的教师模型训练中,用来提高训练数据少时模型训练的精确度。其次,在该优化方案中,利用差分隐私的思想来保护模型参数的隐私,以降低其被攻击的隐私泄露风险。最后,通过在MNIST数据集下验证该方案的可行性,实验结果表明,在同样的隐私保护水平下该方案训练模型的精确度优于传统的隐私聚合方案。     

一种基于区块链的隐私保护异步联邦学习

在联邦学习作为隐私保护技术被广泛应用的同时,也产生了中心服务器不稳定和联邦学习服务器与参与方交互造成的隐私泄露等新的挑战及安全问题. 提出了一种基于区块链和动态评估的隐私保护联邦学习模型,利用区块链解决中心服务器的问题,通过本地训练使用稀疏化、全局模型更新使用差分隐私解决联邦学习过程中的隐私泄露问题,本地训练完成后用数字签名和双重Hash对比验证参与方身份和训练模型的所属权. 此外,使用多权重动态评估方法计算单轮模型和参与方评估值作为参与方贡献的依据. 实验结果表明,提出的模型可以有效解决联邦学习中的单点故障和局部模型验证问题,与传统联邦学习相比,使用稀疏化和差分隐私可以在略微损失准确率的情况下保障模型的安全性,并有效地为参与方进行评估,从而保证了激励机制的公平性.

     

一种异步联邦学习聚合更新算法

联邦学习致力于在保证用户数据隐私安全的同时,通过多用户共建的方式提升机器学习模型的泛化性能.为此,在用户利用本地数据训练模型后,参数服务器需要聚合多个用户的模型参数并使用户基于聚合后参数继续本地训练.指数滑动平均是一种被广泛使用的参数聚合更新方法.然而当用户本地训练速度相差较大时,指数滑动平均方法无法消除由此造成的聚合参数偏差,从而显著影响模型整体训练效率.针对上述问题,本文提出了一种基于权重摘要和更新版本感知的异步联邦学习聚合更新方法,通过合理控制不同训练速度用户提交的参数在聚合参数中所占比例,以及主动更新落后用户使用的聚合参数,从而有效解决本地训练速度差异对聚合参数造成的负面影响.实验结果表明,相较于指数滑动平均策略,本文提出的参数聚合更新方法在MNIST、CIFAR-10数据集上均能显著提升训练效率.     

基于Reptile的个性化联邦学习算法

在联邦学习背景下,由于行业竞争、隐私保护等壁垒,用户数据保留在本地,无法集中在一处训练.为充分利用用户的数据和算力,用户可通过中央服务器协同训练模型,训练得到的公共模型为用户共享,但公共模型对于不同用户会产生相同输出,难以适应用户数据是异质的常见情形.针对该问题,提出一种基于元学习方法 Reptile的新算法,为用户学习个性化联邦学习模型. Reptile可高效学习多任务的模型初始化参数,在新任务到来时,仅需几步梯度下降就能收敛到良好的模型参数.利用这一优势,将Reptile与联邦平均(federated averaging, FedAvg)相结合,用户终端利用Reptile处理多任务并更新参数,之后中央服务器将用户更新的参数进行平均聚合,迭代学习更好的模型初始化参数,最后将其应用于各用户数据后仅需几步梯度下降即可获得个性化模型.实验中使用模拟数据和真实数据设置了联邦学习场景,实验表明该算法相比其他算法能够更快收敛,具有更好的个性化学习能力.     

边缘计算下基于区块链的隐私保护联邦学习算法

针对在边缘计算（EC）场景下进行的联邦学习（FL）过程中存在的模型参数隐私泄露、不可信服务器可能返回错误的聚合结果以及参与训练的用户可能上传错误或低质量模型参数的问题,提出一种边缘计算下基于区块链的隐私保护联邦学习算法。在训练过程中,每个用户首先使用全局模型参数在其本地数据集上进行训练,并将训练得到的模型参数以秘密共享的方式上传至附近的边缘节点,从而实现对用户本地模型参数的保护;然后由边缘节点在本地计算它们所收到的模型参数的份额之间的欧氏距离,并将结果上传至区块链;最后由区块链负责对模型参数之间的欧氏距离进行重构,进而在去除有毒的更新后,再进行全局模型参数的聚合。通过安全分析证明了所提算法的安全性：即使在部分边缘节点合谋的情况下,用户的本地模型参数信息也不会泄露。同时实验结果表明该算法具有较高的准确率：在投毒样本比例为30%时,它的模型准确率为94.2%,接近没有投毒样本时的联邦平均（FedAvg）算法的模型准确率97.8%,而在投毒样本比例为30%时FedAvg算法的模型准确率下降至68.7%。     

面向分层联邦学习的传输优化研究

与传统机器学习相比,联邦学习有效解决了用户数据隐私和安全保护等问题,但是海量节点与云服务器间进行大量模型交换,会产生较高的通信成本,因此基于云-边-端的分层联邦学习受到了越来越多的重视。在分层联邦学习中,移动节点之间可采用D2D、机会通信等方式进行模型协作训练,边缘服务器执行局部模型聚合,云服务器执行全局模型聚合。为了提升模型的收敛速率,研究人员对面向分层联邦学习的网络传输优化技术展开了研究。文中介绍了分层联邦学习的概念及算法原理,总结了引起网络通信开销的关键挑战,归纳分析了选择合适节点、增强本地计算、减少本地模型更新上传数、压缩模型更新、分散训练和面向参数聚合传输这6种网络传输优化方法。最后,总结并探讨了未来的研究方向。     

一种新的参数掩盖联邦学习隐私保护方案

随着数据隐私保护相关的法律法规相继出台,传统集中式学习模式中的隐私数据暴露问题已经成为制约人工智能发展的重要因素.联邦学习的提出解决了这一问题,但是现有的联邦学习存在模型参数泄露敏感信息、依赖可信第三方服务器等问题.文章提出了一种新的参数掩盖联邦学习隐私保护方案,能够抵御服务器攻击、用户攻击、服务器和少于t个用户的联合...     

混合式结构下基于网格的位置隐私保护方法

基于中心式和分布式结构的LBS隐私保护方案的特点,设计了一种混合式隐私保护结构以兼具两者优势,并在该结构下提出了一种基于网格的LBS隐私保护方案。该方案使用参数生成器定期向用户及LBS服务器更新偏移参数,通过结合K-匿名和随机偏移技术,在中心服务器生成匿名区域。在保证安全性的同时,避免了传统匿名中心服务器存在的安全隐患。同时,在查询结果的筛选过程中,采用网格化坐标对匿名区域进行表示,实现了高效的结果匹配,显著降低了中心服务器的计算开销。较之已有方案,该方案在通信开销方面亦具有较大优势。