边缘计算下基于区块链的隐私保护联邦学习算法

针对在边缘计算（EC）场景下进行的联邦学习（FL）过程中存在的模型参数隐私泄露、不可信服务器可能返回错误的聚合结果以及参与训练的用户可能上传错误或低质量模型参数的问题,提出一种边缘计算下基于区块链的隐私保护联邦学习算法。在训练过程中,每个用户首先使用全局模型参数在其本地数据集上进行训练,并将训练得到的模型参数以秘密共享的方式上传至附近的边缘节点,从而实现对用户本地模型参数的保护;然后由边缘节点在本地计算它们所收到的模型参数的份额之间的欧氏距离,并将结果上传至区块链;最后由区块链负责对模型参数之间的欧氏距离进行重构,进而在去除有毒的更新后,再进行全局模型参数的聚合。通过安全分析证明了所提算法的安全性：即使在部分边缘节点合谋的情况下,用户的本地模型参数信息也不会泄露。同时实验结果表明该算法具有较高的准确率：在投毒样本比例为30%时,它的模型准确率为94.2%,接近没有投毒样本时的联邦平均（FedAvg）算法的模型准确率97.8%,而在投毒样本比例为30%时FedAvg算法的模型准确率下降至68.7%。     

基于区块链的隐私保护去中心化联邦学习模型

传统的联邦学习依赖一个中央服务器,模型训练过程易受单点故障和节点恶意攻击的影响,明文传递的中间参数也可能被用来推断出数据中的隐私信息.提出了一种基于区块链的去中心化、安全、公平的联邦学习模型,利用同态加密技术保护协同训练方的中间参数隐私,通过选举的联邦学习委员会进行模型聚合和协同解密.解密过程通过秘密共享方案实现安全的密钥管理,利用双线性映射累加器为秘密份额提供正确性验证.引入信誉值作为评估参与方可靠性的指标,利用主观逻辑模型实现不信任增强的信誉计算作为联邦学习委员会的选举依据,信誉值作为激励机制的参考还可以保障参与公平性.模型信息和信誉值通过区块链实现数据的防篡改和不可抵赖.实验表明,模型在训练准确率相比中心化学习模型略有损失的情况下,能够保障在多方协作的环境下以去中心化的方式训练模型,有效实现了各参与方的隐私保护.     

基于区块链的公平性联邦学习模型

为解决典型联邦学习框架在训练样本数据分布不均衡情况下产生的聚合模型对各个客户端模型不公平的问题,结合区块链的去中心化、不可篡改性以及智能合约的特点,提出基于本地数据特征的公平性联邦学习模型,以实现数据分布差异的客户模型可信安全共享。多个客户端通过区块链上传本地参数以及信用值,利用区块链的共识机制选择信用值最高的区块进行模型聚合,在模型聚合过程中按照节点信用依次进行融合,并根据区块链记录工作节点的本地模型参数作为证据,完成整体模型参数的聚合任务,在此基础上通过广播下传当前聚合模型参数,模型利用区块链的共识机制可降低参数在传输过程中所面临的安全风险。在开源数据集上的实验结果表明,该模型相较FedAvg模型训练精度提高40%,不仅能够优化非独立同分布下的模型训练精度,同时可以防止中间参数传输信息泄露,保证了多个客户端的利益与安全隐私,从而实现具有隐私保护的公平性模型。     

基于安全多方计算和差分隐私的联邦学习方案

联邦学习为非互信实体间的合作学习提供了一种新的解决思路,通过本地训练和中央聚合的模式,在训练全局模型的同时保护各实体的本地数据隐私。然而相关研究表明,该模式下无论是用户上传的局部模型,还是中央聚合的全局模型,都会泄露用户数据的信息。安全多方计算和差分隐私作为两种主流的隐私保护技术,分别保护计算过程和计算结果的隐私。目前很少有工作结合这两种技术的优势,用于联邦学习训练全流程的防护。将安全多方计算、差分隐私相结合,设计了一种面向深度学习的隐私保护联邦学习方案,用户对本地训练得到的局部模型添加扰动,并秘密共享至多个中央服务器,服务器间通过多方计算协议对局部模型进行聚合,得到一个共享的秘密全局模型。该方案在保护用户上传的局部信息不被窃取的同时,防止敌手从聚合模型等全局共享信息展开恶意推断,并具有容忍用户掉线和兼容多种聚合函数等优点。此外,针对不存在可信中心的现实应用,上述方案可自然拓展至去中心化场景。实验表明,所提方案与相同条件下的明文联邦学习效率相近,且能取得同水平的模型准确率。     

面向用户的支持用户掉线的联邦学习数据隐私保护方法

联邦学习是解决多组织协同训练问题的一种有效手段,但是现有的联邦学习存在不支持用户掉线、模型API泄露敏感信息等问题。文章提出一种面向用户的支持用户掉线的联邦学习数据隐私保护方法,可以在用户掉线和保护的模型参数下训练出一个差分隐私扰动模型。该方法利用联邦学习框架设计了基于深度学习的数据隐私保护模型,主要包含两个执行协议:服务器和用户执行协议。用户在本地训练一个深度模型,在本地模型参数上添加差分隐私扰动,在聚合的参数上添加掉线用户的噪声和,使得联邦学习过程满足(ε,δ)-差分隐私。实验表明,当用户数为50、ε=1时,可以在模型隐私性与可用性之间达到平衡。     

基于同态加密的隐私保护与可验证联邦学习方案

Cross-silo联邦学习使客户端可以在不共享原始数据的情况下通过聚合本地模型更新来协作训练一个机器学习模型。然而研究表明,训练过程中传输的中间参数也会泄露原始数据隐私,且好奇的中央服务器可能为了自身利益伪造或篡改聚合结果。针对上述问题,文章提出一种抗合谋的隐私保护与可验证cross-silo联邦学习方案。具体地,对每个客户端中间参数进行加密以保护数据隐私,同时为增强系统安全性,结合秘密共享方案实现密钥管理和协同解密。此外,通过聚合签名进一步实现数据完整性和认证,并利用多项式承诺实现中央服务器聚合梯度的可验证性。安全性分析表明,该方案不仅能保护中间参数的隐私及验证数据完整性,而且能够确保聚合梯度的正确性。同时,性能分析表明,相比于现有同类方案,文章所提方案的通信开销显著降低。     

一种基于同态签名的可验证联邦学习方案

联邦学习作为一种新兴的分布式机器学习技术,允许用户通过服务器协同训练全局模型,而无需共享其原始数据集.然而服务器可以对用户上传的模型参数进行分析,推断用户隐私.此外,服务器还可能伪造聚合结果,诱导用户发布敏感信息.因此用户需要对参数进行保护,同时对聚合结果进行正确性验证.本文设计了一种可验证的联邦学习方案.首先,基于公开可验证秘密共享设计了双掩码安全聚合协议,在保护用户模型参数的同时还能支持用户的动态退出和共享验证功能,确保服务器解密的正确性.其次,基于同态签名构建验证公钥更短的聚合结果验证方案,使用户可以验证服务器聚合结果的正确性.实验结果表明,同现有方案相比,方案验证聚合结果时的计算开销和通信开销同时处于较低水平.安全性分析证明了方案在隐私保护方面能够有效防止恶意攻击和数据泄露,保障了联邦学习训练的安全性.     

基于区块链构建安全去中心化的联邦学习方案

联邦学习甫一问世便得到了广泛的关注,被认为是一种具有广阔前景的分布式机器学习范式.然而,传统联邦学习方案基于中央服务器的集中式设计,在效率和可扩展性上存在不足.此外,集中式设计需要有可信的中央节点协调参与者完成训练,可能导致信任和可靠性的问题,例如中央服务器被操控或是出现单点故障.为了解决上述问题,相关领域的研究人员提出了基于区块链的去中心化联邦学习方案.去中心化联邦学习修补了传统集中式联邦学习的缺陷,但与此同时也引入了全新的攻击面.具体而言,由于区块链将网络中节点发起的全部事务保存在一个公开共享的数字账本,所有区块链节点都可以获取联邦学习参与者每轮的本地训练模型副本.这一现象严重地侵害了参与者的数据隐私和自身利益.在上述困境的驱动下,本文提出了一种安全去中心化联邦学习的可行方案,能够同时解决联邦学习参与者的数据机密性问题和学习公平性问题.区别于此前的研究工作,还提出了一种基于区块链的联邦学习的生产–消费模型,用于在模型安全聚合过程中审查参与者的本地行为,防止出现参与者不劳而获或是虚假训练的情况,在此基础上本文提出APoS共识机制,提供一种激励与审查机制,确保参与者在联邦学习的过程中倾...     

联邦学习中的隐私保护技术研究综述

近年来,联邦学习成为解决机器学习中数据孤岛与隐私泄露问题的新思路。联邦学习架构不需要多方共享数据资源,只要参与方在本地数据上训练局部模型,并周期性地将参数上传至服务器来更新全局模型,就可以获得在大规模全局数据上建立的机器学习模型。联邦学习架构具有数据隐私保护的特质,是未来大规模数据机器学习的新方案。然而,该架构的参数交互方式可能导致数据隐私泄露。目前,研究如何加强联邦学习架构中的隐私保护机制已经成为新的热点。从联邦学习中存在的隐私泄露问题出发,探讨了联邦学习中的攻击模型与敏感信息泄露途径,并重点综述了联邦学习中的几类隐私保护技术：以差分隐私为基础的隐私保护技术、以同态加密为基础的隐私保护技术、以安全多方计算（SMC）为基础的隐私保护技术。最后,探讨了联邦学习中隐私保护中的若干关键问题,并展望了未来研究方向。     

面向分层联邦学习的传输优化研究

与传统机器学习相比,联邦学习有效解决了用户数据隐私和安全保护等问题,但是海量节点与云服务器间进行大量模型交换,会产生较高的通信成本,因此基于云-边-端的分层联邦学习受到了越来越多的重视。在分层联邦学习中,移动节点之间可采用D2D、机会通信等方式进行模型协作训练,边缘服务器执行局部模型聚合,云服务器执行全局模型聚合。为了提升模型的收敛速率,研究人员对面向分层联邦学习的网络传输优化技术展开了研究。文中介绍了分层联邦学习的概念及算法原理,总结了引起网络通信开销的关键挑战,归纳分析了选择合适节点、增强本地计算、减少本地模型更新上传数、压缩模型更新、分散训练和面向参数聚合传输这6种网络传输优化方法。最后,总结并探讨了未来的研究方向。