基于安全多方计算和差分隐私的联邦学习方案

联邦学习为非互信实体间的合作学习提供了一种新的解决思路,通过本地训练和中央聚合的模式,在训练全局模型的同时保护各实体的本地数据隐私。然而相关研究表明,该模式下无论是用户上传的局部模型,还是中央聚合的全局模型,都会泄露用户数据的信息。安全多方计算和差分隐私作为两种主流的隐私保护技术,分别保护计算过程和计算结果的隐私。目前很少有工作结合这两种技术的优势,用于联邦学习训练全流程的防护。将安全多方计算、差分隐私相结合,设计了一种面向深度学习的隐私保护联邦学习方案,用户对本地训练得到的局部模型添加扰动,并秘密共享至多个中央服务器,服务器间通过多方计算协议对局部模型进行聚合,得到一个共享的秘密全局模型。该方案在保护用户上传的局部信息不被窃取的同时,防止敌手从聚合模型等全局共享信息展开恶意推断,并具有容忍用户掉线和兼容多种聚合函数等优点。此外,针对不存在可信中心的现实应用,上述方案可自然拓展至去中心化场景。实验表明,所提方案与相同条件下的明文联邦学习效率相近,且能取得同水平的模型准确率。     

基于个性化差分隐私的联邦学习算法

联邦学习（FL）可以有效保护用户的个人数据不被攻击者获得,而差分隐私（DP）则可以实现FL的隐私增强,解决模型训练参数导致的隐私泄露问题。然而,现有的基于DP的FL方法只关注统一的隐私保护预算,而忽略了用户的个性化隐私需求。针对此问题,提出了一种两阶段的基于个性化差分隐私的联邦学习（PDP-FL）算法。在第一阶段,依据用户的隐私偏好对用户隐私进行分级,并添加满足用户隐私偏好的噪声,以实现个性化隐私保护,同时上传隐私偏好对应的隐私等级给中央聚合服务器;在第二阶段,为实现对全局数据的充分保护,采取本地和中心同时保护的策略,并根据用户上传的隐私等级,添加符合全局DP阈值的噪声,以量化全局的隐私保护水平。实验结果表明,在MNIST和CIFAR-10数据集上,PDP-FL算法的分类准确度分别为93.8%～94.5%和43.4%～45.2%,优于基于本地化差分隐私的联邦学习（LDP-Fed）和基于全局差分隐私的联邦学习（GDP-FL）,同时满足了个性化隐私保护的需求。     

联邦学习中的隐私保护技术研究综述

近年来,联邦学习成为解决机器学习中数据孤岛与隐私泄露问题的新思路。联邦学习架构不需要多方共享数据资源,只要参与方在本地数据上训练局部模型,并周期性地将参数上传至服务器来更新全局模型,就可以获得在大规模全局数据上建立的机器学习模型。联邦学习架构具有数据隐私保护的特质,是未来大规模数据机器学习的新方案。然而,该架构的参数交互方式可能导致数据隐私泄露。目前,研究如何加强联邦学习架构中的隐私保护机制已经成为新的热点。从联邦学习中存在的隐私泄露问题出发,探讨了联邦学习中的攻击模型与敏感信息泄露途径,并重点综述了联邦学习中的几类隐私保护技术：以差分隐私为基础的隐私保护技术、以同态加密为基础的隐私保护技术、以安全多方计算（SMC）为基础的隐私保护技术。最后,探讨了联邦学习中隐私保护中的若干关键问题,并展望了未来研究方向。     

联邦学习下高效的隐私保护安全聚合方案

联邦学习能使用户不共享原始数据的情况下, 允许多个用户协同训练模型. 为了确保用户本地数据集不被泄露, 现有的工作提出安全聚合协议. 但现有的多数方案存在未考虑全局模型隐私、系统计算资源与通信资源耗费较大等问题. 针对上述问题, 提出了联邦学习下高效的强安全的隐私保护安全聚合方案. 该方案利用对称同态加密技术实现了用户模型与全局模型的隐私保护, 利用秘密共享技术解决了用户掉线问题. 同时, 该方案利用Pedersen承诺来验证云服务器返回聚合结果的正确性, 利用BLS签名保护了用户与云服务器交互过程中的数据完整性. 此外, 安全性分析表明该方案是可证明安全的; 性能分析表明该方案是高效且实用的, 适用于大规模用户的联邦学习系统.     

一种隐私保护的联邦学习框架

大数据时代,数据安全性和隐私性受到越来越多的关注和重视。联邦学习被视为是一种隐私保护的可行技术,允许从去中心化的数据中训练深度模型。针对电力投资系统中各部门因担心数据隐私信息泄露而带来的数据孤岛和隐私保护问题,提出了一种隐私保护的联邦学习框架,允许各部门自有数据在不出本地的情况下,联合训练模型。首先,提出了联邦学习的架构,支持分布式地训练模型;其次,引入同态加密技术,提出了隐私保护的联邦平均学习流程,在数据隐私保护的情况下,实现联合训练模型;最后,实验结果表明,该框架具有较好的收敛性,而且联合训练得到的模型具有较好的精度。     

基于梯度选择的轻量化差分隐私保护联邦学习

为了应对机器学习过程中可能出现的用户隐私问题，联邦学习作为首个无需用户上传真实数据、仅上传模型更新的协作式在线学习解决方案，已经受到人们的广泛关注与研究。然而，它要求用户在本地训练且上传的模型更新中仍可能包含敏感信息，从而带来了新的隐私保护问题。与此同时，必须在用户本地进行完整训练的特点也使得联邦学习过程中的运算与通信开销问题成为一项挑战，亟需人们建立一种轻量化的联邦学习架构体系。出于进一步的隐私需求考虑，文中使用了带有差分隐私机制的联邦学习框架。另外，首次提出了基于Fisher信息矩阵的Dropout机制——FisherDropout,用于对联邦学习过程中在客户端训练产生梯度更新的每个维度进行优化选择，从而极大地节约运算成本、通信成本以及隐私预算，建立了一种兼具隐私性与轻量化优势的联邦学习框架。在真实世界数据集上的大量实验验证了该方案的有效性。实验结果表明，相比其他联邦学习框架，FisherDropout机制在最好的情况下可以节约76.8%～83.6%的通信开销以及23.0%～26.2%的运算开销，在差分隐私保护中隐私性与可用性的均衡方面同样具有突出优势。     

基于联邦学习的PATE教师模型聚合优化方法

教师模型全体的隐私聚合（PATE）是一种重要的隐私保护方法,但该方法中存在训练数据集小时训练模型不精确的问题。为了解决该问题,提出了一种基于联邦学习的PATE教师模型聚合优化方法。首先,将联邦学习引入到教师模型全体隐私聚合方案的教师模型训练中,用来提高训练数据少时模型训练的精确度。其次,在该优化方案中,利用差分隐私的思想来保护模型参数的隐私,以降低其被攻击的隐私泄露风险。最后,通过在MNIST数据集下验证该方案的可行性,实验结果表明,在同样的隐私保护水平下该方案训练模型的精确度优于传统的隐私聚合方案。     

基于差分隐私的分段裁剪联邦学习算法

为解决现有的差分隐私联邦学习算法中使用固定的裁剪阈值和噪声尺度进行训练,从而导致数据隐私泄露、模型精度较低的问题,提出了一种基于差分隐私的分段裁剪联邦学习算法。首先,根据客户端的隐私需求分为隐私需求高和低。对于高隐私需求用户使用自适应裁剪来动态裁剪梯度;而低隐私需求用户则采用比例裁剪。其次根据裁剪后阈值大小自适应地添加噪声尺度。通过实验分析可得,该算法可以更好地保护隐私数据,同时通信代价也低于ADP-FL和DP-FL算法,并且与ADP-FL和DP-FL相比,模型准确率分别提高了2.25%和4.41%。     

基于差分隐私保护知识迁移的联邦学习方法

联邦学习解决了机器学习的数据孤岛问题,然而,各方的数据集在数据样本空间和特征空间上可能存在较大差异,导致联邦模型的预测精度下降。针对上述问题,提出了一种基于差分隐私保护知识迁移的联邦学习方法。该方法使用边界扩展局部敏感散列计算各方实例之间的相似度,根据相似度对实例进行加权训练,实现基于实例的联邦迁移学习,在此过程中,实例本身无须透露给其他方,防止了隐私的直接泄露。同时,为了减少知识迁移过程的隐私间接泄露,在知识迁移过程中引入差分隐私机制,对需要在各方之间传输的梯度数据进行扰动,实现知识迁移过程的隐私保护。理论分析表明,知识迁移过程满足ε-差分隐私保护。在XGBoost梯度提升树模型上实现了所提方法,实验结果表明,与无知识迁移方法相比,所提方法使联邦模型测试误差平均下降6%以上。     

基于区块链的隐私保护可信联邦学习模型

基于联邦学习的智能边缘计算在物联网领域有广泛的应用前景.联邦学习是一种将数据存储在参与节点本地的分布式机器学习框架,可以有效保护智能边缘节点的数据隐私.现有的联邦学习通常将模型训练的中间参数上传至参数服务器实现模型聚合,此过程存在两方面问题:一是中间参数的隐私泄露,现有的隐私保护方案通常采用差分隐私给中间参数增加噪声,但过度加噪会降低聚合模型质量;另一方面,节点的自利性与完全自治化的训练过程可能导致恶意节点上传虚假参数或低质量模型,影响聚合过程与模型质量.基于此,本文将联邦学习中心化的参数服务器构建为去中心化的参数聚合链,利用区块链记录模型训练过程的中间参数作为证据,并激励协作节点进行模型参数验证,惩罚上传虚假参数或低质量模型的参与节点,以约束其自利性.此外,将模型质量作为评估依据,实现中间参数隐私噪声的动态调整以及自适应的模型聚合.原型搭建和仿真实验验证了模型的实用性,证实本模型不仅能增强联邦学习参与节点间的互信,而且能防止中间参数隐私泄露,从而实现隐私保护增强的可信联邦学习模型.     

Challenges and future directions of secure federated learning: a survey

Federated learning came into being with the increasing concern of privacy security, as people’s sensitive information is being exposed under the era of big data. It is an algorithm that does not collect users’ raw data, but aggregates model parameters from each client and therefore protects user’s privacy. Nonetheless, due to the inherent distributed nature of federated learning, it is more vulnerable under attacks since users may upload malicious data to break down the federated learning server. In addition, some recent studies have shown that attackers can recover information merely from parameters. Hence, there is still lots of room to improve the current federated learning frameworks. In this survey, we give a brief review of the state-of-the-art federated learning techniques and detailedly discuss the improvement of federated learning. Several open issues and existing solutions in federated learning are discussed. We also point out the future research directions of federated learning.     

分布式深度学习隐私与安全攻击研究进展与挑战

不同于集中式深度学习模式,分布式深度学习摆脱了模型训练过程中数据必须中心化的限制,实现了数据的本地操作,允许各方参与者在不交换数据的情况下进行协作,显著降低了用户隐私泄露风险,从技术层面可以打破数据孤岛,显著提升深度学习的效果,能够广泛应用于智慧医疗、智慧金融、智慧零售和智慧交通等领域.但生成对抗式网络攻击、成员推理攻...     

联邦学习安全防御与隐私保护技术研究

联邦学习(federated learning, FL)在多个参与方不直接进行数据传输的前提下共同完成模型训练,充分发挥各方数据价值;然而,由于联邦学习的固有缺陷以及存储和通信的安全问题,其在实际应用场景中仍面临多种安全与隐私威胁。首先阐述了FL面临的安全攻击和隐私攻击;然后针对这两类典型攻击分别总结了最新的安全防御机制和隐私保护手段,包括投毒攻击防御、后门攻击防御、搭便车攻击防御、女巫攻击防御以及基于安全计算与差分隐私的防御手段。通过对联邦学习的现有风险和相应防御手段的系统梳理,展望了联邦学习未来的研究挑战与发展方向。     

基于隐私保护联邦学习与区块链的图像分类方案

传统的中心化图像分类方法受制于数据隐私问题和计算资源限制,无法满足实际需求。现有的联邦学习框架依赖中心服务器,存在单点故障和数据中毒攻击等安全挑战。为解决这些问题,提出了一种面向隐私保护联邦学习与区块链的图像分类方案,通过将联邦学习与区块链技术相结合,实现在分布式环境下进行图像分类任务的可靠性和安全性。图像分类模型通过联邦学习进行训练,并上传至区块链网络进行验证和共识;在分类阶段,模型通过加权组合得到最终分类结果。实验结果表明,该方案在确保用户隐私的同时提高了图像分类的准确度,本方法为解决图像分类中的数据隐私和安全问题提供了一种有效途径,并为提高分类准确性作出了积极探索。     

一种基于区块链的联邦学习贡献评价方案

为了实现联邦学习中公平的收益分配,需要有一个指标来量化每个数据提供者对联合模型的贡献。针对现有的贡献评价方案存在的隐私泄露、不透明和依赖中心服务器等问题,提出一种基于区块链的透明的联邦学习贡献评价方案。首先,提出基于改进的Paillier安全聚合算法,通过联合解密避免了在模型聚合阶段对用户本地数据的推断。其次,提出一种基于用户累计提交的梯度来近似计算其贡献的方法,解决了现有贡献评估方案存在的隐私泄露问题。此外,将贡献的评估融入到区块链的共识过程中,使其评估结果具备了可审计性。最后,基于MNIST数据集进行的实验表明,所提出的方法可以有效地评估贡献。     

基于用户相关性的差分隐私轨迹隐私保护方案

在使用位置查询服务时需要提供用户真实位置信息,导致用户信息泄露。大部分研究只针对单个用户的隐私保护,而忽略了多用户之间的相关性。针对轨迹隐私保护中多用户相关性的问题,提出了一种基于用户相关性的差分隐私轨迹隐私保护方案。首先,构建历史轨迹树,利用变阶马尔可夫模型预测用户轨迹,从轨迹集合中生成一组高可用性的轨迹数据集;其次,根据用户轨迹之间的相关性获取一组关联性较低的预测轨迹集;最后,通过自定义隐私预算的方法,根据用户不同的隐私需求动态调整每个位置点的隐私预算并为发布轨迹添加拉普拉斯噪声。实验结果表明：与LPADP算法相比,该算法的执行效率提升了10%~15.9%;与PTPP和LPADP算法相比,该算法的数据可用性提升了11%~16.1%,同时提升了隐私保护程度。     

Greedy-based user selection for federated graph neural networks with limited communication resources

Recently, graph neural networks (GNNs) have attracted much attention in the field of machine learning due to their remarkable success in learning from graph-structured data. However, implementing GNNs in practice faces a critical bottleneck from the high complexity of communication and computation, which arises from the frequent exchange of graphic data during model training, especially in limited communication scenarios. To address this issue, we propose a novel framework of federated graph neural networks, where multiple mobile users collaboratively train the global model of graph neural networks in a federated way. The utilization of federated learning into the training of graph neural networks can help reduce the communication overhead of the system and protect the data privacy of local users. In addition, the federated training can help reduce the system computational complexity significantly. We further introduce a greedy-based user selection for the federated graph neural networks, where the wireless bandwidth is dynamically allocated among users to encourage more users to attend the federated training of neural networks. We perform the convergence analysis on the federated training of neural networks, in order to obtain some more insights on the impact of critical parameters on the system design. Finally, we perform the simulations on the coriolis ocean for reAnalysis (CORA) dataset and show the advantages of the proposed method in this paper.     

基于多层次区块链的医疗数据共享模型

基于区块链的医疗数据共享能够有效地提升医疗数据的可信性,但是面临着链上存储容量有限、缺乏数据隐私保护等问题。针对这些问题,提出一个基于多层次区块链的医疗数据共享模型。对个人医疗数据进行加密后上传到链下的分布式存储中,并将数据索引信息上传到链上,利用多层次区块链协同技术和链上链下混合存储方式提高存储效率;引入差分隐私保护联邦学习中模型参数,提升数据的隐私安全。实验结果表明,相对于以太坊而言,该方案机构存储开销平均下降了60%左右,用户存储开销平均下降30%左右。