基于相似度加速的自适应聚类联邦学习

为了解决联邦学习过程中数据异质性导致模型性能下降的问题,考虑对联邦模型个性化,提出了一种新的基于相似度加速的自适应聚类联邦学习（ACFL）算法,基于客户端本地更新的几何特性和客户端联邦时的正向反馈实现自适应加速聚类,将客户端划分到不同任务簇,同簇中数据分布相似的客户端协同实现聚类联邦学习（CFL）,从而提升模型性能。该算法不需要先验确定类簇数量和迭代划分客户端,在避免现有基于聚类的联邦算法计算成本过高、收敛速度慢等问题的同时保证了模型性能。在常用数据集上使用深度卷积神经网络验证了ACFL的有效性。结果表明,所提算法性能与聚类联邦学习算法相当,优于传统的迭代联邦聚类算法（IFCA）,且具有更快的收敛速度。     

基于联邦学习的隐私保护区域交通流量预测模型

区域交通流量预测是智慧交通系统的一项重要功能。联邦学习可以支持多位置服务提供商(Location Service Provider, LSP)的联合训练,使得训练数据集可以更加全面地覆盖整个区域的交通流量,提高预测准确率。但是,当前基于联邦学习的区域交通流量预测方案存在车辆数据去重、训练节点背叛以及隐私泄露等问题。为此,构建了基于联邦学习的隐私保护区域交通流量预测(Privacy-Preserving Regional Traffic Flow Prediction based on Federated Learning, PPRTFP-FL)模型。模型采用中心部署架构,由联邦中央服务器协调各个LSP联合完成模型的训练,并对全局模型进行梯度聚合与模型更新;采用交叉评价加权聚合的策略来防御部分不可信节点对全局模型的恶意攻击,提升了全局模型的鲁棒性;预测阶段使用同态加密聚合算法,各LSP在不泄露自身运营数据的情况下实现了更准确的流量预测。利用相关数据集进行测试,测试结果表明当训练数据集覆盖区域流量充分的情况下,本模型相比本地模型的预测准确率有明显的提升。对模型进行不同比例的恶意节点攻击实验...     

基于生成模型的联邦学习隐私保护算法

在联邦学习中,交换模型参数或梯度信息通常被视作是安全的。但近期研究表明,模型参数或者梯度信息也会导致训练数据的泄露。基于保护客户端数据安全的目的,提出了一种基于生成模型的联邦学习算法。为了验证该算法的有效性,在DermaMNIST数据集上进行了仿真实验,采用梯度泄露攻击对算法进行验证。实验结果表明,提出的基于生成模型的联邦学习算法与联邦学习经典算法在准确率上仅仅相差0.02%,并且通过MSE、PSNR、SSIM等评价指标可以判断出该算法可以有效地保护数据隐私。     

一种基于合同理论的可激励联邦学习模型

针对目前较少研究去中心化联邦学习中的激励机制设计,且已有联邦学习激励机制较少以全局模型效果为出发点的现状,该文为去中心化联邦学习加入了基于合同理论的联邦学习激励机制,提出一种新的可激励的联邦学习模型。使用区块链与星际文件系统(IPFS)取代传统联邦学习的中央服务器,用于模型参数存储与分发,在此基础上使用一个合同发布者来负责合同的制定和发布,各个联邦学习参与方结合本地数据质量选择签订合同。每轮本地训练结束后合同发布者将对各个本地训练模型进行评估,若满足签订合同时约定的奖励发放条件则发放相应的奖励,同时全局模型的聚合也基于奖励结果进行模型参数的聚合。通过在MNIST数据集以及行业用电量数据集上进行实验验证,相比于传统联邦学习,加入激励机制后的联邦学习训练得到的全局模型效果更优,同时去中心化的结构也提高了联邦学习的鲁棒性。     

一种面向联邦学习对抗攻击的选择性防御策略

联邦学习(FL)基于终端本地的学习以及终端与服务器之间持续地模型参数交互完成模型训练,有效地解决了集中式机器学习模型存在的数据泄露和隐私风险。但由于参与联邦学习的多个恶意终端能够在进行本地学习的过程中通过输入微小扰动即可实现对抗性攻击,并进而导致全局模型输出不正确的结果。该文提出一种有效的联邦防御策略-SelectiveFL,该策略首先建立起一个选择性联邦防御框架,然后通过在终端进行对抗性训练提取攻击特性的基础上,在服务器端对上传的本地模型更新的同时根据攻击特性进行选择性聚合,最终得到多个适应性的防御模型。该文在多个具有代表性的基准数据集上评估了所提出的防御方法。实验结果表明,与已有研究工作相比能够提升模型准确率提高了2%～11%。     

FastProtector：一种支持梯度隐私保护的高效联邦学习方法

联邦学习存在来自梯度的参与方隐私泄露,现有基于同态加密的梯度保护方案产生较大时间开销且潜在参与方与聚合服务器合谋导致梯度外泄的风险,为此,该文提出一种新的联邦学习方法FastProtector,在采用同态加密保护参与方梯度时引入符号随机梯度下降(SignSGD)思想,利用梯度中正负的多数决定聚合结果也能使模型收敛的特性,量化梯度并改进梯度更新机制,降低梯度加密的开销;同时给出一种加性秘密共享方案保护梯度密文以抵抗恶意聚合服务器和参与方之间共谋攻击;在MNIST和CIFAR-10数据集上进行了实验,结果表明所提方法在降低80%左右加解密总时间的同时仍可保证较高的模型准确率。     

基于同态加密的高效安全联邦学习聚合框架

为了解决联邦学习数据安全以及加密后通信开销大等问题，提出了一种基于同态加密的高效安全联邦聚合框架。在联邦学习过程中，用户数据的隐私安全问题亟须解决，然而在训练过程中采用加密方案带来的计算和通信开销又会影响训练效率。在既要保护数据安全又要保证训练效率的情况下，首先，采用Top-K梯度选择方法对模型梯度进行筛选，减少了需要上传的梯度数量，提出适合多边缘节点的候选量化协议和安全候选索引合并算法，进一步降低通信开销、加速同态加密计算。其次，由于神经网络每层模型参数具有高斯分布的特性，对选择的模型梯度进行裁剪量化，并采用梯度无符号量化协议以加速同态加密计算。最后，实验结果表明，在联邦学习的场景下，所提框架既保证了数据隐私安全，又具有较高的准确率和高效的性能。     

一种提高联邦学习准确度的算法

联邦学习可以使客户端在不公开其本地数据的情况下合作训练一个共享模型,此种学习方式保证了客户端数据的隐私性。但是,与集中式学习相比,客户端数据的异构性会大大降低联邦学习的性能。数据异构使本地训练的模型向不同方向更新,导致聚合后的全局模型性能较差。为了缓解数据异构对联邦学习造成的影响,算法提出了基于模型对比和梯度投影的联邦学习算法。此算法设计了一个新的损失函数。新损失函数利用全局模型与本地模型的差异性来指导本地模型的更新方向,并且通过降低全局梯度与本地梯度的冲突来提高模型准确度。实验表明相比其他算法,此算法可以在不增加任何通信开销的情况下达到更高的准确度。     

基于类簇合并的无参数密度峰值聚类算法

密度峰值聚类算法（DPC）通过决策图直观地找到类簇中心进而完成聚类,是一种简单高效的聚类算法。然而,DPC算法的截断距离和类簇中心都是人为确定的,受主观影响较大,具有不确定性。针对上述问题,提出一种基于类簇合并的无参数密度峰值聚类算法（NDPCCM）。首先根据样本点两两之间的相似度的分布特征将其分为类内相似度和类间相似度两种类型,并利用类内相似度自动确定截断相似度,避免了人为设置参数;接着根据簇中心权值的下降趋势自动选择初始类簇中心,得到初始类簇;最后通过合并初始类簇对初步聚类结果进行优化,提高了聚类的准确性。在人工数据集和UCI真实数据集上,将所提算法与DPC、DBSCAN、K-means算法进行对比实验。结果表明所提算法无需输入参数就能够自动得到类簇,且聚类性能优于其他算法。     

基于联邦学习的本地化差分隐私机制研究

联邦学习与群体学习作为当前热门的分布式机器学习范式，前者能够保护用户数据不被第三方获得的前提下在服务器中实现模型参数共享计算，后者在无中心服务器的前提下利用区块链技术实现所有用户同等地聚合模型参数。但是，通过分析模型训练后的参数，如深度神经网络训练的权值，仍然可能泄露用户的隐私信息。目前，在联邦学习下运用本地化差分隐私(LDP)保护模型参数的方法层出不穷，但皆难以在较小的隐私预算和用户数量下缩小模型测试精度差。针对此问题，该文提出正负分段机制(PNPM)，在聚合前对本地模型参数进行扰动。首先，证明了该机制满足严格的差分隐私定义，保证了算法的隐私性；其次分析了该机制能够在较少的用户数量下保证模型的精度，保证了机制的有效性；最后，在3种主流图像分类数据集上与其他最先进的方法在模型准确性、隐私保护方面进行了比较，表现出了较好的性能。     

AccFed:物联网中基于模型分割的联邦学习加速

随着物联网(IoT)的快速发展,人工智能(AI)与边缘计算(EC)的深度融合形成了边缘智能(Edge AI)。但由于IoT设备计算与通信资源有限,并且这些设备通常具有隐私保护的需求,那么在保护隐私的同时,如何加速Edge AI仍然是一个挑战。联邦学习(FL)作为一种新兴的分布式学习范式,在隐私保护和提升模型性能等方面,具有巨大的潜力,但是通信及本地训练效率低。为了解决上述难题,该文提出一种FL加速框架AccFed。首先,根据网络状态的不同,提出一种基于模型分割的端边云协同训练算法,加速FL本地训练;然后,设计一种多轮迭代再聚合的模型聚合算法,加速FL聚合;最后实验结果表明,AccFed在训练精度、收敛速度、训练时间等方面均优于对照组。     

一种基于优化引导的无线联邦学习异步训练机制

针对在数据异构和资源异构的无线网络中联邦学习训练效率低及训练能耗高的问题,面向图像识别任务,提出了基于优化引导的异步联邦学习算法AFedGuide。利用较高样本多样性的客户端模型的引导作用,提高单轮聚合有效性。采用基于训练状态的模型增量异步更新机制,提高模型更新实时性以及信息整合能力。设计基于模型差异性的训练决策,修正优化方向。仿真结果显示,相较于对比算法,AFedGuide的训练时长平均减少67.78%,系统能耗平均节省65.49%,客户端的准确率方差平均减少25.5%,说明在客户端数据异构和资源异构的无线网络下,AFedGuide可以在较短的训练时间内以较小的训练能耗完成训练目标,并维持较高的训练公平性和模型适用性。     

FedCDR: Privacy-preserving federated cross-domain recommendation

Cross-Domain Recommendation (CDR) aims to solve data sparsity and cold-start problems by utilizing a relatively information-rich source domain to improve the recommendation performance of the data-sparse target domain. However, most existing approaches rely on the assumption of centralized storage of user data, which undoubtedly poses a significant risk of user privacy leakage because user data are highly privacy-sensitive. To this end, we propose a privacy-preserving Federated framework for Cross-Domain Recommendation, called FedCDR. In our method, to avoid leakage of user privacy, a general recommendation model is trained on each user's personal device to obtain embeddings of users and items, and each client uploads weights to the central server. The central server then aggregates the weights and distributes them to each client for updating. Furthermore, because the weights implicitly contain private information about the user, local differential privacy is adopted for the gradients before uploading them to the server for better protection of user privacy. To distill the relationship of user embedding between two domains, an embedding transformation mechanism is used on the server side to learn the cross-domain embedding transformation model. Extensive experiments on real-world datasets demonstrate that our method achieves performance comparable with that of existing data-centralized methods and effectively protects user privacy.     

Safeguarding cross-silo federated learning with local differential privacy

Federated Learning (FL) is a new computing paradigm in privacy-preserving Machine Learning (ML), where the ML model is trained in a decentralized manner by the clients, preventing the server from directly accessing privacy-sensitive data from the clients. Unfortunately, recent advances have shown potential risks for user-level privacy breaches under the cross-silo FL framework. In this paper, we propose addressing the issue by using a three-plane framework to secure the cross-silo FL, taking advantage of the Local Differential Privacy (LDP) mechanism. The key insight here is that LDP can provide strong data privacy protection while still retaining user data statistics to preserve its high utility. Experimental results on three real-world datasets demonstrate the effectiveness of our framework.     

Federated learning-based privacy-preserving electricity load forecasting scheme in edge computing scenario

In the era of big data, massive amounts of data hold great value. However, much data exists as isolated islands, and the maximum value of the data cannot be fully utilized. Federated learning allows each client to train local data and then share the training model parameters securely, which can address the isolated data island problem and exploit data value while ensuring data privacy and security. Accordingly, in order to securely complete the electric power load forecasting using existing data, this paper constructs a federated learning-based privacy-preserving scheme to support electricity load forecasting in edge computing scenarios. To address the problems of the data-isolated islands and data privacy in electric power systems, this paper proposes a decentralized distributed solution based on the federated learning technique. Our scheme achieves electricity load forecasting for power systems through the federated learning-based framework and uses edge computing architecture to improve real-time data capability and reduce network latency. For the hierarchical scheduling structure in power systems, we divide the system into a cloud-side-device three-layer architecture, which achieves structural coordination and balance, and each layer collects information according to the scheduling control tasks, promoting scheduling effectiveness. Finally, different privacy protection methods are used on the cloud-edge and edge-device sides to significantly enhance data security. Moreover, We have conducted extensive experimental simulations for our proposed scheme. The experimental results show that the relative error of electricity load forecasting is around 1.580%. Meanwhile, our scheme achieves high accuracy and low memory usage. The security analysis proves the feasibility and security of our scheme.     

基于自适应梯度压缩的高效联邦学习通信机制研究

针对物联网(IoTs)场景下,联邦学习(FL)过程中大量设备节点之间因冗余的梯度交互通信而带来的不可忽视的通信成本问题,该文提出一种阈值自适应的梯度通信压缩机制。首先,引用了一种基于边缘-联邦学习的高效通信(CE-EDFL)机制,其中边缘服务器作为中介设备执行设备端的本地模型聚合,云端执行边缘服务器模型聚合及新参数下发。其次,为进一步降低联邦学习检测时的通信开销,提出一种阈值自适应的梯度压缩机制(ALAG),通过对本地模型梯度参数压缩,减少设备端与边缘服务器之间的冗余通信。实验结果表明,所提算法能够在大规模物联网设备场景下,在保障深度学习任务完成准确率的同时,通过降低梯度交互通信次数,有效地提升了模型整体通信效率。     

Review on application progress of federated learning model and security hazard protection

Federated learning is a new type of distributed learning framework that allows multiple participants to share training results without revealing their data privacy. As data privacy becomes more important, it becomes difficult to collect data from multiple data owners to make machine learning predictions due to the lack of data security. Data is forced to be stored independently between companies, creating “data silos”. With the goal of safeguarding data privacy and security, the federated learning framework greatly expands the amount of training data, effectively improving the shortcomings of traditional machine learning and deep learning, and bringing AI algorithms closer to our reality. In the context of the current international data security issues, federated learning is developing rapidly and has gradually moved from the theoretical to the applied level. The paper first introduces the federated learning framework, analyzes its advantages, reviews the results of federated learning applications in industries such as communication and healthcare, then analyzes the pitfalls of federated learning and discusses the security issues that should be considered in applications, and finally looks into the future of federated learning and the application layer.     

基于隐私同态数据融合的完整性验证协议

在无线传感器网络中的安全数据融合能够有效防止隐私泄露和数据篡改等问题,并实现高效的数据传输。由此提出一种基于隐私同态数据融合的完整性验证协议IV-PHDA。该协议采用同态加密保证数据隐私性;利用随机检测节点对节点聚合结果的完整性进行检测,以验证聚合节点是否忠实地传输每个数据分组。通过理论分析和仿真对比,对其算法的性能进行验证,结果表明,该协议能够在网络传输的过程中检测数据的完整性,并且实现较好的隐私保护和较高的数据精确度。