基于区块链的隐私保护可信联邦学习模型

基于联邦学习的智能边缘计算在物联网领域有广泛的应用前景.联邦学习是一种将数据存储在参与节点本地的分布式机器学习框架,可以有效保护智能边缘节点的数据隐私.现有的联邦学习通常将模型训练的中间参数上传至参数服务器实现模型聚合,此过程存在两方面问题:一是中间参数的隐私泄露,现有的隐私保护方案通常采用差分隐私给中间参数增加噪声,但过度加噪会降低聚合模型质量;另一方面,节点的自利性与完全自治化的训练过程可能导致恶意节点上传虚假参数或低质量模型,影响聚合过程与模型质量.基于此,本文将联邦学习中心化的参数服务器构建为去中心化的参数聚合链,利用区块链记录模型训练过程的中间参数作为证据,并激励协作节点进行模型参数验证,惩罚上传虚假参数或低质量模型的参与节点,以约束其自利性.此外,将模型质量作为评估依据,实现中间参数隐私噪声的动态调整以及自适应的模型聚合.原型搭建和仿真实验验证了模型的实用性,证实本模型不仅能增强联邦学习参与节点间的互信,而且能防止中间参数隐私泄露,从而实现隐私保护增强的可信联邦学习模型.     

基于区块链的工业物联网联邦学习系统架构

联邦学习是一种新兴的保护隐私的机器学习算法,它正在广泛应用于工业物联网(IIoT)中,在联邦学习中中心服务器协调多个客户端(如物联网设备)在本地训练模型,最后融合成一个全局模型.最近,区块链在工业物联网和联邦学习中得到了利用,以用来维护数据完整性和实现激励机制,吸引足够的客户数据和计算资源用于培训.然而,基于区块链的联邦学习系统缺乏系统的架构设计来支持系统化开发.此外,目前的解决方案没有考虑激励机制设计和区块链的可扩展性问题.因此,在本文中,我们提出了一个应用于工业物联网中基于区块链的联邦学习系统架构,在此架构中,每个客户端托管一个用于本地模型训练的服务器,并管理一个完整的区块链节点.为了实现客户端数据的可验证完整性,同时考虑到区块链的可扩展问题,因此每个客户端服务器会定期创建一个默克尔树,其中每个叶节点表示一个客户端数据记录,然后将树的根节点存储在区块链上.为了鼓励客户积极参与联邦学习,基于本地模型培训中使用的客户数据集大小,设计了一种链上激励机制,准确、及时地计算出每个客户的贡献.在实验中实现了提出的架构的原型,并对其可行性、准确性和性能进行了评估.结果表明,该方法维护了数据的完整性,并具有良好的预测精度和性能.     

基于区块链的隐私保护去中心化联邦学习模型

传统的联邦学习依赖一个中央服务器,模型训练过程易受单点故障和节点恶意攻击的影响,明文传递的中间参数也可能被用来推断出数据中的隐私信息.提出了一种基于区块链的去中心化、安全、公平的联邦学习模型,利用同态加密技术保护协同训练方的中间参数隐私,通过选举的联邦学习委员会进行模型聚合和协同解密.解密过程通过秘密共享方案实现安全的密钥管理,利用双线性映射累加器为秘密份额提供正确性验证.引入信誉值作为评估参与方可靠性的指标,利用主观逻辑模型实现不信任增强的信誉计算作为联邦学习委员会的选举依据,信誉值作为激励机制的参考还可以保障参与公平性.模型信息和信誉值通过区块链实现数据的防篡改和不可抵赖.实验表明,模型在训练准确率相比中心化学习模型略有损失的情况下,能够保障在多方协作的环境下以去中心化的方式训练模型,有效实现了各参与方的隐私保护.     

基于超级账本的集群联邦优化模型

联邦学习作为分布式机器学习框架,在数据不离开本地的情况下,通过共享模型参数达到协作训练的目标,一定程度上解决了隐私保护问题,但其存在中心参数服务器无法应对单点故障、潜在恶意客户端梯度攻击、客户端数据偏态分布导致训练性能低下等问题。将去中心化的区块链技术与联邦学习相结合,提出基于超级账本的集群联邦优化模型。以超级账本作为分布式训练的架构基础,客户端初始化后在本地训练向超级账本传输模型参数及分布信息,通过聚类优化联邦学习模型在客户端数据非独立同分布下的训练表现。在此基础上,随机选举客户端成为领导者,由领导者代替中央服务器的功能,领导者根据分布相似度和余弦相似度聚类并下载模型参数聚合,最后客户端获取聚合模型继续迭代训练。以EMNIST数据集为例,数据非独立同分布情况下该模型平均准确率为79.26%,较FedAvg提高17.26%,在保证准确率的前提下,较集群联邦学习训练至收敛的通信轮次减少36.3%。     

基于区块链构建安全去中心化的联邦学习方案

联邦学习甫一问世便得到了广泛的关注,被认为是一种具有广阔前景的分布式机器学习范式.然而,传统联邦学习方案基于中央服务器的集中式设计,在效率和可扩展性上存在不足.此外,集中式设计需要有可信的中央节点协调参与者完成训练,可能导致信任和可靠性的问题,例如中央服务器被操控或是出现单点故障.为了解决上述问题,相关领域的研究人员提出了基于区块链的去中心化联邦学习方案.去中心化联邦学习修补了传统集中式联邦学习的缺陷,但与此同时也引入了全新的攻击面.具体而言,由于区块链将网络中节点发起的全部事务保存在一个公开共享的数字账本,所有区块链节点都可以获取联邦学习参与者每轮的本地训练模型副本.这一现象严重地侵害了参与者的数据隐私和自身利益.在上述困境的驱动下,本文提出了一种安全去中心化联邦学习的可行方案,能够同时解决联邦学习参与者的数据机密性问题和学习公平性问题.区别于此前的研究工作,还提出了一种基于区块链的联邦学习的生产–消费模型,用于在模型安全聚合过程中审查参与者的本地行为,防止出现参与者不劳而获或是虚假训练的情况,在此基础上本文提出APoS共识机制,提供一种激励与审查机制,确保参与者在联邦学习的过程中倾...     

边缘计算下基于区块链的隐私保护联邦学习算法

针对在边缘计算（EC）场景下进行的联邦学习（FL）过程中存在的模型参数隐私泄露、不可信服务器可能返回错误的聚合结果以及参与训练的用户可能上传错误或低质量模型参数的问题,提出一种边缘计算下基于区块链的隐私保护联邦学习算法。在训练过程中,每个用户首先使用全局模型参数在其本地数据集上进行训练,并将训练得到的模型参数以秘密共享的方式上传至附近的边缘节点,从而实现对用户本地模型参数的保护;然后由边缘节点在本地计算它们所收到的模型参数的份额之间的欧氏距离,并将结果上传至区块链;最后由区块链负责对模型参数之间的欧氏距离进行重构,进而在去除有毒的更新后,再进行全局模型参数的聚合。通过安全分析证明了所提算法的安全性：即使在部分边缘节点合谋的情况下,用户的本地模型参数信息也不会泄露。同时实验结果表明该算法具有较高的准确率：在投毒样本比例为30%时,它的模型准确率为94.2%,接近没有投毒样本时的联邦平均（FedAvg）算法的模型准确率97.8%,而在投毒样本比例为30%时FedAvg算法的模型准确率下降至68.7%。     

区块链赋能多边缘安全联邦学习模型研究

联邦学习是一种革命性的深度学习模式,可以保护用户不暴露其私有数据,同时合作训练全局模型。然而某些客户端的恶意行为会导致单点故障以及隐私泄露的风险,使得联邦学习的安全性面临极大挑战。为了解决上述安全问题,在现有研究的基础上提出了一种区块链赋能多边缘联邦学习模型。首先,通过融合区块链替代中心服务器来增强模型训练过程的稳定性与可靠性;其次,提出了基于边缘计算的共识机制,以实现更加高效的共识流程;此外,将声誉评估融入到联邦学习训练流程中,能够透明地衡量每一个参与者的贡献值,规范工作节点的行为。最后通过对比实验证明,所提方案在恶意环境下仍然能够保持较高的准确度,与传统的联邦学习算法相比,该方案能够抵抗更高的恶意比例。     

融合联邦学习与区块链的医疗数据共享方案

随着医疗大数据的发展,医疗数据安全、个人隐私保护等问题日益突出。为在高效利用各个医疗机构医疗数据的同时保护病人的隐私,提出一种将联邦学习与区块链相结合的医疗数据共享与隐私保护方案。使用联邦学习对多源医疗数据进行建模,将训练的模型参数和医疗机构的声誉值存储于区块链上,并利用区块链对贡献高质量数据的医院进行奖励。通过分析数据源质量对联邦学习算法性能的影响,提出一种基于双重主观逻辑模型的声誉值计算算法来改进联邦学习的精确度,使用改进的声誉机制保证在数据共享中筛选数据源的效率,并利用区块链和联邦学习技术,提高共享效率和实现隐私保护。此外,利用Tensorflow搭建分布式平台并对算法性能进行对比分析,实验结果表明,所提方案能够筛选出高质量的数据源,减少边缘节点与恶意节点的交互时间,即使当声誉值在0.5以上时,也能达到0.857的学习精确度。     

基于同态加密的隐私保护与可验证联邦学习方案

Cross-silo联邦学习使客户端可以在不共享原始数据的情况下通过聚合本地模型更新来协作训练一个机器学习模型。然而研究表明,训练过程中传输的中间参数也会泄露原始数据隐私,且好奇的中央服务器可能为了自身利益伪造或篡改聚合结果。针对上述问题,文章提出一种抗合谋的隐私保护与可验证cross-silo联邦学习方案。具体地,对每个客户端中间参数进行加密以保护数据隐私,同时为增强系统安全性,结合秘密共享方案实现密钥管理和协同解密。此外,通过聚合签名进一步实现数据完整性和认证,并利用多项式承诺实现中央服务器聚合梯度的可验证性。安全性分析表明,该方案不仅能保护中间参数的隐私及验证数据完整性,而且能够确保聚合梯度的正确性。同时,性能分析表明,相比于现有同类方案,文章所提方案的通信开销显著降低。     

面向分层联邦学习的传输优化研究

与传统机器学习相比,联邦学习有效解决了用户数据隐私和安全保护等问题,但是海量节点与云服务器间进行大量模型交换,会产生较高的通信成本,因此基于云-边-端的分层联邦学习受到了越来越多的重视。在分层联邦学习中,移动节点之间可采用D2D、机会通信等方式进行模型协作训练,边缘服务器执行局部模型聚合,云服务器执行全局模型聚合。为了提升模型的收敛速率,研究人员对面向分层联邦学习的网络传输优化技术展开了研究。文中介绍了分层联邦学习的概念及算法原理,总结了引起网络通信开销的关键挑战,归纳分析了选择合适节点、增强本地计算、减少本地模型更新上传数、压缩模型更新、分散训练和面向参数聚合传输这6种网络传输优化方法。最后,总结并探讨了未来的研究方向。     

PPSS: A privacy-preserving secure framework using blockchain-enabled federated deep learning for Industrial IoTs

The growing reliance of industry 4.0/5.0 on emergent technologies has dramatically increased the scope of cyber threats and data privacy issues. Recently, federated learning (FL) based intrusion detection systems (IDS) promote the detection of large-scale cyber-attacks in resource-constrained and heterogeneous industrial systems without exposing data to privacy issues. However, the inherent characteristics of the latter have led to problems such as a trusted validation and consensus of the federation, unreliability, and privacy protection of model upload. To address these challenges, this paper proposes a novel privacy-preserving secure framework, named PPSS, based on the use of blockchain-enabled FL with improved privacy, verifiability, and transparency. The PPSS framework adopts the permissioned-blockchain system to secure multi-party computation as well as to incentivize cross-silo FL based on a lightweight and energy-efficient consensus protocol named Proof-of-Federated Deep-Learning (PoFDL). Specifically, we design two federated stages for global model aggregation. The first stage uses differentially private training of Stochastic Gradient Descent (DP-SGD) to enforce privacy protection of client updates, while the second stage uses PoFDL protocol to prove and add new model-containing blocks to the blockchain. We study the performance of the proposed PPSS framework using a new cyber security dataset (Edge-IIoT dataset) in terms of detection rate, precision, accuracy, computation, and energy cost. The results demonstrate that the PPSS framework system can detect industrial IIoT attacks with high classification performance under two distribution modes, namely, non-independent and identically distributed (Non-IID) and independent and identically distributed (IID).     

动态聚合权重的隐私保护联邦学习框架

在非可信中心服务器下的隐私保护联邦学习框架中,存在以下两个问题。(1)在中心服务器上聚合分布式学习模型时使用固定的权重,通常是每个参与方的数据集大小。然而,不同参与方具有非独立同分布的数据,设置固定聚合权重会使全局模型的效用无法达到最优。(2)现有框架建立在中心服务器是诚实的假定下,没有考虑中央服务器不可信导致的参与方的数据隐私泄露问题。为了解决上述问题,基于比较流行的DP-Fed Avg算法,提出了一种非可信中心服务器下的动态聚合权重的隐私保护联邦学习DP-DFL框架,其设定了一种动态的模型聚合权重,该方法从不同参与方的数据中直接学习联邦学习中的模型聚合权重,从而适用于非独立同分布的数据环境。此外,在本地模型隐私保护阶段注入噪声进行模型参数的隐私保护,满足不可信中心服务器的设定,从而降低本地参与方模型参数上传中的隐私泄露风险。在数据集CIFAR-10上的实验证明,DP-DFL框架不仅提供本地隐私保证,同时可以实现更高的准确率,相较DP-Fed Avg算法模型的平均准确率提高了2.09%。     

基于本地蒸馏联邦学习的鲁棒语音识别技术

当联邦学习（FL）算法应用于鲁棒语音识别任务时,为解决训练数据非独立同分布（Non-IID）与客户端模型缺乏个性化问题,提出基于个性化本地蒸馏的联邦学习（PLD-FLD）算法。客户端通过上行链路上传本地Logits并在中心服务器聚合后下传参数,当边缘端模型测试性能优于本地模型时,利用下载链路接收中心服务器参数,确保了本地模型的个性化与泛化性,同时将模型参数与全局Logits通过下行链路下传至客户端,实现本地蒸馏学习,解决了训练数据的Non-IID问题。在AISHELL与PERSONAL数据集上的实验结果表明,PLD-FLD算法能在模型性能与通信成本之间取得较好的平衡,面向军事装备控制任务的语音识别准确率高达91%,相比于分布式训练的FL和FLD算法具有更快的收敛速度和更强的鲁棒性。     

FedDAA: a robust federated learning framework to protect privacy and defend against adversarial attack

Federated learning (FL) has emerged to break data-silo and protect clients’ privacy in the field of artificial intelligence. However, deep leakage from gradient (DLG) attack can fully reconstruct clients’ data from the submitted gradient, which threatens the fundamental privacy of FL. Although cryptology and differential privacy prevent privacy leakage from gradient, they bring negative effect on communication overhead or model performance. Moreover, the original distribution of local gradient has been changed in these schemes, which makes it difficult to defend against adversarial attack. In this paper, we propose a novel federated learning framework with model decomposition, aggregation and assembling (FedDAA), along with a training algorithm, to train federated model, where local gradient is decomposed into multiple blocks and sent to different proxy servers to complete aggregation. To bring better privacy protection performance to FedDAA, an indicator is designed based on image structural similarity to measure privacy leakage under DLG attack and an optimization method is given to protect privacy with the least proxy servers. In addition, we give defense schemes against adversarial attack in FedDAA and design an algorithm to verify the correctness of aggregated results. Experimental results demonstrate that FedDAA can reduce the structural similarity between the reconstructed image and the original image to 0.014 and remain model convergence accuracy as 0.952, thus having the best privacy protection performance and model training effect. More importantly, defense schemes against adversarial attack are compatible with privacy protection in FedDAA and the defense effects are not weaker than those in the traditional FL. Moreover, verification algorithm of aggregation results brings about negligible overhead to FedDAA.     

提升联邦学习通信效率的梯度压缩算法

联邦学习通过聚合客户端训练的模型,保证数据留在客户端本地,从而保护用户隐私.由于参与训练的设备数目庞大,存在数据非独立同分布和通信带宽受限的情况.因此,降低通信成本是联邦学习的重要研究方向.梯度压缩是提升联邦学习通信效率的有效方法,然而目前常用的梯度压缩方法大多针对独立同分布的数据,未考虑联邦学习的特性.针对数据非独立同分布的联邦场景,本文提出了基于投影的稀疏三元压缩算法,通过在客户端和服务端进行梯度压缩,降低通信成本,并在服务端采用梯度投影的聚合策略以缓解客户端数据非独立同分布导致的不利影响.实验结果表明,本文提出的算法不仅提升了通信效率,而且在收敛速度和准确率上均优于现有的梯度压缩算法.     

联邦学习中的隐私保护技术

联邦学习是顺应大数据时代和人工智能技术发展而兴起的一种协调多个参与方共同训练模型的机制.它允许各个参与方将数据保留在本地,在打破数据孤岛的同时保证参与方对数据的控制权.然而联邦学习引入了大量参数交换过程,不仅和集中式训练一样受到模型使用者的威胁,还可能受到来自不可信的参与设备的攻击,因此亟需更强的隐私手段保护各方持有的...     

联邦学习可视化:挑战与框架

联邦学习是一种保证数据隐私安全的分布式机器学习方案.与传统的机器学习的可解释性问题类似,如何对联邦学习进行解释是一个新的挑战.文中面向联邦学习方法的分布式与隐私安全性的特性,探讨联邦学习的可视化框架设计.传统的可视化任务需要使用大量的数据,而联邦学习的隐私性决定了其无法获取用户数据.因此,可用的数据主要来自服务器端的训练过程,包括服务器端模型参数和用户训练状态.基于对联邦学习可解释性的挑战的分析,文中综合考虑用户、服务器端和联邦学习模型3个方面设计可视化框架,其包括经典联邦学习模型、数据中心、数据处理和可视分析4个模块.最后,介绍并分析了2个已有的可视化案例,对未来通用的联邦学习可视分析方法提出了展望.     

基于数据分布的聚类联邦学习

联邦学习(federated learning)可以解决分布式机器学习中基于隐私保护的数据碎片化和数据隔离问题。在联邦学习系统中,各参与者节点合作训练模型,利用本地数据训练局部模型,并将训练好的局部模型上传到服务器节点进行聚合。在真实的应用环境中,各节点之间的数据分布往往具有很大差异,导致联邦学习模型精确度较低。为了解决非独立同分布数据对模型精确度的影响,利用不同节点之间数据分布的相似性,提出了一个聚类联邦学习框架。在Synthetic、CIFAR-10和FEMNIST标准数据集上进行了广泛实验。与其他联邦学习方法相比,基于数据分布的聚类联邦学习对模型的准确率有较大提升,且所需的计算量也更少。     

基于1‑bit压缩感知的高效无线联邦学习算法

在无线联邦学习（FL）的架构中,用户端与服务器端之间需要持续交换模型参数数据来实现模型的更新,因此会对用户端造成较大的通信开销和功率消耗。目前已经有多种通过数据量化以及数据稀疏化来降低通信开销的方法。为了进一步降低通信开销,提出了一种基于1?bit压缩感知的无线FL算法。在无线FL架构的上行链路中,这种算法首先在用户端记录其本地模型数据的更新参数,包括更新幅值和趋势;接着对幅值和趋势信息进行稀疏化,并确定更新所需的阈值;最后对更新趋势信息进行1?bit压缩感知,从而压缩上行数据。在此基础上,通过设置动态阈值的方法进一步压缩数据大小。在MNIST数据集上的实验结果表明：引入动态阈值的1?bit压缩感知过程能够获得与无损传输过程相同的效果,在FL应用的上行通信过程中能将用户端需要传输的模型参数数据量降低至不采用该方法的标准FL过程的1/25;而在全局模型训练到相同水平时,能将用户上传数据总大小降低至原来的2/11,将传输能耗降低至原来的1/10。