自适应异构联邦学习

目的 模型异构联邦学习由于允许参与者在不损害隐私的情况下独立设计其独特模型而受到越来越多的关注。现有的方法通常依赖于公共共享的相关数据或全局模型进行通信,极大地限制了适用性。且每个参与者的私有数据通常以不同的分布收集,导致数据异构问题。为了同时处理模型异构和数据异构,本文提出了一种新颖的自适应异构联邦学习方法。方法 给定一个随机生成的输入信号（例如,随机噪声）,自适应异构联邦学习直接通过对齐输出逻辑层分布来实现异构模型之间的通信,实现协作知识共享。主要优势是在不依赖额外相关数据收集或共享模型设计的情况下解决了模型异构问题。为了进一步解决数据异构问题,本文提出了在模型和样本层面上进行自适应权重更新。因此,自适应异构联邦学习（adaptive heteogeneous federated learning,AHF）允许参与者通过模型输出在无关数据上的差异和强调“有意义”的样本来学习丰富多样的知识。结果 通过在不同的联邦学习任务上使用随机噪声输入进行通信,进行了广泛的实验,显示出比竞争方法更高的域内精确度和更好的跨域泛化性能。结论 本文方法提供了一个简单而有效的基准,为异构联邦学习的未来发展奠定基础。     

面向数据异构的联邦学习性能优化研究

参与联邦学习的客户端只需在各自的本地数据集上训练本地模型,并在服务器上聚合全局模型.然而,数据异构会导致本地模型与全局最优模型收敛方向不一致,影响全局模型性能.现有工作主要集中在直接与全局模型做趋同,并未考虑全局模型合理性.本文研究了一种基于局部模型偏移的性能优化方案,本地训练过程中结合所有客户端模型关键参数,提高全局聚合模型可信度.具体来说,计算待训练模型与其他客户端模型参数差值,然后乘以其他客户端梯度,将结果作为正则项加入本地损失函数,从而抑制局部模型偏移.实验结果表明,该方案在MNIST,FMNIST,CIFAR上的图像识别正确率方面优于现有方法5个百分点以上.     

基于联邦学习的多源异构数据融合算法

随着科技的迅猛发展,具有计算和存储能力的边缘设备数量不断增加,产生的数据流量更是呈指数式增长,这使得以云计算为核心的集中式处理模式难以高效处理边缘设备产生的数据.另外,由于边缘网络设备的多样性以及数据表示手段的不断丰富,多模态数据广泛存在.为充分利用边缘设备上的异构数据,解决边缘计算中由于数据隐私引起的“数据通信壁垒”问题,提出了一种联邦学习中基于Tucker分解的多源异构数据融合算法.该算法针对异构数据在无交互条件下的融合问题,引入张量Tucker分解理论,通过构建一个具有异构空间维度特性的高阶张量以捕捉异构数据的高维特征,从而实现联邦学习中多源异构数据的融合.最后,在MOSI数据集上验证了算法的有效性.     

面向通信成本优化的联邦学习算法

联邦学习是一种能够保护数据隐私的机器学习设置,然而高昂的通信成本和客户端的异质性问题阻碍了联邦学习的规模化落地。针对这两个问题,提出一种面向通信成本优化的联邦学习算法。首先,服务器接收来自客户端的生成模型并生成模拟数据;然后,服务器利用模拟数据训练全局模型并将其发送给客户端,客户端利用全局模型进行微调后得到最终模型。所提算法仅需要客户端与服务器之间的一轮通信,并且利用微调客户端模型来解决客户端异质性问题。在客户端数量为20个时,在MNIST和CIFAR-10这两个数据集上进行了实验。结果表明,所提算法能够在保证准确率的前提下,在MNIST数据集上将通信的数据量减少至联邦平均（FedAvg）算法的1/10,在CIFAR-10数据集上将通信数据量减少至FedAvg算法的1/100。     

一种面向云边端系统的分层异构联邦学习方法

联邦学习(federated learning)通过用上传模型参数的方式取代了数据传输,降低了隐私泄露的风险.然而,将联邦学习应用到云边端框架下时,一方面,由于云边端存在边缘和终端两层分布式框架,对传统的单层联邦学习提出挑战;另一方面,终端节点因资源异构难以训练相同复杂度的模型,无法满足联邦学习客户端统一模型的假设.针对上述第1个问题,从传统的单层联邦学习方法出发,设计了面向云边端分层部署模型的联邦学习方案;针对第2个问题,通过在终端模型插入分支的方式,将大模型拆分为不同复杂度的小模型适配不同客户端资源状态,从而实现异构联邦学习.同时,考虑到终端存在大量无标签数据无法进行有效模型训练的问题,还提出了针对联邦框架的半监督学习方法,实现对无标签数据的有效利用.最终,通过MNIST和FashionMNIST数据集对方法进行了验证.实验结果表明,在有效避免隐私泄露的前提下,相比于其他同构和异构学习方法,所提方法最大可提升22%的模型准确率;在计算、通信、存储等资源开销上均有明显降低.     

非独立同分布数据下联邦学习算法中优化器的对比分析

在联邦学习环境中选取适宜的优化器是提高模型性能的有效途径, 尤其在数据高度异构的情况下. 本文选取FedAvg算法与FedALA算法作为主要研究对象, 并提出其改进算法pFedALA. pFedALA通过令客户端在等待期间继续本地训练, 有效降低了由于同步需求导致的资源浪费. 在此基础上, 本文重点分析这3种算法中优化器的作用, 通过在MNIST和CIFAR-10数据集上测试, 比较了SGD、Adam、ASGD以及AdaGrad等多种优化器在处理非独立同分布(Non-IID)、数据不平衡时的性能. 其中重点关注了基于狄利克雷分布的实用异构以及极端的异构数据设置. 实验结果表明: 1) pFedALA算法呈现出比FedALA算法更优的性能, 表现为其平均测试准确率较FedALA提升约1%; 2)传统单机深度学习环境中的优化器在联邦学习环境中表现存在显著差异, 与其他主流优化器相比, SGD、ASGD与AdaGrad优化器在联邦学习环境中展现出更强的适应性和鲁棒性.     

非独立同分布场景下的联邦学习优化方法

联邦学习能够在不泄露数据隐私的情况下合作训练全局模型,但这种协作式的训练方式在现实环境下面临参与方数据非独立同分布（Non-IID）的挑战：模型收敛慢、精度降低的问题。许多现有的联邦学习方法仅从全局模型聚合和本地客户端更新中的一个角度进行改进,难免会引发另一角度带来的影响,降低全局模型的质量。提出一种分层持续学习的联邦学习优化方法（FedMas）。FedMas基于分层融合的思想,首先,采用客户端分层策略,利用DBSCAN算法将相似数据分布的客户端划分到不同的层中,每次仅挑选某个层的部分客户端进行训练,避免服务器端全局模型聚合时因数据分布不同产生的权重分歧现象;进一步,由于每个层的数据分布不同,客户端在局部更新时结合持续学习灾难性遗忘的解决方案,有效地融合不同层客户端数据间的差异性,从而保证全局模型的性能。在MNIST和CIFAR-10标准数据集上的实验结果表明,FedMas与FedProx、Scaffold和FedCurv联邦学习算法相比,全局模型测试准确率平均提高0.3～2.2个百分点。     

一种解决数据异构问题的联邦学习方法

联邦学习是一种不通过中心化的数据训练就能获得机器学习模型的系统,源数据不出本地,降低了隐私泄露的风险,同时本地也获得优化训练模型。但是由于各节点之间的身份、行为、环境等不同,导致不平衡的数据分布可能引起模型在不同设备上的表现出现较大偏差,从而形成数据异构问题。针对上述问题,提出了基于节点优化的数据共享模型参数聚类算法,将聚类和数据共享同时应用到联邦学习系统中,该方法既能够有效地减少数据异构对联邦学习的影响,也加快了本地模型收敛的速度。同时,设计了一种评估全局共享模型收敛程度的方法,用于判断节点聚类的时机。最后,采用数据集EMNIST、CIFAR-10进行了实验和性能分析,验证了共享比例大小对各个节点收敛速度、准确率的影响,并进一步分析了当聚类与数据共享同时应用到联邦学习前后各个节点的准确率。实验结果表明,当引入数据共享后各节点的收敛速度以及准确率都有所提升,而当聚类与数据共享同时引入到联邦学习训练后,与FedAvg算法对比,其准确度提高10%～15%,表明了该方法针对联邦学习数据异构问题上有着良好的效果。     

改进的联邦加权平均算法

针对基于层次分析改进的联邦平均算法在计算其数据质量时存在主观因素的影响,提出改进的联邦加权平均算法,从数据质量的角度来处理多源数据。首先,将训练样本划分为预训练样本与预测试样本;然后,使用初始全局模型在预训练数据上的精度作为该数据源的质量权重;最后,将质量权重引入到联邦平均算法中,重新进行全局模型中权重更新。仿真结果表明,在均等分割的数据集与非均等分割的数据集上,改进的联邦加权平均算法训练的模型与传统联邦平均算法训练的模型相比,准确率最高分别提升了1.59%和1.24%;改进的联邦加权平均算法训练的模型与传统整合多方数据再训练的模型相比,虽然准确率略有下降,但数据与模型的安全性有所提升。     

面向风电场景的联邦学习平台高性能通信优化

风能作为清洁能源为改善我国能源结构发挥着越来越重要的作用. 风电场机组及设备的数据可能会包含机组或风场的隐私敏感信息, 这些隐私数据一旦被泄露, 将会为风电场带来巨大的经济风险和法律风险. 联邦学习作为重要的隐私计算手段, 能够保证原始数据不出本地的情况下完成模型的建模和推理, 实现各参与方在互不泄露隐私的前提下实现联合计算, 从而有效应对风电数据分析面临的挑战. 但是, 联邦学习计算过程中存在大量的通信开销, 这成为限制联邦学习技术在风电场景下应用的关键性能瓶颈. 因此, 本文以经典的联邦学习算法XGBoost为例, 深入分析了联邦学习计算过程中的通信问题, 提出采用RDMA作为底层传输协议的解决方案, 设计并实现了一套高性能联邦学习平台通信库, 有效提升了联邦学习系统的性能.     

面向隐私安全的联邦决策树算法

根据用户信息进行资质审查是金融领域的一项重要业务,银行等机构由于用户数据不足和隐私安全等原因,无法训练高性能的违约风险评估模型,从而无法对用户进行精准预测.因此,为了解决数据不共享情况下的联合建模问题,本文提出一种基于联邦学习的决策树算法FL-DT(Federated Learning-Decision Tree).首...     

基于代理选举的高效异构联邦学习方法

物联网多样性终端设备在计算、存储、通信方面的异构性导致联邦学习效率不足。针对上述联邦训练过程中面临的问题,基于代理选举思路,提出了一种高效联邦学习算法。设计了基于马氏距离的代理节点选举策略,将设备的计算能力与闲置时长作为选举因素,选举性价比高的设备作为代理节点,充分发挥设备计算能力。进一步设计了基于代理节点的新型云边端联邦学习架构,提升了异构设备之间的联邦学习效率。基于MNIST和CIFAR-10公开数据集与智能家居设备真实数据的实验表明,该联邦学习方法的效率提高了22%。     

联邦学习在高度数据异构场景下的泛化鲁棒性增强

联邦学习(federated learning, FL)是一种以保护客户隐私数据为中心的分布式处理网络,为解决隐私泄露问题提供了前景良好的解决方案.然而, FL的一个主要困境是高度非独立同分布(nonindependent and identically distributed, non-IID)的数据会导致全局模型性能很差.尽管相关研究已经探讨了这个问题,但本文发现当面对non-IID数据、不稳定的客户端参与以及深度模型时,现有方案和标准基线FedAvg相比,只有微弱的优势或甚至更差,因此严重阻碍了FL的隐私保护应用价值.为解决这个问题,本文提出了一种对non-IID数据鲁棒的优化方案:FedUp.该方案在保留FL隐私保护特点的前提下,进一步提升了全局模型的泛化鲁棒性. FedUp的核心思路是最小化全局经验损失函数的上限来保证模型具有低的泛化误差.大量仿真实验表明, FedUp显著优于现有方案,并对高度non-IID数据以及不稳定和大规模客户端的参与具有鲁棒性.     

面向分层联邦学习的传输优化研究

与传统机器学习相比,联邦学习有效解决了用户数据隐私和安全保护等问题,但是海量节点与云服务器间进行大量模型交换,会产生较高的通信成本,因此基于云-边-端的分层联邦学习受到了越来越多的重视。在分层联邦学习中,移动节点之间可采用D2D、机会通信等方式进行模型协作训练,边缘服务器执行局部模型聚合,云服务器执行全局模型聚合。为了提升模型的收敛速率,研究人员对面向分层联邦学习的网络传输优化技术展开了研究。文中介绍了分层联邦学习的概念及算法原理,总结了引起网络通信开销的关键挑战,归纳分析了选择合适节点、增强本地计算、减少本地模型更新上传数、压缩模型更新、分散训练和面向参数聚合传输这6种网络传输优化方法。最后,总结并探讨了未来的研究方向。     

面向区块链的在线联邦增量学习算法

针对传统数据处理技术存在模型过时、泛化能力减弱以及并未考虑多源数据安全性的问题,提出一种面向区块链的在线联邦增量学习算法.该算法将集成学习与增量学习应用到联邦学习的框架下,使用stacking集成算法来整合多方本地模型,且将模型训练阶段的模型参数上传至区块链并快速同步,使得在建立的全局模型准确率仅下降1％的情况下,模型...     

面向多层无线边缘环境下的联邦学习通信优化的研究

现有的联邦学习模型同步方法大多基于单层的参数服务器架构,难以适应当前异构无线网络场景,同时存在单点通信负载过重、系统延展性差等问题.针对这些问题,文中提出了一种面向边缘混合无线网络的联邦学习高效模型同步方法.在混合无线网络环境中,边缘移动终端将本地模型传输给附近的小型基站,小型基站收到边缘移动终端模型后执行聚合算法,并...     

基于多目标优化的联邦学习进化算法

传统联邦学习存在通信成本高、结构异构、隐私保护力度不足的问题,为此提出了一种联邦学习进化算法,应用稀疏进化训练算法降低通信成本,结合本地化差分隐私保护参与方隐私,同时采用NSGA-Ⅲ算法优化联邦学习全局模型的网络结构、稀疏性,调整数据可用性与隐私保护之间的关系,实现联邦学习全局模型有效性、通信成本和隐私性的均衡。不稳定通信环境下的实验结果表明,在MNIST和CIFAR-10数据集上,与FNSGA-Ⅲ算法错误率最低的解相比,该算法所得解的通信效率分别提高57.19%和52.17%,并且参与方实现了（3.46,10-4）和（6.52,10-4）-本地化差分隐私。在不严重影响全局模型准确率的前提下,该算法有效降低了联邦学习的通信成本并保护了参与方隐私。     

一种鲁棒的半监督联邦学习系统

联邦学习允许边缘设备或客户端将数据存储在本地来合作训练共享的全局模型。主流联邦学习系统通常基于客户端本地数据有标签这一假设,然而客户端数据一般没有真实标签,且数据可用性和数据异构性是联邦学习系统面临的主要挑战。针对客户端本地数据无标签的场景,设计一种鲁棒的半监督联邦学习系统。利用FedMix方法分析全局模型迭代之间的隐式关系,将在标签数据和无标签数据上学习到的监督模型和无监督模型进行分离学习。采用FedLoss聚合方法缓解客户端之间数据的非独立同分布（non-IID）对全局模型收敛速度和稳定性的影响,根据客户端模型损失函数值动态调整局部模型在全局模型中所占的权重。在CIFAR-10数据集上的实验结果表明,该系统的分类准确率相比于主流联邦学习系统约提升了3个百分点,并且对不同non-IID水平的客户端数据更具鲁棒性。     

异构总线网络的可分负载优化调度算法

研究了异构总线网络的负载优化调度问题,详细讨论了处理机选择、任务分配顺序和各处理机分配任务数量。结论表明：通过按照处理机速度递减的顺序配置处理机,并据此分配相应的任务,即可实现负载的优化调度。