基于本地蒸馏联邦学习的鲁棒语音识别技术

当联邦学习（FL）算法应用于鲁棒语音识别任务时,为解决训练数据非独立同分布（Non-IID）与客户端模型缺乏个性化问题,提出基于个性化本地蒸馏的联邦学习（PLD-FLD）算法。客户端通过上行链路上传本地Logits并在中心服务器聚合后下传参数,当边缘端模型测试性能优于本地模型时,利用下载链路接收中心服务器参数,确保了本地模型的个性化与泛化性,同时将模型参数与全局Logits通过下行链路下传至客户端,实现本地蒸馏学习,解决了训练数据的Non-IID问题。在AISHELL与PERSONAL数据集上的实验结果表明,PLD-FLD算法能在模型性能与通信成本之间取得较好的平衡,面向军事装备控制任务的语音识别准确率高达91%,相比于分布式训练的FL和FLD算法具有更快的收敛速度和更强的鲁棒性。     

基于AP聚类算法的联邦学习聚合算法

在传统的联邦学习中,多个客户端的本地模型由其隐私数据独立训练,中心服务器通过聚合本地模型生成共享的全局模型。然而,由于非独立同分布（Non-IID）数据等统计异质性,一个全局模型往往无法适应每个客户端。为了解决这个问题,本文提出一种针对Non-IID数据的基于AP聚类算法的联邦学习聚合算法（APFL）。在APFL中,服务器会根据客户端的数据特征,计算出每个客户端之间的相似度矩阵,再利用AP聚类算法对客户端划分不同的集群,构建多中心框架,为每个客户端计算出适合的个性化模型权重。将本文算法在FMINST数据集和CIFAR10数据集上进行实验,与传统联邦学习FedAvg相比,APFL在FMNIST数据集上提升了1.88个百分点,在CIFAR10数据集上提升了6.08个百分点。实验结果表明,本文所提出的APFL在Non-IID数据上可以提高联邦学习的精度性能。     

基于结构增强的异质数据联邦学习模型正则优化算法

联邦学习中由于不同客户端本地数据分布异质，在本地数据集上训练的客户端模型优化目标与全局模型不一致，导致出现客户端漂移现象，影响全局模型性能.为了解决非独立同分布数据带来的联邦学习模型性能下降甚至发散的问题，文中从本地模型的通用性角度出发，提出基于结构增强的异质数据联邦学习模型正则优化算法.在客户端利用数据分布异质的本地数据进行训练时，以结构化的方式采样子网络，并对客户端本地数据进行数据增强，使用不同的增强数据训练不同的子网络学习增强表示，得到泛化性较强的客户端网络模型，对抗本地数据异质带来的客户端漂移现象，在联邦聚合中得到性能更优的全局模型.在CIFAR-10、CIFAR-100、ImageNet-200数据集上的大量实验表明，文中算法性能较优.     

非独立同分布场景下的联邦学习优化方法

联邦学习能够在不泄露数据隐私的情况下合作训练全局模型,但这种协作式的训练方式在现实环境下面临参与方数据非独立同分布（Non-IID）的挑战：模型收敛慢、精度降低的问题。许多现有的联邦学习方法仅从全局模型聚合和本地客户端更新中的一个角度进行改进,难免会引发另一角度带来的影响,降低全局模型的质量。提出一种分层持续学习的联邦学习优化方法（FedMas）。FedMas基于分层融合的思想,首先,采用客户端分层策略,利用DBSCAN算法将相似数据分布的客户端划分到不同的层中,每次仅挑选某个层的部分客户端进行训练,避免服务器端全局模型聚合时因数据分布不同产生的权重分歧现象;进一步,由于每个层的数据分布不同,客户端在局部更新时结合持续学习灾难性遗忘的解决方案,有效地融合不同层客户端数据间的差异性,从而保证全局模型的性能。在MNIST和CIFAR-10标准数据集上的实验结果表明,FedMas与FedProx、Scaffold和FedCurv联邦学习算法相比,全局模型测试准确率平均提高0.3～2.2个百分点。     

一种鲁棒的半监督联邦学习系统

联邦学习允许边缘设备或客户端将数据存储在本地来合作训练共享的全局模型。主流联邦学习系统通常基于客户端本地数据有标签这一假设,然而客户端数据一般没有真实标签,且数据可用性和数据异构性是联邦学习系统面临的主要挑战。针对客户端本地数据无标签的场景,设计一种鲁棒的半监督联邦学习系统。利用FedMix方法分析全局模型迭代之间的隐式关系,将在标签数据和无标签数据上学习到的监督模型和无监督模型进行分离学习。采用FedLoss聚合方法缓解客户端之间数据的非独立同分布（non-IID）对全局模型收敛速度和稳定性的影响,根据客户端模型损失函数值动态调整局部模型在全局模型中所占的权重。在CIFAR-10数据集上的实验结果表明,该系统的分类准确率相比于主流联邦学习系统约提升了3个百分点,并且对不同non-IID水平的客户端数据更具鲁棒性。     

面向通信成本优化的联邦学习算法

联邦学习是一种能够保护数据隐私的机器学习设置,然而高昂的通信成本和客户端的异质性问题阻碍了联邦学习的规模化落地。针对这两个问题,提出一种面向通信成本优化的联邦学习算法。首先,服务器接收来自客户端的生成模型并生成模拟数据;然后,服务器利用模拟数据训练全局模型并将其发送给客户端,客户端利用全局模型进行微调后得到最终模型。所提算法仅需要客户端与服务器之间的一轮通信,并且利用微调客户端模型来解决客户端异质性问题。在客户端数量为20个时,在MNIST和CIFAR-10这两个数据集上进行了实验。结果表明,所提算法能够在保证准确率的前提下,在MNIST数据集上将通信的数据量减少至联邦平均（FedAvg）算法的1/10,在CIFAR-10数据集上将通信数据量减少至FedAvg算法的1/100。     

面向数据异构的联邦学习性能优化研究

参与联邦学习的客户端只需在各自的本地数据集上训练本地模型,并在服务器上聚合全局模型.然而,数据异构会导致本地模型与全局最优模型收敛方向不一致,影响全局模型性能.现有工作主要集中在直接与全局模型做趋同,并未考虑全局模型合理性.本文研究了一种基于局部模型偏移的性能优化方案,本地训练过程中结合所有客户端模型关键参数,提高全局聚合模型可信度.具体来说,计算待训练模型与其他客户端模型参数差值,然后乘以其他客户端梯度,将结果作为正则项加入本地损失函数,从而抑制局部模型偏移.实验结果表明,该方案在MNIST,FMNIST,CIFAR上的图像识别正确率方面优于现有方法5个百分点以上.     

一种基于背景优化的高效联邦学习方案

联邦学习因其在客户端本地进行数据的训练,从而有效保证了数据的隐私性和安全性。对于联邦学习的研究虽然取得了很大的进展,但是,由于非独立同分布数据的存在以及数据量不平衡、数据类型不平衡等问题,客户端在利用本地数据进行训练时不可避免地存在精确度缺失、训练效率低下等问题。为了应对联邦学习背景环境的不同导致的联邦学习效率降低的问题,文中提出了一种基于背景优化的高效联邦学习方案,用于提高终端设备中本地模型的精确度,从而减小通信开销、提高整体模型的训练效率。具体来说,在不同的环境中根据精确度的差异性来选择第一设备和第二设备,将第一设备模型和全局模型的不相关性(下文统称为差异值)作为标准差异值;而第二设备是否上传本地模型则由第二设备和第一设备之间的差异值决定。实验结果表明,与传统的联邦学习相比,所提方案在普通联邦学习场景下的表现明显优于联邦平均算法,在MINIST数据集上,其精确度提高了约7.5%;在CIFAR-10数据集上,其精确度提高了约10%。     

基于联邦学习的下肢康复评估算法与实现

为解决跨机构模型训练及康复评估的数据隐私问题,提出一种基于联邦学习的下肢康复评估算法。搭建联邦学习系统,通过客户端选择机制及量化编码压缩提高通讯效率。设计限制项随机梯度下降优化器保证本地训练时的模型收敛性,通过高斯差分隐私算法进行全局更新。在此基础上设计GRU-Inception神经网络模型,利用联邦学习系统进行训练并完成下肢康复评估任务。实验验证了该算法具有较好的康复评估效果。     

基于注意力增强元学习网络的个性化联邦学习方法

联邦学习作为一种分布式机器学习框架,客户端可以在不向服务器传输数据的情况下进行全局模型训练,解决了数据分散和数据隐私的问题.联邦学习可以在具有相似数据特征和分布的客户端上很好地工作.但是在很多场景中,客户端数据在分布、数量和概念上的不同,造成了全局模型训练困难.为此,个性化联邦学习作为一种新的联邦学习范式被提出,它旨在通过客户端与服务器的协作来保证客户端个性化模型的有效性.直观来讲,为具有相似数据特征和分布的客户端提供更紧密的协作关系可以有利于个性化模型的构建.然而,由于客户端数据的不可见性,如何细粒度地提取客户端特征,并定义它们之间的协作关系是一个挑战.设计了一个注意力增强元学习网络（attention-enhanced meta-learning network,AMN）来解决这个问题. AMN可以利用客户基础模型参数作为输入特征,训练元学习网络为每个客户端提供一个额外的元模型,自动分析客户特征相似性.基于双层网络设计,有效地实现客户端个性与共性的权衡,提供了包含有益客户信息的融合模型.考虑到训练过程中需要同时训练元学习网络和客户本地基础网络,设计了一种交替训练策略,以端到端的方式...     

基于本地模型质量的客户端选择方法

联邦学习是一种针对数据分布于多个客户端的环境下,客户端共同协作训练模型的分布式机器学习方法。在理想情况下全部客户端均参与每轮训练,但是实际应用中只随机选择一部分客户端参与。随机选择的客户端通常不能全面反映全局数据分布特征,导致全局模型训练效率和模型精度降低。为此,提出一种基于本地模型质量的客户端选择方法 ChFL。分析影响模型精度和收敛速度的重要因素,提取可反映客户端模型质量的损失值和训练时间2个重要指标。通过对本地损失值和训练时间融合建模,用于评估客户端模型质量。在此基础上,基于客户端质量指导客户端选择,同时与随机选择策略进行一定比例的结合,以提高全局模型精度。通过选择具有高质量的数据且计算性能较优的客户端参与训练,提升模型精度并加快收敛速度。在FEMNIST、CIFAR-10、MNIST、CINIC-10和EMNIST数据集上的实验结果表明,相比3种基线算法FedAvg、FedProx、FedNova,将ChFL与基线算法相结合后的收敛速度平均加快约10%,准确率平均提高4个百分点。     

面向数据混合分布的联邦自适应交互模型

联邦学习作为一种新兴的分布式机器学习方法，保证了物联网（Internet of things,IoT）设备在数据不出本地的前提下，仅通过传递模型参数来共同维护中央服务器模型，从而达到保护数据隐私安全的目的.传统的联邦学习方法常常在基于设备数据独立同分布的场景下进行联合学习.然而，在实际场景中各设备间的数据样本分布存在差异，使得传统联邦学习方法在非独立同分布（non-independent and identically distributed,Non-IID）的场景下效果不佳.面向Non-IID场景下的混合数据分布问题，提出了新型的联邦自适应交互模型（federated adaptive interaction model,FedAIM）框架，该框架可以同时对不同偏置程度的混合数据进行自适应地交互学习.具体来说，首先，通过引入陆地移动距离（earth mover’s distance,EMD）对各客户端的数据分布进行偏置程度度量(bias measurement)，并设计极偏服务器和非极偏服务器2个模块分别处理不同偏置程度的数据分布.其次，提出了基于信息熵的模型参数交互机制，使得Fed...     

基于进化策略的自适应联邦学习算法

联邦学习是一种多设备参与的,保护数据隐私的深度学习技术.它能够在私有数据不出本地的同时训练全局共享模型.然而,在复杂的物联网环境中,联邦学习面临着统计异构性和系统异构性的挑战.不同的本地数据分布和高额的通信计算成本,使得过参数化的模型不适合在物联网应用中直接部署.同时,非独立同分布的数据也使采用参数平均聚合的联邦学习更加难以收敛.联邦学习场景下的研究难点在于,如何根据私有数据为每个客户端建立个性化的轻量级模型的同时,把这些模型汇总成为联合模型.为了解决这一问题,本文提出了一种基于进化策略的自适应联邦学习算法.该方法将模型结构进行编码,把每个参与者视作进化策略中的个体,通过全局优化来为每个客户端自适应地生成不同的个性化子模型.客户端根据网络单元重要性和编码在服务器端超网中抽取相应的子网来进行本地更新,而这种网络局部更新的方法天然契合dropout的思想.在真实数据集上进行的大量实验证明,本文提出的框架相比于经典的联邦学习方法,模型性能得到了显著改善.在客户端数据非独立同分布的情况下,该算法在有效降低了客户端在通信带宽和计算力受限条件下参与联邦学习门槛的同时,提高了全局模型的泛化能力.     

基于强化联邦图神经网络的个性化公共安全突发事件检测方法

近年来,将公共安全数据转换为图的形式,通过图神经网络构造节点表示应用于下游任务的方法,充分利用了公共安全数据的实体与关联信息,取得了较好的效果.为了提高模型的有效性,需要大量的高质量数据,但是高质量的数据通常归属于政府、公司和组织,很难通过数据集中的方式使模型学习到有效的事件检测模型.由于各数据拥有方的关注主题与收集时间不同,数据之间存在Non-IID的问题.传统的假设一个全局模型可以适合所有客户端的方法难以解决此类问题.本文提出了基于强化联邦图神经网络的公共安全突发事件检测方法PPSED,各客户端采用多方协作的方式训练个性化的模型来解决本地的突发事件检测任务.设计联邦公共安全突发事件检测模型的本地训练与梯度量化模块,采用基于图采样的minibatch机制的GraphSage构造公共安全突发事件检测本地模型,以减小数据Non-IID的影响,采用梯度量化方法减小梯度通信的消耗.设计基于随机图嵌入的客户端状态感知模块,在保护隐私的同时更好地保留客户端模型有价值的梯度信息.设计强化联邦图神经网络的个性化梯度聚合与量化策略,采用DDPG拟合个性化联邦学习梯度聚合加权策略,并根据权重决定是否对梯度进行量化,对模型的性能与通信压力进行平衡.通过在微博平台收集的公共安全数据集和三个公开的图数据集进行了大量的实验,实验结果表明了提出的方法的有效性.     

基于高效联邦学习算法的网络入侵检测模型

为解决在入侵检测场景中引入联邦学习技术后，由于节点间存在流量数据非独立同分布（non-iid）现象而导致模型难以聚合并得到高识别率的问题，构造了一种高效联邦学习算法（H-E-Fed），并基于该算法构建了对应的入侵检测模型。首先，协调方设计针对流量数据的全局模型，并下发至入侵检测节点间进行模型训练；然后，协调方收集本地模型，并对节点间本地模型的协方差矩阵评估偏度，以衡量节点间模型的相关性，从而重新分配模型聚合参数，并生成新的全局模型；最后，协调方与节点多轮交互，直至全局模型收敛。实验结果表明，与基于联邦平均（FedAvg）算法和FedProx算法的模型相比，基于高效联邦学习算法的入侵检测模型在节点间产生数据non-iid现象时的通信消耗更低；且在KDDCup99数据集和CICIDS2017数据集上，与基线模型相比，准确率分别提升了10.39%、8.14%与4.40%、5.98%。     

基于超级账本的集群联邦优化模型

联邦学习作为分布式机器学习框架,在数据不离开本地的情况下,通过共享模型参数达到协作训练的目标,一定程度上解决了隐私保护问题,但其存在中心参数服务器无法应对单点故障、潜在恶意客户端梯度攻击、客户端数据偏态分布导致训练性能低下等问题。将去中心化的区块链技术与联邦学习相结合,提出基于超级账本的集群联邦优化模型。以超级账本作为分布式训练的架构基础,客户端初始化后在本地训练向超级账本传输模型参数及分布信息,通过聚类优化联邦学习模型在客户端数据非独立同分布下的训练表现。在此基础上,随机选举客户端成为领导者,由领导者代替中央服务器的功能,领导者根据分布相似度和余弦相似度聚类并下载模型参数聚合,最后客户端获取聚合模型继续迭代训练。以EMNIST数据集为例,数据非独立同分布情况下该模型平均准确率为79.26%,较FedAvg提高17.26%,在保证准确率的前提下,较集群联邦学习训练至收敛的通信轮次减少36.3%。     

多任务的边缘联邦学习:一种融合契约论和匹配博弈的激励机制

联邦学习（Federated Learning,FL）是一种新兴的分布式机器学习范式,它允许移动设备以分散的方式协作训练全局模型,同时保持训练数据在终端上面。然而,由于数千个异构分布式终端设备参与FL任务,所以FL面临的挑战是通信效率问题。为了解决上述问题,基于边缘计算的FL被提出来了,即边缘联邦学习。边缘计算利用终端设备附近的边缘节点执行模型参数的下发和聚合,进而降低通信时间。尽管有上述巨大的好处,多任务的边缘联邦学习的激励机制尚未得到很好的解决。因此,提出了一种融合契约论和匹配博弈的激励机制;然后,基于三个数据集的实验结果验证了该激励机制和匹配算法的有效性。     

边缘场景下动态联邦学习优化方法

边缘计算(Edge Computing)是一种新的计算方式,通过在网络边缘提供计算服务,与传统的云计算模式相比,具有高可信度和低延迟等特点。联邦学习(FL)作为一种分布式机器学习方法,尽管具备保护隐私和数据安全的特性,却仍然面临设备异构和数据不均衡等问题,导致出现部分参与者(边缘端)训练时间长、训练效率低下等问题。为了解决上述问题,该文提出了一种名为FlexFL的动态联邦学习优化算法。该算法引入了两层联邦学习策略,通过在同一参与者部署多个联邦学习训练服务和一个联邦学习聚合服务,将本地数据集平均分配给各个联邦学习训练服务,并每回合激活一定数量的训练服务。未激活的服务将休眠,不占用计算资源,并将资源平均分配给激活的服务,以加快训练速度。该算法能够平衡参与者设备异构和数据不均衡性带来的训练时间差异,从而提高整体训练效率。在MINST数据集和CIFAR数据集上与FedAvg联邦学习算法进行了对比实验,结果显示,FlexFL算法在减少时间消耗的同时,不降低模型性能。     

基于隐式随机梯度下降优化的联邦学习

联邦学习是一种分布式机器学习范式,中央服务器通过协作大量远程设备训练一个最优的全局模型。目前联邦学习主要存在系统异构性和数据异构性这两个关键挑战。本文主要针对异构性导致的全局模型收敛慢甚至无法收敛的问题,提出基于隐式随机梯度下降优化的联邦学习算法。与传统联邦学习更新方式不同,本文利用本地上传的模型参数近似求出平均全局梯度,同时避免求解一阶导数,通过梯度下降来更新全局模型参数,使全局模型能够在较少的通信轮数下达到更快更稳定的收敛结果。在实验中,模拟了不同等级的异构环境,本文提出的算法比FedProx和FedAvg均表现出更快更稳定的收敛结果。在相同收敛结果的前提下,本文的方法在高度异构的合成数据集上比FedProx通信轮数减少近50%,显著提升了联邦学习的稳定性和鲁棒性。     

边缘联邦学习的客户端选择机制

针对传统边缘联邦学习（FL）由于客户端资源异质性导致联邦学习模型性能低下等问题,提出面向边缘计算的联邦学习客户端选择机制。该机制综合考虑了客户端的计算资源、通信资源以及数据资源,在联邦学习每轮给定的时间阈值内,使得边缘服务器能够选取尽可能多的客户端数量的同时避免资源不足的客户端,保证参与到联邦学习过程中的客户端的质量,在一定程度上降低了联邦学习的训练成本。该联邦学习客户端选择机制在MNIST和CIFAR-10数据集上与现有的联邦学习客户端选择算法——联邦平均算法（FedCS）和基于多标准的联邦学习客户端选择算法（FedMCCS）进行了对比模拟实验,实验结果表明当所提方法达到FedCS和FedMCCS的最终精度时：在MNIST数据集上时间消耗分别减少了79.55%和72.73%,且最终精度分别提升了2.0%和1.8%;在CIFAR-10数据集上时间消耗分别减少了70.83%和70.83%,且最终精度分别提升了23.6%和27.8%。实验结果验证了提出的客户端选择算法能够有效提升联邦学习的效率。