基于DRL的联邦学习节点选择方法

为了应对设备差异化计算能力及非独立同分布数据对联邦学习性能的影响,高效地调度终端设备完成模型聚合,提出了一种基于深度强化学习的设备节点选择方法.该方法考虑异构节点的训练质量和效率,筛选恶意节点,在提升联邦学习模型准确率的同时,优化训练时延.首先,根据联邦学习中模型分布式训练的特点,构建基于深度强化学习的节点选择系统模型...     

基于同态加密的高效安全联邦学习聚合框架

为了解决联邦学习数据安全以及加密后通信开销大等问题，提出了一种基于同态加密的高效安全联邦聚合框架。在联邦学习过程中，用户数据的隐私安全问题亟须解决，然而在训练过程中采用加密方案带来的计算和通信开销又会影响训练效率。在既要保护数据安全又要保证训练效率的情况下，首先，采用Top-K梯度选择方法对模型梯度进行筛选，减少了需要上传的梯度数量，提出适合多边缘节点的候选量化协议和安全候选索引合并算法，进一步降低通信开销、加速同态加密计算。其次，由于神经网络每层模型参数具有高斯分布的特性，对选择的模型梯度进行裁剪量化，并采用梯度无符号量化协议以加速同态加密计算。最后，实验结果表明，在联邦学习的场景下，所提框架既保证了数据隐私安全，又具有较高的准确率和高效的性能。     

基于轻量化分布式学习的自动调制分类方法

为了解决集中式学习存在的问题,提出了一种基于轻量化网络的分布式学习方法。分布式学习利用边缘设备进行本地训练和模型权重共享的方法训练同一个全局模型,既充分利用了各边缘设备的训练数据,又避免了边缘设备数据泄露。轻量化网络是一种由多个轻量化神经网络块堆叠而成的深度学习模型,相较于传统的深度学习模型,轻量化网络以较低的空间复杂度和时间复杂度实现较高的调制分类性能,有效地解决了分布式学习在实际部署中存在的边缘设备算力不足、存储空间有限及通信开销较高的问题。实验结果表明,基于分布式学习的自动调制信号分类技术在RadioML.2016.10A数据集的分类准确率为62.41%,相比于集中式学习,分类准确率仅降低了0.68%,训练效率提高了近5倍。实验结果也证明了在分布式学习下,部署轻量化网络可以有效降低通信开销。     

基于联邦学习的多用户语义通信系统部署方法

语义通信是一种有发展潜力的新型通信技术,通过挖掘信源中的语义信息从而减少传输所需要的数据量。语义通信通常采用深度学习的方式建立编解码模型,在收发端共享模型参数的前提下实现端到端的数据传输,但在实际场景中,由于多用户的存在,端到端的传输具有局限性,语义通信系统的部署有更多需要考虑的问题。为了使语义通信能应用于多用户的场景,本文提出了语义通信系统模型的联邦学习部署方式,利用用户端的数据对深度学习模型进行更为有效的训练。从而在不直接使用用户数据的前提下,使模型学习到用户数据的特征,实现了多用户场景下语义通信系统的部署。仿真结果表明,通过联邦学习训练得到的模型可以达到接近于集中训练的效果,并且保护了用户隐私。     

一种面向联邦学习对抗攻击的选择性防御策略

联邦学习(FL)基于终端本地的学习以及终端与服务器之间持续地模型参数交互完成模型训练,有效地解决了集中式机器学习模型存在的数据泄露和隐私风险。但由于参与联邦学习的多个恶意终端能够在进行本地学习的过程中通过输入微小扰动即可实现对抗性攻击,并进而导致全局模型输出不正确的结果。该文提出一种有效的联邦防御策略-SelectiveFL,该策略首先建立起一个选择性联邦防御框架,然后通过在终端进行对抗性训练提取攻击特性的基础上,在服务器端对上传的本地模型更新的同时根据攻击特性进行选择性聚合,最终得到多个适应性的防御模型。该文在多个具有代表性的基准数据集上评估了所提出的防御方法。实验结果表明,与已有研究工作相比能够提升模型准确率提高了2%～11%。     

基于自适应梯度压缩的高效联邦学习通信机制研究

针对物联网(IoTs)场景下,联邦学习(FL)过程中大量设备节点之间因冗余的梯度交互通信而带来的不可忽视的通信成本问题,该文提出一种阈值自适应的梯度通信压缩机制。首先,引用了一种基于边缘-联邦学习的高效通信(CE-EDFL)机制,其中边缘服务器作为中介设备执行设备端的本地模型聚合,云端执行边缘服务器模型聚合及新参数下发。其次,为进一步降低联邦学习检测时的通信开销,提出一种阈值自适应的梯度压缩机制(ALAG),通过对本地模型梯度参数压缩,减少设备端与边缘服务器之间的冗余通信。实验结果表明,所提算法能够在大规模物联网设备场景下,在保障深度学习任务完成准确率的同时,通过降低梯度交互通信次数,有效地提升了模型整体通信效率。     

一种基于优化引导的无线联邦学习异步训练机制

针对在数据异构和资源异构的无线网络中联邦学习训练效率低及训练能耗高的问题,面向图像识别任务,提出了基于优化引导的异步联邦学习算法AFedGuide。利用较高样本多样性的客户端模型的引导作用,提高单轮聚合有效性。采用基于训练状态的模型增量异步更新机制,提高模型更新实时性以及信息整合能力。设计基于模型差异性的训练决策,修正优化方向。仿真结果显示,相较于对比算法,AFedGuide的训练时长平均减少67.78%,系统能耗平均节省65.49%,客户端的准确率方差平均减少25.5%,说明在客户端数据异构和资源异构的无线网络下,AFedGuide可以在较短的训练时间内以较小的训练能耗完成训练目标,并维持较高的训练公平性和模型适用性。     

边缘计算下的联邦学习挑战及进展

<正>近年来，边缘计算和联邦学习技术受到了学术界和工业界的广泛关注。边缘计算充分利用位于边缘设备、边缘节点及边缘服务器上的计算和存储资源，减少对通信资源的消耗，提供了分布式计算和数据处理的能力。联邦学习作为一种分布式的机器学习方法，通过在本地进行模型训练，以达到保护数据隐私安全的目的。边缘计算和联邦学习这两项技术的结合，不仅可以实现边缘端的智能决策，还能减少通信开销，保护用户数据隐私安全。     

基于脉冲神经网络的无线空中联邦学习

联邦学习可以在保护数据隐私的同时,快速地从大量分布式数据中提炼智能模型,已经成为实现边缘人工智能的主流解决方案。然而,现有的联邦学习工作聚焦于在无线网络边缘部署传统的深度神经网络（如卷积神经网络等）,给移动设备带来了巨大的计算负载和能量消耗。因此,提出将一种新的低消耗神经网络——脉冲神经网络,应用于联邦边缘学习中。相较于传统的深度神经网络,它训练所需的计算量和能量消耗更低。同时,为了减少通信开销,在每一轮的联邦学习训练中,提出利用空中计算技术来聚合所有局部模型的参数。整个问题是一个二次约束二次规划问题,为解决该问题,提出了一种基于分枝定界算法的算法。通过在CIFAR10数据集上的大量实验表明,该算法优于现有方法,如半正定松弛等。     

基于生成模型的联邦学习隐私保护算法

在联邦学习中,交换模型参数或梯度信息通常被视作是安全的。但近期研究表明,模型参数或者梯度信息也会导致训练数据的泄露。基于保护客户端数据安全的目的,提出了一种基于生成模型的联邦学习算法。为了验证该算法的有效性,在DermaMNIST数据集上进行了仿真实验,采用梯度泄露攻击对算法进行验证。实验结果表明,提出的基于生成模型的联邦学习算法与联邦学习经典算法在准确率上仅仅相差0.02%,并且通过MSE、PSNR、SSIM等评价指标可以判断出该算法可以有效地保护数据隐私。     

基于区块链的自适应权重趋势感知联邦学习方案

联邦学习作为一种新兴的分布式机器学习框架,在训练过程中模型更新会占用大量网络带宽,这成为联邦学习获得高精度机器学习模型的瓶颈之一。为了解决以上问题,基于Hyperledger Fabric区块链,设计了一个简单而有效的自适应阈值更新算法,并提出了一种自适应权重趋势感知的联邦学习解决方案。通过客户端训练的本地模型与全局模型方向向量矩阵的相关性,来筛除与全局模型偏差较大的客户端模型,同时在训练过程中自适应地调整筛选阈值。实验结果表明,相比于传统的联邦学习方案,提出方案减少了神经网络模型训练过程中超过20%的网络通信开销以及节约超过五倍的训练资源,提高了近4%的模型精确度,并且训练过程可追溯和去中心化,极大地提高了隐私安全保障。     

基于隐私保护机制的辐射光源衍射图像筛选

同步辐射光源产生超高速的衍射图像数据流，需要通过数据筛选降低数据传输和存储的压力。但互相竞争的研究小组不愿意分享数据，现有基于深度学习的筛选方法难以应对隐私保护下有效训练的挑战，因此首次将联邦学习技术应用在辐射光源衍射图像筛选中，通过数据和模型分离，实现隐私保护下的训练数据增广。提出筛选方法 Federated Kullback-Leibler (FedKL)，基于改进的KL散度和数据量权重，对全局模型更新进行改进，在获得高准确率的同时降低算法的复杂度，满足高速数据流高精度处理要求。针对异地光源多中心数据同步训练的困难，又提出同步和异步相结合的混合训练方式，在不降低模型识别准确率的同时，显著提升了模型的训练速度。在光源CXIDB-76公开数据集上的实验结果表明，相比FedAvg,FedKL能够提升准确率和F1分数，分别提升了25.2个百分点和0.419。     

异构边缘计算环境下异步联邦学习的节点分组与分时调度策略

为了克服异构边缘计算环境下联邦学习的3个关键挑战,边缘异构性、非独立同分布数据及通信资源约束,提出了一种分组异步联邦学习（FedGA）机制,将边缘节点分为多个组,各个分组间通过异步方式与全局模型聚合进行全局更新,每个分组内部节点通过分时方式与参数服务器通信。理论分析建立了FedGA的收敛界与分组间数据分布之间的定量关系。针对分组内节点的通信提出了分时调度策略魔镜法（MMM）优化模型单轮更新的完成时间。基于FedGA的理论分析和MMM,设计了一种有效的分组算法来最小化整体训练的完成时间。实验结果表明,FedGA和MMM相对于现有最先进的方法能降低30.1%～87.4%的模型训练时间。     

基于联邦学习的隐私保护区域交通流量预测模型

区域交通流量预测是智慧交通系统的一项重要功能。联邦学习可以支持多位置服务提供商(Location Service Provider, LSP)的联合训练,使得训练数据集可以更加全面地覆盖整个区域的交通流量,提高预测准确率。但是,当前基于联邦学习的区域交通流量预测方案存在车辆数据去重、训练节点背叛以及隐私泄露等问题。为此,构建了基于联邦学习的隐私保护区域交通流量预测(Privacy-Preserving Regional Traffic Flow Prediction based on Federated Learning, PPRTFP-FL)模型。模型采用中心部署架构,由联邦中央服务器协调各个LSP联合完成模型的训练,并对全局模型进行梯度聚合与模型更新;采用交叉评价加权聚合的策略来防御部分不可信节点对全局模型的恶意攻击,提升了全局模型的鲁棒性;预测阶段使用同态加密聚合算法,各LSP在不泄露自身运营数据的情况下实现了更准确的流量预测。利用相关数据集进行测试,测试结果表明当训练数据集覆盖区域流量充分的情况下,本模型相比本地模型的预测准确率有明显的提升。对模型进行不同比例的恶意节点攻击实验...     

基于相似度聚类的可信联邦安全聚合算法

联邦学习能够有效地规避参与方数据隐私问题,但模型训练中传递的参数或者梯度仍有可能泄露参与方的隐私数据,而恶意参与方的存在则会严重影响聚合过程和模型质量。基于此,该文提出一种基于相似度聚类的可信联邦安全聚合方法(FSA-SC)。首先基于客户端训练数据集规模及其与服务器间的通信距离综合评估选出拟参与模型聚合的候选客户端;然后根据候选客户端间的相似度,利用聚类将候选客户端划分为良性客户端和异常客户端;最后,对异常客户端类中的成员利用类内广播和二次协商进行参数替换和记录,检测识别恶意客户端。为了验证FSA-SC的有效性,以联邦推荐为应用场景,选取MovieLens 1M,Netflix数据集和Amazon抽样数据集为实验数据集,实验结果表明,所提方法能够实现高效的安全聚合,且相较对比方法有更高的鲁棒性。     

一种提高联邦学习准确度的算法

联邦学习可以使客户端在不公开其本地数据的情况下合作训练一个共享模型,此种学习方式保证了客户端数据的隐私性。但是,与集中式学习相比,客户端数据的异构性会大大降低联邦学习的性能。数据异构使本地训练的模型向不同方向更新,导致聚合后的全局模型性能较差。为了缓解数据异构对联邦学习造成的影响,算法提出了基于模型对比和梯度投影的联邦学习算法。此算法设计了一个新的损失函数。新损失函数利用全局模型与本地模型的差异性来指导本地模型的更新方向,并且通过降低全局梯度与本地梯度的冲突来提高模型准确度。实验表明相比其他算法,此算法可以在不增加任何通信开销的情况下达到更高的准确度。     

5G电力虚拟专网中基于联邦对抗学习的分布式异常检测算法

针对5G电力虚拟专网中高维、不均衡和分布式的数据特征，提出了一种基于联邦对抗学习的分布式异常检测算法。首先，鉴于生成对抗网络在获取高维复杂数据分布方面的优势，采用具有梯度惩罚的Wasserstien生成对抗网络(WGAN-GP)模型对网元中的多维运行数据进行分析和监控并获取其分布情况。其次，基于5G电力虚拟专网的管理架构，设计了一种基于联邦对抗学习的分布式异常检测框架，使分布式电力切片管理器能够协同训练全局异常检测模型，增强模型泛化能力。最后，通过数值仿真验证了基于联邦对抗学习的分布式异常检测算法的训练效率和检测性能。     

基于主动学习的唐卡主尊标注研究

唐卡是藏文化中一种特色绘画，有较高的学术价值。为降低唐卡主尊检测任务中数据标注的人力成本，文中采用主动学习流程训练目标检测模型，并针对唐卡主尊分布特点提出最大框选法和最大框不确定性方法，用以优先选取未标注样本中对神经网络最有益的样本。采用Faster R-CNN目标检测模型进行唐卡主尊主动学习实验，结果表明：所提出的最大框不确定性方法优于随机采样主动学习方法，仅400张训练数据即可达到98.19%的平均准确率（mAP），与全监督下1 249张数据训练的模型结果（98.17%）接近；在500张数据时mAP可达到最高，为98.31%。所提最大框不确定性采样法可高效挑选出高信息量唐卡主尊数据，不但可以降低训练所需数据量，减少网络训练时间，而且能够减少低信息量数据对模型的影响，对模型的性能具有显著提升效果。     

基于联邦学习的无线任务:数据非IID一定影响性能？

作为一种分布式训练框架,联邦学习在无线通信领域有着广阔的应用前景,也面临着多方面的技术挑战,其中之一源于参与训练用户数据集的非独立同分布（Independent and identically distributed,IID）。不少文献提出了解决方法,以减轻户数据集非IID造成的联邦学习性能损失。本文以平均信道增益预测、正交幅度调制信号的解调这两个无线任务以及两个图像分类任务为例,分析用户数据集非IID对联邦学习性能的影响,通过神经网络损失函数的可视化和对模型参数的偏移量进行分析,尝试解释非IID数据集对不同任务影响程度不同的原因。分析结果表明,用户数据集非IID未必导致联邦学习性能的下降。在不同数据集上通过联邦平均算法训练得到的模型参数偏移程度和损失函数形状有很大的差异,二者共同导致了不同任务受数据非IID影响程度的不同;在同一个回归问题中,数据集非IID是否影响联邦学习的性能与引起数据非IID的具体因素有关。      

数据新鲜度驱动的协作式无人机联邦学习智能决策优化研究

联邦学习是6G关键技术之一,其可以在保护数据隐私的前提下,利用跨设备的数据训练一个可用且安全的共享模型。然而,大部分终端设备由于处理能力有限,无法支持复杂的机器学习模型训练过程。在异构网络融合环境下移动边缘计算(MEC)框架中,多个无人机(UAVs)作为空中边缘服务器以协作的方式灵活地在目标区域内移动,并且及时收集新鲜数据进行联邦学习本地训练以确保数据学习的实时性。该文综合考虑数据新鲜程度、通信代价和模型质量等多个因素,对无人机飞行轨迹、与终端设备的通信决策以及无人机之间的协同工作方式进行综合优化。进一步,该文使用基于优先级的可分解多智能体深度强化学习算法解决多无人机联邦学习的连续在线决策问题,以实现高效的协作和控制。通过采用多个真实数据集进行仿真实验,仿真结果验证了所提出的算法在不同的数据分布以及快速变化的动态环境下都能取得优越的性能。