基于主从博弈的分层联邦学习激励机制研究

为了优化分层联邦学习(FL)全局模型的训练时延,针对实际场景中终端设备存在自私性的问题,该文提出一种基于博弈论的激励机制。在激励预算有限的条件下,得到了终端设备和边缘服务器之间的均衡解和最小的边缘模型训练时延。考虑终端设备数量不同,设计了基于主从博弈的可变激励训练加速算法,使得一次全局模型训练时延达到最小。仿真结果显示,所提出的算法能够有效降低终端设备自私性带来的影响,提高分层联邦学习全局模型的训练速度。     

智能反射面赋能的联邦边缘学习及其在车联网中的应用

针对无线链路和数据分布的异构性导致在FEEL训练中很难实现无线通信和模型精度的最佳权衡的问题，提出了一种智能反射面（RIS）赋能的空中联邦边缘学习系统，其利用智能反射面的信道可重构性自适应地配置信号传播环境，并利用空中计算实现联邦边缘学习模型的快速聚合。具体来说，首先刻画无线信道和数据异构影响下的联邦优化算法收敛行为，并以此构造统一的无线资源优化问题，通过联合设计收发端波束成形方案和RIS相移来优化学习性能。仿真结果验证了所提方案的有效性，并证明RIS可以在数据异构前提下提高空中联邦边缘学习系统准确性。最后，探讨了其在车联网中应用的可能性。     

AccFed:物联网中基于模型分割的联邦学习加速

随着物联网(IoT)的快速发展,人工智能(AI)与边缘计算(EC)的深度融合形成了边缘智能(Edge AI)。但由于IoT设备计算与通信资源有限,并且这些设备通常具有隐私保护的需求,那么在保护隐私的同时,如何加速Edge AI仍然是一个挑战。联邦学习(FL)作为一种新兴的分布式学习范式,在隐私保护和提升模型性能等方面,具有巨大的潜力,但是通信及本地训练效率低。为了解决上述难题,该文提出一种FL加速框架AccFed。首先,根据网络状态的不同,提出一种基于模型分割的端边云协同训练算法,加速FL本地训练;然后,设计一种多轮迭代再聚合的模型聚合算法,加速FL聚合;最后实验结果表明,AccFed在训练精度、收敛速度、训练时间等方面均优于对照组。     

移动边缘计算中基于联邦学习的视频请求预测和协作缓存策略

随着互联网社交平台的崛起和移动智能终端设备的普及,自媒体短视频、直播等视频业务蓬勃发展,人们对高质量视频服务的需求也急剧上升。与此同时,连接到核心网络的大量智能设备增加了回程链路的负载,传统的云计算难以满足用户对视频服务的低延迟要求。移动边缘计算(MEC)通过在网络边缘部署具有计算和存储能力的边缘节点,通过在更靠近用户的边缘侧提高计算和存储服务,降低了数据传输时延进而缓解了网络阻塞。因此,基于MEC架构,该文充分利用网络边缘资源,提出了基于联邦学习的视频请求预测和视频协作缓存策略。通过利用多个边缘节点对提出的深度请求预测模型(DRPN)视频请求预测模型进行联邦训练,预测视频未来的请求情况,然后量化缓存内容所带来的时延收益并协作地以最大化该时延收益为目的进行缓存决策。该文分析了真实数据集MovieLens,模拟了视频请求缓存场景并进行实验。仿真结果表明,相比于其他策略,所提策略不仅能有效降低用户等待时延,在有限的缓存空间中提高内容多样性,从而提高缓存命中率,降低缓存成本,还能降低整个系统的通信成本。     

基于位置预测的智慧公路边缘任务协同机制

近年来智慧公路为用户提供了道路监测、辅助驾驶等新型服务,但随之而来的是数据流量爆炸式的增长,这对网络的承载能力带来了极大的考验。随着5G和移动边缘计算技术的成熟,海量任务不必集中在云端处理,边缘侧的协同处理成为一种较好的选择。为了在车辆高速移动场景下为用户提供高效可靠的服务,该文提出一种基于位置预测的智慧公路边缘任务协同(CETLP)机制。首先,结合智慧公路场景下车辆运动特点,建立面向时延和负载均衡的边缘任务协同模型。进而,针对任务时延最小化以及网络负载均衡等目标,提出一种基于深度强化学习的边缘任务协同算法,对海量任务的协同策略进行求解。仿真结果表明,所提机制能够在保证网络负载均衡的情况下降低服务时延。     

基于联邦学习模型的电力客户隐私保护方法

为提升电力物联网中用户数据安全性，提出了电力物联网LDP联邦学习框架。该框架将物联网用户分为常规用户和敏感用户两部分。常规用户通过与电力供应商互通模型与数据，基于横向联邦学习技术学习局部模型并参与更新全局模型；敏感用户利用异构联邦迁移学习技术将全局模型关联到局部模型中，从而保证敏感用户数据安全性。将联邦学习框架应用于GRU、LSTM网络，验证了所提联邦学习框架能够提升网络性能。     

基于脉冲神经网络的无线空中联邦学习

联邦学习可以在保护数据隐私的同时,快速地从大量分布式数据中提炼智能模型,已经成为实现边缘人工智能的主流解决方案。然而,现有的联邦学习工作聚焦于在无线网络边缘部署传统的深度神经网络（如卷积神经网络等）,给移动设备带来了巨大的计算负载和能量消耗。因此,提出将一种新的低消耗神经网络——脉冲神经网络,应用于联邦边缘学习中。相较于传统的深度神经网络,它训练所需的计算量和能量消耗更低。同时,为了减少通信开销,在每一轮的联邦学习训练中,提出利用空中计算技术来聚合所有局部模型的参数。整个问题是一个二次约束二次规划问题,为解决该问题,提出了一种基于分枝定界算法的算法。通过在CIFAR10数据集上的大量实验表明,该算法优于现有方法,如半正定松弛等。     

基于自适应梯度压缩的高效联邦学习通信机制研究

针对物联网(IoTs)场景下,联邦学习(FL)过程中大量设备节点之间因冗余的梯度交互通信而带来的不可忽视的通信成本问题,该文提出一种阈值自适应的梯度通信压缩机制。首先,引用了一种基于边缘-联邦学习的高效通信(CE-EDFL)机制,其中边缘服务器作为中介设备执行设备端的本地模型聚合,云端执行边缘服务器模型聚合及新参数下发。其次,为进一步降低联邦学习检测时的通信开销,提出一种阈值自适应的梯度压缩机制(ALAG),通过对本地模型梯度参数压缩,减少设备端与边缘服务器之间的冗余通信。实验结果表明,所提算法能够在大规模物联网设备场景下,在保障深度学习任务完成准确率的同时,通过降低梯度交互通信次数,有效地提升了模型整体通信效率。     

6G联邦边缘学习新范式：基于任务导向的资源管理策略

综述了面向6G的联邦边缘学习技术,能够充分利用分布在网络边缘的丰富数据使之服务于人工智能模型训练,以联邦边缘学习为代表的边缘智能技术应运而生,其中无线资源管理策略将以最优化任务学习性能为导向,例如优化模型训练时间、学习收敛性等,从而实现从通信导向到任务导向的设计范式变革。首先,概述了联邦边缘学习基本概念、典型应用场景及其在无线资源管理中的关键问题。然后,以联邦边缘学习中带宽资源分配和用户调度策略为典型的资源管理案例,深入阐述了基于任务导向的设计范式思想。最后,对联邦边缘学习的未来潜在研究方向进行了展望,包括与无线空中计算、通信感知一体化等全新技术的融合赋能。     

数据新鲜度驱动的协作式无人机联邦学习智能决策优化研究

联邦学习是6G关键技术之一,其可以在保护数据隐私的前提下,利用跨设备的数据训练一个可用且安全的共享模型。然而,大部分终端设备由于处理能力有限,无法支持复杂的机器学习模型训练过程。在异构网络融合环境下移动边缘计算(MEC)框架中,多个无人机(UAVs)作为空中边缘服务器以协作的方式灵活地在目标区域内移动,并且及时收集新鲜数据进行联邦学习本地训练以确保数据学习的实时性。该文综合考虑数据新鲜程度、通信代价和模型质量等多个因素,对无人机飞行轨迹、与终端设备的通信决策以及无人机之间的协同工作方式进行综合优化。进一步,该文使用基于优先级的可分解多智能体深度强化学习算法解决多无人机联邦学习的连续在线决策问题,以实现高效的协作和控制。通过采用多个真实数据集进行仿真实验,仿真结果验证了所提出的算法在不同的数据分布以及快速变化的动态环境下都能取得优越的性能。     

工业物联网中数字孪生辅助任务卸载算法

针对工业物联网(IIoT)设备资源有限和边缘服务器资源动态变化导致的任务协同计算效率低等问题,该文提出一种工业物联网中数字孪生(DT)辅助任务卸载算法。首先,该算法构建了云-边-端3层数字孪生辅助任务卸载框架,在所创建的数字孪生层中生成近似最佳的任务卸载策略。其次,在任务计算时间和能量的约束下,从时延的角度研究了计算卸载过程中用户关联和任务划分的联合优化问题,建立了最小化任务卸载时间和服务失败惩罚的优化模型。最后,提出一种基于深度多智能体参数化Q网络(DMAPQN)的用户关联和任务划分算法,通过每个智能体不断地探索和学习,以获取近似最佳的用户关联和任务划分策略,并将该策略下发至物理实体网络中执行。仿真结果表明,所提任务卸载算法有效降低了任务协同计算时间,同时为每个计算任务提供近似最佳的卸载策略。     

星地融合边云协同网络下的资源调度研究

通过边缘计算和云计算的优势互补,面向6G的星地融合网络能够实现资源的弹性分配和协同利用,满足数据处理的实时性和智能化要求。为了提升资源服务能力和用户体验质量,提出了星地融合边云协同网络架构。首先,阐述了三种不同边云协同模式下的资源调度方案,从时延、能耗和多目标优化的角度分析了不同场景下的资源调度策略。然后,对比了现有资源调度求解模型和算法的优势和局限性。最后,对基于边云协同的星地融合网络中的资源调度研究进行了总结与展望。     

基于DRL的联邦学习节点选择方法

为了应对设备差异化计算能力及非独立同分布数据对联邦学习性能的影响,高效地调度终端设备完成模型聚合,提出了一种基于深度强化学习的设备节点选择方法.该方法考虑异构节点的训练质量和效率,筛选恶意节点,在提升联邦学习模型准确率的同时,优化训练时延.首先,根据联邦学习中模型分布式训练的特点,构建基于深度强化学习的节点选择系统模型...     

异构边缘计算环境下异步联邦学习的节点分组与分时调度策略

为了克服异构边缘计算环境下联邦学习的3个关键挑战,边缘异构性、非独立同分布数据及通信资源约束,提出了一种分组异步联邦学习（FedGA）机制,将边缘节点分为多个组,各个分组间通过异步方式与全局模型聚合进行全局更新,每个分组内部节点通过分时方式与参数服务器通信。理论分析建立了FedGA的收敛界与分组间数据分布之间的定量关系。针对分组内节点的通信提出了分时调度策略魔镜法（MMM）优化模型单轮更新的完成时间。基于FedGA的理论分析和MMM,设计了一种有效的分组算法来最小化整体训练的完成时间。实验结果表明,FedGA和MMM相对于现有最先进的方法能降低30.1%～87.4%的模型训练时间。     

一种提高联邦学习准确度的算法

联邦学习可以使客户端在不公开其本地数据的情况下合作训练一个共享模型,此种学习方式保证了客户端数据的隐私性。但是,与集中式学习相比,客户端数据的异构性会大大降低联邦学习的性能。数据异构使本地训练的模型向不同方向更新,导致聚合后的全局模型性能较差。为了缓解数据异构对联邦学习造成的影响,算法提出了基于模型对比和梯度投影的联邦学习算法。此算法设计了一个新的损失函数。新损失函数利用全局模型与本地模型的差异性来指导本地模型的更新方向,并且通过降低全局梯度与本地梯度的冲突来提高模型准确度。实验表明相比其他算法,此算法可以在不增加任何通信开销的情况下达到更高的准确度。     

边缘学习:关键技术、应用与挑战

近年来,随着移动通信和人工智能技术的迅猛发展,大量智能终端已经联网并催生出海量数据。为了高效利用网络中的通信和计算资源并进一步释放人工智能的潜力,将传统基于专用数据中心的人工智能下沉到靠近用户终端的网络边缘已成为一种技术趋势。面向这种技术发展趋势,边缘学习被认为是一种具有广泛应用前景的人工智能实施方案。但是,目前对边缘学习的研究和应用仍处于起步阶段。为了促进技术发展,对边缘学习的关键技术、典型应用以及面临的机遇和挑战进行全面分析。首先,回顾边缘学习的发展背景,并分析其在传输时延、安全与隐私、扩展性和通信开销等方面相对于传统云学习的优势;其次,详细讨论实现边缘学习的3项关键技术:①分布式模型训练,包括聚合频率、梯度压缩、点对点通信和区块链技术;②面向边缘学习的高效无线通信技术,包括空中计算、通信资源分配和信号编码;③边缘学习卸载技术,包括计算和模型卸载技术。然后,分别以一种高可靠低时延车联网通信和一种基于计算与通信联合设计的智能图像分类系统为例,阐述上述关键技术在实际系统中的重要作用。最后,从通信与计算的联合优化、数据安全与隐私保护以及系统的开发与部署等3个方面讨论边缘学习面临的发展机遇与挑战。通过对最新研究现状的宏观分析,该综述将为边缘学习的进一步理论研究、技术创新和系统开发提供坚实的基础。     

基于联邦学习的隐私保护区域交通流量预测模型

区域交通流量预测是智慧交通系统的一项重要功能。联邦学习可以支持多位置服务提供商(Location Service Provider, LSP)的联合训练,使得训练数据集可以更加全面地覆盖整个区域的交通流量,提高预测准确率。但是,当前基于联邦学习的区域交通流量预测方案存在车辆数据去重、训练节点背叛以及隐私泄露等问题。为此,构建了基于联邦学习的隐私保护区域交通流量预测(Privacy-Preserving Regional Traffic Flow Prediction based on Federated Learning, PPRTFP-FL)模型。模型采用中心部署架构,由联邦中央服务器协调各个LSP联合完成模型的训练,并对全局模型进行梯度聚合与模型更新;采用交叉评价加权聚合的策略来防御部分不可信节点对全局模型的恶意攻击,提升了全局模型的鲁棒性;预测阶段使用同态加密聚合算法,各LSP在不泄露自身运营数据的情况下实现了更准确的流量预测。利用相关数据集进行测试,测试结果表明当训练数据集覆盖区域流量充分的情况下,本模型相比本地模型的预测准确率有明显的提升。对模型进行不同比例的恶意节点攻击实验...     

基于相似度加速的自适应聚类联邦学习

为了解决联邦学习过程中数据异质性导致模型性能下降的问题,考虑对联邦模型个性化,提出了一种新的基于相似度加速的自适应聚类联邦学习（ACFL）算法,基于客户端本地更新的几何特性和客户端联邦时的正向反馈实现自适应加速聚类,将客户端划分到不同任务簇,同簇中数据分布相似的客户端协同实现聚类联邦学习（CFL）,从而提升模型性能。该算法不需要先验确定类簇数量和迭代划分客户端,在避免现有基于聚类的联邦算法计算成本过高、收敛速度慢等问题的同时保证了模型性能。在常用数据集上使用深度卷积神经网络验证了ACFL的有效性。结果表明,所提算法性能与聚类联邦学习算法相当,优于传统的迭代联邦聚类算法（IFCA）,且具有更快的收敛速度。     

基于联邦学习的本地化差分隐私机制研究

联邦学习与群体学习作为当前热门的分布式机器学习范式，前者能够保护用户数据不被第三方获得的前提下在服务器中实现模型参数共享计算，后者在无中心服务器的前提下利用区块链技术实现所有用户同等地聚合模型参数。但是，通过分析模型训练后的参数，如深度神经网络训练的权值，仍然可能泄露用户的隐私信息。目前，在联邦学习下运用本地化差分隐私(LDP)保护模型参数的方法层出不穷，但皆难以在较小的隐私预算和用户数量下缩小模型测试精度差。针对此问题，该文提出正负分段机制(PNPM)，在聚合前对本地模型参数进行扰动。首先，证明了该机制满足严格的差分隐私定义，保证了算法的隐私性；其次分析了该机制能够在较少的用户数量下保证模型的精度，保证了机制的有效性；最后，在3种主流图像分类数据集上与其他最先进的方法在模型准确性、隐私保护方面进行了比较，表现出了较好的性能。     

一种面向LTE-V2X的联邦学习信道估计算法

基于深度学习的信道估计方法中,训练网络模型需要大量的数据运算,且所有用户数据都需要集中上传至服务器上,存在隐私泄漏的隐患.针对上述问题,提出了一种基于联邦学习的LTE-V2X(Long Term Evolution-Vehicle to Everything)信道估计算法,采用CNN-LSTM-DNN(Convolutional Neural Network-Long Short Term Memory-Deep Neural Network)模型对时变的信道进行估计,并将学习网络模型所需要的计算分配到车载用户中,在降低道旁基站负载的同时也保护了车载用户数据的隐私.仿真结果表明,基于联邦学习的信道估计算法在车载用户高速移动的场景下,较传统的信道估计算法平均有10 dB以上的归一化均方误差(Normalized Mean Square Error,NMSE)增益以及3 dB以上的误码率(Bit Error Rate,BER)增益,且较集中式学习算法相比,NMSE性能差距在3 dB以内;BER性能差距在1 dB以内,所提算法能够有效追踪时变的信道,且与集中式学习算法相比仅损失了极少的性能.