基于联邦学习的隐私保护区域交通流量预测模型

区域交通流量预测是智慧交通系统的一项重要功能。联邦学习可以支持多位置服务提供商(Location Service Provider, LSP)的联合训练,使得训练数据集可以更加全面地覆盖整个区域的交通流量,提高预测准确率。但是,当前基于联邦学习的区域交通流量预测方案存在车辆数据去重、训练节点背叛以及隐私泄露等问题。为此,构建了基于联邦学习的隐私保护区域交通流量预测(Privacy-Preserving Regional Traffic Flow Prediction based on Federated Learning, PPRTFP-FL)模型。模型采用中心部署架构,由联邦中央服务器协调各个LSP联合完成模型的训练,并对全局模型进行梯度聚合与模型更新;采用交叉评价加权聚合的策略来防御部分不可信节点对全局模型的恶意攻击,提升了全局模型的鲁棒性;预测阶段使用同态加密聚合算法,各LSP在不泄露自身运营数据的情况下实现了更准确的流量预测。利用相关数据集进行测试,测试结果表明当训练数据集覆盖区域流量充分的情况下,本模型相比本地模型的预测准确率有明显的提升。对模型进行不同比例的恶意节点攻击实验...     

一种提高联邦学习准确度的算法

联邦学习可以使客户端在不公开其本地数据的情况下合作训练一个共享模型,此种学习方式保证了客户端数据的隐私性。但是,与集中式学习相比,客户端数据的异构性会大大降低联邦学习的性能。数据异构使本地训练的模型向不同方向更新,导致聚合后的全局模型性能较差。为了缓解数据异构对联邦学习造成的影响,算法提出了基于模型对比和梯度投影的联邦学习算法。此算法设计了一个新的损失函数。新损失函数利用全局模型与本地模型的差异性来指导本地模型的更新方向,并且通过降低全局梯度与本地梯度的冲突来提高模型准确度。实验表明相比其他算法,此算法可以在不增加任何通信开销的情况下达到更高的准确度。     

一种面向联邦学习对抗攻击的选择性防御策略

联邦学习(FL)基于终端本地的学习以及终端与服务器之间持续地模型参数交互完成模型训练,有效地解决了集中式机器学习模型存在的数据泄露和隐私风险。但由于参与联邦学习的多个恶意终端能够在进行本地学习的过程中通过输入微小扰动即可实现对抗性攻击,并进而导致全局模型输出不正确的结果。该文提出一种有效的联邦防御策略-SelectiveFL,该策略首先建立起一个选择性联邦防御框架,然后通过在终端进行对抗性训练提取攻击特性的基础上,在服务器端对上传的本地模型更新的同时根据攻击特性进行选择性聚合,最终得到多个适应性的防御模型。该文在多个具有代表性的基准数据集上评估了所提出的防御方法。实验结果表明,与已有研究工作相比能够提升模型准确率提高了2%～11%。     

基于区块链的自适应权重趋势感知联邦学习方案

联邦学习作为一种新兴的分布式机器学习框架,在训练过程中模型更新会占用大量网络带宽,这成为联邦学习获得高精度机器学习模型的瓶颈之一。为了解决以上问题,基于Hyperledger Fabric区块链,设计了一个简单而有效的自适应阈值更新算法,并提出了一种自适应权重趋势感知的联邦学习解决方案。通过客户端训练的本地模型与全局模型方向向量矩阵的相关性,来筛除与全局模型偏差较大的客户端模型,同时在训练过程中自适应地调整筛选阈值。实验结果表明,相比于传统的联邦学习方案,提出方案减少了神经网络模型训练过程中超过20%的网络通信开销以及节约超过五倍的训练资源,提高了近4%的模型精确度,并且训练过程可追溯和去中心化,极大地提高了隐私安全保障。     

冗余数据去除的联邦学习高效通信方法

为了应对终端设备网络带宽受限对联邦学习通信效率的影响，高效地传输本地模型更新以完成模型聚合，提出了一种冗余数据去除的联邦学习高效通信方法。该方法通过分析冗余更新参数产生的本质原因，根据联邦学习中数据非独立同分布特性和模型分布式训练特点，给出新的核心数据集敏感度和损失函数容忍度定义，提出联邦核心数据集构建算法。此外，为了适配所提取的核心数据，设计了分布式自适应模型演化机制，在每次训练迭代前动态调整训练模型的结构和大小，在减少终端与云服务器通信比特数传输的同时，保证了训练模型的准确率。仿真实验表明，与目前最优的方法相比，所提方法减少了17%的通信比特数，且只有0.5%的模型准确率降低。     

基于相似度聚类的可信联邦安全聚合算法

联邦学习能够有效地规避参与方数据隐私问题,但模型训练中传递的参数或者梯度仍有可能泄露参与方的隐私数据,而恶意参与方的存在则会严重影响聚合过程和模型质量。基于此,该文提出一种基于相似度聚类的可信联邦安全聚合方法(FSA-SC)。首先基于客户端训练数据集规模及其与服务器间的通信距离综合评估选出拟参与模型聚合的候选客户端;然后根据候选客户端间的相似度,利用聚类将候选客户端划分为良性客户端和异常客户端;最后,对异常客户端类中的成员利用类内广播和二次协商进行参数替换和记录,检测识别恶意客户端。为了验证FSA-SC的有效性,以联邦推荐为应用场景,选取MovieLens 1M,Netflix数据集和Amazon抽样数据集为实验数据集,实验结果表明,所提方法能够实现高效的安全聚合,且相较对比方法有更高的鲁棒性。     

基于联邦学习的本地化差分隐私机制研究

联邦学习与群体学习作为当前热门的分布式机器学习范式，前者能够保护用户数据不被第三方获得的前提下在服务器中实现模型参数共享计算，后者在无中心服务器的前提下利用区块链技术实现所有用户同等地聚合模型参数。但是，通过分析模型训练后的参数，如深度神经网络训练的权值，仍然可能泄露用户的隐私信息。目前，在联邦学习下运用本地化差分隐私(LDP)保护模型参数的方法层出不穷，但皆难以在较小的隐私预算和用户数量下缩小模型测试精度差。针对此问题，该文提出正负分段机制(PNPM)，在聚合前对本地模型参数进行扰动。首先，证明了该机制满足严格的差分隐私定义，保证了算法的隐私性；其次分析了该机制能够在较少的用户数量下保证模型的精度，保证了机制的有效性；最后，在3种主流图像分类数据集上与其他最先进的方法在模型准确性、隐私保护方面进行了比较，表现出了较好的性能。     

基于5G网络的联邦学习架构及关键技术

针对5G网络下的联邦学习架构及关键技术展开研究，通过5G网络的帮助来提升移动终端收集的小样本数据对于训练全局模型的重要意义。从具有不同本地数据集的终端可以加速模型训练和增强模型泛化能力的理论分析入手，详细阐述了如何利用5G系统优势，实现在通信资源约束下选择具有典型特征的终端成员，从而达到联邦学习效果最大化的目的。基于3GPP 5G系统现有架构，提出了支持联邦学习的5G架构以及典型解决方案流程，最后给出了仿真结果，证明了5G网络对于联邦学习具有良好增益。     

异构边缘计算环境下异步联邦学习的节点分组与分时调度策略

为了克服异构边缘计算环境下联邦学习的3个关键挑战,边缘异构性、非独立同分布数据及通信资源约束,提出了一种分组异步联邦学习（FedGA）机制,将边缘节点分为多个组,各个分组间通过异步方式与全局模型聚合进行全局更新,每个分组内部节点通过分时方式与参数服务器通信。理论分析建立了FedGA的收敛界与分组间数据分布之间的定量关系。针对分组内节点的通信提出了分时调度策略魔镜法（MMM）优化模型单轮更新的完成时间。基于FedGA的理论分析和MMM,设计了一种有效的分组算法来最小化整体训练的完成时间。实验结果表明,FedGA和MMM相对于现有最先进的方法能降低30.1%～87.4%的模型训练时间。     

基于主从博弈的分层联邦学习激励机制研究

为了优化分层联邦学习(FL)全局模型的训练时延,针对实际场景中终端设备存在自私性的问题,该文提出一种基于博弈论的激励机制。在激励预算有限的条件下,得到了终端设备和边缘服务器之间的均衡解和最小的边缘模型训练时延。考虑终端设备数量不同,设计了基于主从博弈的可变激励训练加速算法,使得一次全局模型训练时延达到最小。仿真结果显示,所提出的算法能够有效降低终端设备自私性带来的影响,提高分层联邦学习全局模型的训练速度。     

A federated semi-supervised learning approach for network traffic classification

The classification of network traffic, which involves classifying and identifying the type of network traffic, is the most fundamental step to network service improvement and modern network management. Classic machine learning and deep learning methods have widely adopted in the field of network traffic classification. However, there are two major challenges in practice. One is the user privacy concern in cross-domain traffic data sharing for the purpose of training a global classification model, and the other is the difficulty to obtain large amount of labeled data for training. In this paper, we propose a novel approach using federated semi-supervised learning for network traffic classification, in which the federated server and clients from different domains work together to train a global classification model. Among them, unlabeled data are used on the client side, and labeled data are used on the server side. The experimental results derived from a public dataset show that the accuracy of the proposed approach can reach 97.81%, and the accuracy gap between the federated learning approach and the centralized training method is minimal.     

Towards asynchronous federated learning for heterogeneous edge-powered internet of things

The advancement of the Internet of Things (IoT) brings new opportunities for collecting real-time data and deploying machine learning models. Nonetheless, an individual IoT device may not have adequate computing resources to train and deploy an entire learning model. At the same time, transmitting continuous real-time data to a central server with high computing resource incurs enormous communication costs and raises issues in data security and privacy. Federated learning, a distributed machine learning framework, is a promising solution to train machine learning models with resource-limited devices and edge servers. Yet, the majority of existing works assume an impractically synchronous parameter update manner with homogeneous IoT nodes under stable communication connections. In this paper, we develop an asynchronous federated learning scheme to improve training efficiency for heterogeneous IoT devices under unstable communication network. Particularly, we formulate an asynchronous federated learning model and develop a lightweight node selection algorithm to carry out learning tasks effectively. The proposed algorithm iteratively selects heterogeneous IoT nodes to participate in the global learning aggregation while considering their local computing resource and communication condition. Extensive experimental results demonstrate that our proposed asynchronous federated learning scheme outperforms the state-of-the-art schemes in various settings on independent and identically distributed (i.i.d.) and non-i.i.d. data distribution.     

Federated learning-based privacy-preserving electricity load forecasting scheme in edge computing scenario

In the era of big data, massive amounts of data hold great value. However, much data exists as isolated islands, and the maximum value of the data cannot be fully utilized. Federated learning allows each client to train local data and then share the training model parameters securely, which can address the isolated data island problem and exploit data value while ensuring data privacy and security. Accordingly, in order to securely complete the electric power load forecasting using existing data, this paper constructs a federated learning-based privacy-preserving scheme to support electricity load forecasting in edge computing scenarios. To address the problems of the data-isolated islands and data privacy in electric power systems, this paper proposes a decentralized distributed solution based on the federated learning technique. Our scheme achieves electricity load forecasting for power systems through the federated learning-based framework and uses edge computing architecture to improve real-time data capability and reduce network latency. For the hierarchical scheduling structure in power systems, we divide the system into a cloud-side-device three-layer architecture, which achieves structural coordination and balance, and each layer collects information according to the scheduling control tasks, promoting scheduling effectiveness. Finally, different privacy protection methods are used on the cloud-edge and edge-device sides to significantly enhance data security. Moreover, We have conducted extensive experimental simulations for our proposed scheme. The experimental results show that the relative error of electricity load forecasting is around 1.580%. Meanwhile, our scheme achieves high accuracy and low memory usage. The security analysis proves the feasibility and security of our scheme.     

利用用户移动提高WiFi业务分担能力的用户激励机制研究

WiFi网络可以分担蜂窝网络的通信业务压力,缓解其拥塞状况。然而,WiFi网络的业务分担只能在其覆盖范围内进行。由于用户具有移动性,如果通过提供一些奖励引导WiFi网络覆盖范围之外的用户延迟其在蜂窝网络中的业务、直至其进入WiFi覆盖区再接受服务,WiFi网络的业务分担能力将得到显著提升。该文探讨了运营商通过激励机制鼓励用户延迟其蜂窝网络业务转而接入WiFi网络的过程,并将其建模为两阶段斯塔克博格(Stackelberg)博弈。在该博弈中,运营商期望采取最优的奖励方案,能够兼顾蜂窝网络拥塞和付出的用户奖励。该文推导出了运营商的最优奖励方案。数值结果表明,所提激励机制可以有效降低包括蜂窝网络拥塞代价和奖励用户代价在内的运营商总代价。     

无线信道预测:联邦学习与集中式学习的通信开销

通过预测无线信道可以解决高速移动导致的信道过时问题、或利用预测资源分配提升无线系统的资源利用率和用户体验。尽管对机器学习进行离线训练的时间较长,但利用训练后得到的模型进行在线推断时计算复杂度低,有望解决信道预测这类对实时性要求高的无线任务。联邦学习可以充分利用移动设备采集的数据和计算资源,同时保护隐私敏感的用户数据。对于隐私不敏感的无线数据,应用联邦学习的主要动机之一是相对于需上传原始训练数据的集中式学习能降低通信开销。本文考虑平均信道、瞬时信道和未来接入小区这三个预测问题,对经过模型压缩后联邦学习的上行总数据量与集中式学习进行了比较。研究结果表明,对于所考虑的预测任务,即使经过了几千倍的压缩,联邦学习所需的上行数据量也不一定低于集中式学习,这意味着联邦学习的通信效率依然需要大幅度提高。      

基于联邦学习的无线任务:数据非IID一定影响性能？

作为一种分布式训练框架,联邦学习在无线通信领域有着广阔的应用前景,也面临着多方面的技术挑战,其中之一源于参与训练用户数据集的非独立同分布（Independent and identically distributed,IID）。不少文献提出了解决方法,以减轻户数据集非IID造成的联邦学习性能损失。本文以平均信道增益预测、正交幅度调制信号的解调这两个无线任务以及两个图像分类任务为例,分析用户数据集非IID对联邦学习性能的影响,通过神经网络损失函数的可视化和对模型参数的偏移量进行分析,尝试解释非IID数据集对不同任务影响程度不同的原因。分析结果表明,用户数据集非IID未必导致联邦学习性能的下降。在不同数据集上通过联邦平均算法训练得到的模型参数偏移程度和损失函数形状有很大的差异,二者共同导致了不同任务受数据非IID影响程度的不同;在同一个回归问题中,数据集非IID是否影响联邦学习的性能与引起数据非IID的具体因素有关。      

Review on application progress of federated learning model and security hazard protection

Federated learning is a new type of distributed learning framework that allows multiple participants to share training results without revealing their data privacy. As data privacy becomes more important, it becomes difficult to collect data from multiple data owners to make machine learning predictions due to the lack of data security. Data is forced to be stored independently between companies, creating “data silos”. With the goal of safeguarding data privacy and security, the federated learning framework greatly expands the amount of training data, effectively improving the shortcomings of traditional machine learning and deep learning, and bringing AI algorithms closer to our reality. In the context of the current international data security issues, federated learning is developing rapidly and has gradually moved from the theoretical to the applied level. The paper first introduces the federated learning framework, analyzes its advantages, reviews the results of federated learning applications in industries such as communication and healthcare, then analyzes the pitfalls of federated learning and discusses the security issues that should be considered in applications, and finally looks into the future of federated learning and the application layer.     

基于注意力机制与迁移学习的乳腺钼靶肿块分类

针对乳腺钼靶图像中良恶性肿块难以诊断的问题,提出一种基于注意力机制与迁移学习的乳腺钼靶肿块分类方法,并用于医学影像中乳腺钼靶肿块的良恶性分类。首先,构建一种新的网络模型,该模型将注意力机制CBAM(Convolutional Block Attention Module)与残差网络ResNet50相结合,用于提高网络对肿块病变特征的提取能力,增强特定语义的特征表示。其次,提出一种新的迁移学习方法,用切片数据集代替传统方法中作为迁移学习源域的ImageNet,完成局部肿块切片到全局乳腺图片的领域自适应学习,可用于提升网络对细节病理特征的感知能力。实验结果表明,所提方法在局部乳腺肿块切片数据集和全局乳腺钼靶数据集上的AUC(Area Under Receiver Operating Characteristics Curve)分别达到0.8607和0.8081。结果证实本文分类方法的有效性。     

一种基于优化引导的无线联邦学习异步训练机制

针对在数据异构和资源异构的无线网络中联邦学习训练效率低及训练能耗高的问题,面向图像识别任务,提出了基于优化引导的异步联邦学习算法AFedGuide。利用较高样本多样性的客户端模型的引导作用,提高单轮聚合有效性。采用基于训练状态的模型增量异步更新机制,提高模型更新实时性以及信息整合能力。设计基于模型差异性的训练决策,修正优化方向。仿真结果显示,相较于对比算法,AFedGuide的训练时长平均减少67.78%,系统能耗平均节省65.49%,客户端的准确率方差平均减少25.5%,说明在客户端数据异构和资源异构的无线网络下,AFedGuide可以在较短的训练时间内以较小的训练能耗完成训练目标,并维持较高的训练公平性和模型适用性。