摘 要: | 为了应对终端设备网络带宽受限对联邦学习通信效率的影响,高效地传输本地模型更新以完成模型聚合,提出了一种冗余数据去除的联邦学习高效通信方法。该方法通过分析冗余更新参数产生的本质原因,根据联邦学习中数据非独立同分布特性和模型分布式训练特点,给出新的核心数据集敏感度和损失函数容忍度定义,提出联邦核心数据集构建算法。此外,为了适配所提取的核心数据,设计了分布式自适应模型演化机制,在每次训练迭代前动态调整训练模型的结构和大小,在减少终端与云服务器通信比特数传输的同时,保证了训练模型的准确率。仿真实验表明,与目前最优的方法相比,所提方法减少了17%的通信比特数,且只有0.5%的模型准确率降低。
|