| 基于Reptile的个性化联邦学习算法 |
| |
| 引用本文： | 夏雨,崔文泉. 基于Reptile的个性化联邦学习算法[J]. 计算机系统应用, 2022, 31(12): 294-300 |
| |
| 作者姓名： | 夏雨 崔文泉 |
| |
| 作者单位： | 中国科学技术大学 管理学院 统计与金融系, 合肥 230026 |
| |
| 基金项目： | 国家自然科学基金(71873128, 12171451) |
| |
| 摘 要： | 在联邦学习背景下,由于行业竞争、隐私保护等壁垒,用户数据保留在本地,无法集中在一处训练.为充分利用用户的数据和算力,用户可通过中央服务器协同训练模型,训练得到的公共模型为用户共享,但公共模型对于不同用户会产生相同输出,难以适应用户数据是异质的常见情形.针对该问题,提出一种基于元学习方法 Reptile的新算法,为用户学习个性化联邦学习模型. Reptile可高效学习多任务的模型初始化参数,在新任务到来时,仅需几步梯度下降就能收敛到良好的模型参数.利用这一优势,将Reptile与联邦平均(federated averaging, FedAvg)相结合,用户终端利用Reptile处理多任务并更新参数,之后中央服务器将用户更新的参数进行平均聚合,迭代学习更好的模型初始化参数,最后将其应用于各用户数据后仅需几步梯度下降即可获得个性化模型.实验中使用模拟数据和真实数据设置了联邦学习场景,实验表明该算法相比其他算法能够更快收敛,具有更好的个性化学习能力.
|
| 关 键 词： | 联邦学习 元学习 个性化学习 异质数据 梯度下降 隐私保护 |
| 收稿时间： | 2022-04-19 |
| 修稿时间： | 2022-06-01 |
Personalized Federated Learning Algorithm Based on Reptile |
| |
| XIA Yu,CUI Wen-Quan. Personalized Federated Learning Algorithm Based on Reptile[J]. Computer Systems& Applications, 2022, 31(12): 294-300 |
| |
| Authors: | XIA Yu CUI Wen-Quan |
| |
| Affiliation: | Department of Statistics and Finance, School of Management, University of Science and Technology of China, Hefei 230026, China |
| |
| Abstract: | |
| |
| Keywords: | federated learning meta-learning personalized learning heterogeneous data gradient descent privacy protection |
|
| 点击此处可从《计算机系统应用》浏览原始摘要信息 |
|
点击此处可从《计算机系统应用》下载全文 |
|
