面向异构网络的联邦优化算法 |
| |
引用本文: | 曹桢淼,邵亮,赵文博.面向异构网络的联邦优化算法[J].工业控制计算机,2023(9):10-12. |
| |
作者姓名: | 曹桢淼 邵亮 赵文博 |
| |
作者单位: | 1. 中国航空工业集团公司雷华电子技术研究所;2. 江南大学机械工程学院 |
| |
摘 要: | 联邦学习网络中,全局模型的聚合训练常因边缘设备端的统计异构性而存在收敛问题。针对高度异构环境的适应性问题,提出一种面向异构网络的联邦优化算法q-FedDANE。首先,通过在经典联合近似牛顿型方法中引入衰减参数q,调整衰减梯度校正项和近端项的负面影响,有效提高模型对环境异构性的感知能力,并将每轮算法迭代的设备通信轮次降低至一次,显著减少通信成本和训练开销;其次,模型将随机优化器Adam引入服务器端聚合训练,通过自适应的动态学习率来利用全局信息进行目标优化,加快了模型的收敛速度。实验表明,q-FedDANE算法可以更好地适应环境异构和低设备参与的场景,在高度异构的FEMNIST数据集上,该算法最终获得的测试精度约高出FedDANE的58%。
|
关 键 词: | 联邦学习 联合牛顿型方法 自适应优化器 数据异构 |
|
|