面向异构数据的个性化联邦多任务学习优化方法

联邦学习是一种新兴的分布式机器学习范式,在保护数据隐私的同时协作训练全局模型,但也面临着在数据异构情况下全局模型收敛慢、精度低的问题。针对上述问题,提出一种面向异构数据的个性化联邦多任务学习优化（federated multi-task learning optimization,FedMTO）算法。在包含全局任务和本地任务的多任务学习框架下,考虑个性化联邦优化问题。首先,FedMTO采用参数分解的思想,通过学习自适应分类器组合权重来协调全局分类器和局部分类器,提取全局分类器知识,实现对本地任务的个性化建模;其次,由于本地任务的数据分布不同,FedMTO在本地更新时结合正则化多任务学习策略,关注任务之间的相关性,减小不同本地任务间的差异,从而保证联邦学习过程的公平性;最后,模拟不同的数据异构场景,在MNIST和CIFAR-10数据集上进行实验。实验结果表明,与现有算法相比,FedMTO实现了更高的准确率和更好的公平性,验证了该方法针对联邦学习中的异构数据问题有着良好的效果。