基于使用MapReduce并行的同态加密和梯度选择的联邦迁移学习算法

机器学习的发展依赖大量可用的数据。但是,在现实中数据分布在大量不同的企业和组织中,并且受到很多法律和现实情况的限制,将这些分散在各处的数据合并成一个拥有大量数据的数据集并不现实。为了解决机器学习领域的这一挑战,引入了一个新的算法和框架,称之为联邦迁移学习(Federated Transfer Learning,FTL)。FTL在允许不损害用户隐私的情况下共享知识,并且也允许跨域传输互补知识,因此可以利用源域中丰富的标签,来为目标域建立一个灵活而有效的模型。在联邦迁移学习中,使用了同态加密算法来保证在传输知识时不泄露用户隐私,在提出的安全联邦迁移学习中,使用了并行方法来提升加密速度。在已有的知识基础上,结合了同态加密和Hadoop环境下MapReduce并行框架,提出了基于MapReduce并行同态加密的联邦迁移学习算法,并对该方案的安全性和正确性进行了理论的分析。论文还在联邦迁移学习中,引入了梯度选择算法Top-K,以此来减少通信开销。实验结果表明,基于MapReduce并行同态加密的联邦迁移学习算法,可以更加有效地减少数据加密的时间损耗,训练的准确率和明文训练达到同一水平。

Federated transfer learning algorithm based on parallel homomorphic encryption using mapreduce and gradient selection