基于联邦学习的本地化差分隐私机制研究

联邦学习与群体学习作为当前热门的分布式机器学习范式,前者能够保护用户数据不被第三方获得的前提下在服务器中实现模型参数共享计算,后者在无中心服务器的前提下利用区块链技术实现所有用户同等地聚合模型参数。但是,通过分析模型训练后的参数,如深度神经网络训练的权值,仍然可能泄露用户的隐私信息。目前,在联邦学习下运用本地化差分隐私(LDP)保护模型参数的方法层出不穷,但皆难以在较小的隐私预算和用户数量下缩小模型测试精度差。针对此问题,该文提出正负分段机制(PNPM),在聚合前对本地模型参数进行扰动。首先,证明了该机制满足严格的差分隐私定义,保证了算法的隐私性;其次分析了该机制能够在较少的用户数量下保证模型的精度,保证了机制的有效性;最后,在3种主流图像分类数据集上与其他最先进的方法在模型准确性、隐私保护方面进行了比较,表现出了较好的性能。     

联邦学习中的模型逆向攻防研究综述

联邦学习作为一种分布式机器学习技术可以解决数据孤岛问题,但机器学习模型会无意识地记忆训练数据,导致参与方上传的模型参数与全局模型会遭受各种隐私攻击。针对隐私攻击中的模型逆向攻击,对现有的攻击方法进行了系统总结。首先,概括并详细分析了模型逆向攻击的理论框架;其次,从威胁模型的角度对现有的攻击方法进行总结分析与比较;再次,总结与比较了不同技术类型的防御策略;最后,对现有模型逆向攻击常用的评估标准及数据集进行汇总,并对模型逆向攻击现有的主要挑战以及未来研究方向进行总结。