一种新的参数掩盖联邦学习隐私保护方案

随着数据隐私保护相关的法律法规相继出台,传统集中式学习模式中的隐私数据暴露问题已经成为制约人工智能发展的重要因素.联邦学习的提出解决了这一问题,但是现有的联邦学习存在模型参数泄露敏感信息、依赖可信第三方服务器等问题.文章提出了一种新的参数掩盖联邦学习隐私保护方案,能够抵御服务器攻击、用户攻击、服务器和少于t个用户的联合...     

支持多数不规则用户的隐私保护联邦学习框架

针对联邦学习存在处理大多数不规则用户易引起聚合效率降低,以及采用明文通信导致参数隐私泄露的问题,基于设计的安全除法协议构建针对不规则用户鲁棒的隐私保护联邦学习框架.该框架通过将模型相关计算外包给两台边缘服务器以减小采用同态加密产生的高额计算开销,不仅允许模型及其相关信息以密文形式在边缘服务器上进行密文聚合,还支持用户在...     

联邦学习中的隐私保护技术

联邦学习是顺应大数据时代和人工智能技术发展而兴起的一种协调多个参与方共同训练模型的机制.它允许各个参与方将数据保留在本地,在打破数据孤岛的同时保证参与方对数据的控制权.然而联邦学习引入了大量参数交换过程,不仅和集中式训练一样受到模型使用者的威胁,还可能受到来自不可信的参与设备的攻击,因此亟需更强的隐私手段保护各方持有的...     

联邦学习隐私保护机制综述

随着数据孤岛的出现和隐私意识的增强,传统的中心化的机器学习模式遇到了一系列挑战。联邦学习作为一种新兴的隐私保护的分布式机器学习模型迅速成为一个热门的研究问题。有研究表明,机器学习模型的梯度会泄露用户数据集的隐私,能够被攻击者利用以获取非法的利益,因此,需要采用一些隐私保护的机制来保护这种敏感信息。本文研究了当前联邦学习系统中采用的隐私保护机制,并根据研究者采用的隐私保护技术,将联邦学习中的隐私保护机制分为五类,总结了不同的隐私保护机制的研究思路和研究进展。通过对当前联邦学习中使用的隐私保护机制的研究,联邦学习系统的设计人员可以提高联邦学习系统的安全性,更好地保护数据隐私。     

联邦学习中的隐私保护技术研究综述

近年来,联邦学习成为解决机器学习中数据孤岛与隐私泄露问题的新思路。联邦学习架构不需要多方共享数据资源,只要参与方在本地数据上训练局部模型,并周期性地将参数上传至服务器来更新全局模型,就可以获得在大规模全局数据上建立的机器学习模型。联邦学习架构具有数据隐私保护的特质,是未来大规模数据机器学习的新方案。然而,该架构的参数交互方式可能导致数据隐私泄露。目前,研究如何加强联邦学习架构中的隐私保护机制已经成为新的热点。从联邦学习中存在的隐私泄露问题出发,探讨了联邦学习中的攻击模型与敏感信息泄露途径,并重点综述了联邦学习中的几类隐私保护技术：以差分隐私为基础的隐私保护技术、以同态加密为基础的隐私保护技术、以安全多方计算（SMC）为基础的隐私保护技术。最后,探讨了联邦学习中隐私保护中的若干关键问题,并展望了未来研究方向。     

面向用户隐私保护的联邦安全树算法

针对联邦学习算法在用户行为预测中存在的准确率低和运行效率不高等问题，提出一种无损失的联邦学习安全树（FLSectree）算法。首先，通过对损失函数的推导，证明损失函数的一阶偏导数与二阶偏导数为敏感数据，采用特征索引序列的扫描和分裂来返回加密后的最佳分裂点，以保护敏感数据不被泄露；接着，通过对实例空间的更新来继续向下分裂并寻找下一个最佳分裂点，直至满足终止条件后结束训练；最后，利用训练后的结果使得各参与方得到本地算法参数。实验结果表明，FLSectree算法能够在保护数据隐私的前提下有效提高用户行为预测算法的准确率和训练效率，与联邦学习FATE（Federated AI Technology Enabler）框架中的SecureBoost算法相比，FLSectree算法在用户行为预测中的准确率提高了9.09%，运行时间降低了87.42%，训练结果与集中式Xgboost算法一致。     

支持数据隐私保护的联邦深度神经网络模型研究

近些年, 人工智能技术已经在图像分类、目标检测、语义分割、智能控制以及故障诊断等领域得到广泛应用, 然而某些行业(例如医疗行业)由于数据隐私的原因, 多个研究机构或组织难以共享数据训练联邦学习模型. 因此, 将同态加密(Homomorphic encryption, HE)算法技术引入到联邦学习中, 提出一种支持数据隐私保护的联邦深度神经网络模型(Privacy-preserving federated deep neural network, PFDNN). 该模型通过对其权重参数的同态加密保证了数据的隐私性, 并极大地减少了训练过程中的加解密计算量. 通过理论分析与实验验证, 所提出的联邦深度神经网络模型具有较好的安全性, 并且能够保证较高的精度.     

基于安全多方计算和差分隐私的联邦学习方案

联邦学习为非互信实体间的合作学习提供了一种新的解决思路,通过本地训练和中央聚合的模式,在训练全局模型的同时保护各实体的本地数据隐私。然而相关研究表明,该模式下无论是用户上传的局部模型,还是中央聚合的全局模型,都会泄露用户数据的信息。安全多方计算和差分隐私作为两种主流的隐私保护技术,分别保护计算过程和计算结果的隐私。目前很少有工作结合这两种技术的优势,用于联邦学习训练全流程的防护。将安全多方计算、差分隐私相结合,设计了一种面向深度学习的隐私保护联邦学习方案,用户对本地训练得到的局部模型添加扰动,并秘密共享至多个中央服务器,服务器间通过多方计算协议对局部模型进行聚合,得到一个共享的秘密全局模型。该方案在保护用户上传的局部信息不被窃取的同时,防止敌手从聚合模型等全局共享信息展开恶意推断,并具有容忍用户掉线和兼容多种聚合函数等优点。此外,针对不存在可信中心的现实应用,上述方案可自然拓展至去中心化场景。实验表明,所提方案与相同条件下的明文联邦学习效率相近,且能取得同水平的模型准确率。     

面向用户隐私保护的联邦安全树算法

针对联邦学习算法在用户行为预测中存在的准确率低和运行效率不高等问题,提出一种无损失的联邦学习安全树（FLSectree）算法。首先,通过对损失函数的推导,证明损失函数的一阶偏导数与二阶偏导数为敏感数据,采用特征索引序列的扫描和分裂来返回加密后的最佳分裂点,以保护敏感数据不被泄露;接着,通过对实例空间的更新来继续向下分裂并寻找下一个最佳分裂点,直至满足终止条件后结束训练;最后,利用训练后的结果使得各参与方得到本地算法参数。实验结果表明,FLSectree算法能够在保护数据隐私的前提下有效提高用户行为预测算法的准确率和训练效率,与联邦学习FATE（Federated AI Technology Enabler）框架中的SecureBoost算法相比,FLSectree算法在用户行为预测中的准确率提高了9.09%,运行时间降低了87.42%,训练结果与集中式Xgboost算法一致。     

边缘计算下的轻量级联邦学习隐私保护方案

随着物联网和大数据技术的高速发展,以传统云计算模式为代表的集中式学习效率低下,且易受到单点攻击、共谋攻击、中间人攻击等一系列攻击手段,造成数据安全的隐患。边缘计算模式使得分布式联邦学习成为了可能,然而,联邦学习虽然能够保证数据在本地的安全和隐私,但是也面临众多安全威胁,如梯度泄露攻击,此外,效率问题也是联邦学习的痛点所在。为了保障边缘计算场景下的模型训练安全,提出了一种边缘计算下的轻量级联邦学习隐私保护方案(Lightweight Federated Learning Privacy Protection Scheme Under Edge Computing, LFLPP)。首先,提出一种云-边-端分层的联邦学习框架;其次,对不同层进行隐私保护;最后,提出一种周期性更新策略,极大地提高了收敛速度。使用乳腺癌肿瘤数据集和CIFAR10数据集在LR模型和Resnet18残差模型上进行训练和测试,同时使用CIFAR10数据集与FedAvg和PPFLEC(Privacy-Preserving Federated Learning for Internet of Medical Things ...     

联邦学习中的隐私问题研究进展

随着大数据、云计算等领域的蓬勃发展,重视数据安全与隐私已经成为世界性的趋势,不同团体为保护自身利益和隐私不愿贡献数据,形成了数据孤岛.联邦学习使数据不出本地就可被多方利用,为解决数据碎片化和数据隔离等问题提供了解决思路.然而越来越多研究表明,由谷歌首先提出的联邦学习算法不足以抵抗精心设计的隐私攻击,因此如何进一步加强隐私防护,保护联邦学习场景下的用户数据隐私成为一个重要问题.对近些年来联邦学习隐私攻击与防护领域取得的成果进行了系统总结.首先介绍了联邦学习的定义、特点和分类;然后分析了联邦学习场景下隐私威胁的敌手模型,并根据敌手攻击目标对隐私攻击方法进行了分类和梳理;介绍了联邦学习中的主流隐私防护技术,并比较了各技术在实际应用中的优缺点;分析并总结了6类目前联邦学习的隐私保护方案;最后指出目前联邦学习隐私保护面临的挑战,展望了未来可能的研究方向.     

非独立同分布数据下的去中心化联邦学习策略

区块链具有不可篡改性和去中心化的特点,其与联邦学习的结合成为人工智能领域的热门主题。目前去中心化联邦学习存在训练数据非独立同分布导致的性能下降问题,为了解决这个问题,提出一种模型相似度的计算方法,然后设计一种基于该模型相似度的去中心化联邦学习策略,并使用五个联邦学习任务进行测试,分别是CNN模型训练fashion-mnist数据集、alexnet模型训练cifar10数据集、TextRnn模型训练THUsnews数据集、Resnet18模型训练SVHN数据集和LSTM模型训练sentiment140数据集。实验结果表明,设计的策略在五个任务非独立同分布的数据下进行去中心化联邦学习,准确率分别提升了2.51、5.16、17.58、2.46和5.23个百分点。     

机器学习的安全问题及隐私保护

近年来,机器学习迅速地发展,给人们带来便利的同时,也带来极大的安全隐患.机器学习的安全与隐私问题已经成为其发展的绊脚石.机器学习模型的训练和预测均是基于大量的数据,而数据中可能包含敏感或隐私信息,随着数据安全与隐私泄露事件频发、泄露规模连年加剧,如何保证数据的安全与隐私引发科学界和工业界的广泛关注.首先,介绍了机器学习隐私保护中的敌手模型的概念;其次总结机器学习在训练和预测阶段常见的安全及隐私威胁,如训练数据的隐私泄露、投毒攻击、对抗攻击、隐私攻击等.随后介绍了常见的安全防御方法和隐私保护方法,重点介绍了同态加密技术、安全多方计算技术、差分隐私技术等,并比较了典型的方案及3种技术的适用场景.最后,展望机器学习隐私保护的未来发展趋势和研究方向.     

基于加权贝叶斯网络的隐私数据发布方法

数据发布中的隐私保护问题是目前信息安全领域的一个研究热点.如何有效地防止敏感隐私信息泄露已成为信息安全领域的重要课题.差分隐私保护技术是最新发展起来的隐私保护技术,它的最大优点是不对攻击者的背景知识做任何特定假设,该技术不但能为隐私数据发布提供强有力的安全防护,而且在实践中也得到了广泛应用.现有的差分隐私保护技术并不能全面有效地处理高维隐私数据的发布问题,虽然基于贝叶斯网络的隐私数据发布方法(PrivBayes)有效地处理了高维数据集转化为低维数据集的发布问题,但这种方法也存在一定的缺陷和不足.基于对贝叶斯网络的隐私数据发布方法的分析研究和改进优化,建立了加权贝叶斯网络隐私数据发布方法(加权PrivBayes),通过理论分析和实验评估,该方法不仅能保证原始隐私发布数据集的隐私安全性,同时又能大幅提升原始隐私发布数据集的数据精确性.     

基于数据属性修改的联邦学习隐私保护策略

针对大部分联邦学习防御方法存在降低联邦学习实用性、计算效率低和防御攻击种类单一等问题,文章提出一种基于变分自编码器的属性修改框架,在客户端对数据预处理以达到保护联邦学习的目的。首先,为了提高算法计算效率,文章提出一种基于迁移学习的变分自编码器训练方案来减少客户端训练周期;其次,利用变分自编码器具有连续性的潜变量,设计了一种基于属性分布约束规则的属性修改方案来实现客户端训练数据的重构。实验结果表明,属性修改方案可以成功分离和控制图像的属性向量,通过将原始图像改变为带有相应属性的重构图像,保护了客户端数据隐私。将修改后的图像用于训练联邦学习分类任务,其准确率可达94.44%,体现了方案的可用性,并且该方案可以成功防御非主属性隐私泄露和基于数据中毒的后门攻击。     

隐私保护且支持用户撤销的属性基加密方案

自从Sahai和Waters提出了基于属性加密的概念,密文策略的属性基加密(ciphertext-policy attribute-based encryption, CP-ABE)体制因其使用场景的广泛性受到了各界的青睐.对于使用移动设备进行属性基加解密的用户而言,大量的双线性对运算带来的电池耗费是不经济的;同时,由于在云环境系统下用户属性的动态性和访问结构的公开性,也会导致属性失效和用户隐私泄露的问题.为了解决上述问题,构造了一个隐私保护的且支持用户撤销的属性基加密方案,达到了完全隐藏访问结构并通过密钥更新机制灵活地实现用户撤销;同时,该方案将计算代价较高的双线性对操作外包给云存储提供方执行,以降低移动设备用户的计算代价,为了遏制云端的不端行为或对云端恶意攻击,提供了对转换密文的验证功能,保证了转换后密文未被非法替换,使之更适用于安全的手机云应用.     

FPCBC: 基于众包聚合的联邦学习隐私保护分类系统

随着企业、政府以及私人等数据资产的不断增加,机器学习领域对于图像等分类应用需求也随之不断增涨．为了应对各种实际的需求,机器学习即服务(machine learning as a service, MLAAS)的云服务部署思想逐渐成为主流．然而,基于云服务实现的应用往往会带来严重的数据隐私安全问题．FPCBC(federated learning privacy-preserving classification system based on crowdsourcing aggregation)是一种基于众包聚合的联邦学习隐私保护分类系统．它将分类任务众包给多个边缘参与方并借助云计算来完成,不再使用联合训练理想模型的方式来得到可信度高的分类结果,而是让参与方先根据本地有限数据训练出的模型进行推理,然后再使用成熟的算法对推理结果聚合得到较高准确率的分类．重要的是,保证了数据查询方不会泄露任何隐私数据,很好地解决了传统MLAAS的隐私安全问题．在系统实现中,使用同态加密来对需要进行机器学习推理的图像数据加密;改善了一种众包的联邦学习分类算法,并通过引入双服务器机制来实现整个系统的隐私保护计算．通过实验和性能分析表明了该系统的可行性,且隐私保护的安全程度得到了显著提升,更适用于实际生活中对隐私安全需求较高的应用场景.     

一种面向云边端系统的分层异构联邦学习方法

联邦学习(federated learning)通过用上传模型参数的方式取代了数据传输,降低了隐私泄露的风险.然而,将联邦学习应用到云边端框架下时,一方面,由于云边端存在边缘和终端两层分布式框架,对传统的单层联邦学习提出挑战;另一方面,终端节点因资源异构难以训练相同复杂度的模型,无法满足联邦学习客户端统一模型的假设.针对上述第1个问题,从传统的单层联邦学习方法出发,设计了面向云边端分层部署模型的联邦学习方案;针对第2个问题,通过在终端模型插入分支的方式,将大模型拆分为不同复杂度的小模型适配不同客户端资源状态,从而实现异构联邦学习.同时,考虑到终端存在大量无标签数据无法进行有效模型训练的问题,还提出了针对联邦框架的半监督学习方法,实现对无标签数据的有效利用.最终,通过MNIST和FashionMNIST数据集对方法进行了验证.实验结果表明,在有效避免隐私泄露的前提下,相比于其他同构和异构学习方法,所提方法最大可提升22%的模型准确率;在计算、通信、存储等资源开销上均有明显降低.