抗拜占庭攻击的隐私保护联邦学习

联邦学习是一种隐私保护的分布式机器学习框架,可以让各方参与者在不披露本地数据的前提下共建模型.然而,联邦学习仍然面临拜占庭攻击和用户隐私泄漏等威胁.现有研究结合鲁棒聚合规则和安全计算技术以同时应对上述安全威胁,但是这些方案难以兼顾模型鲁棒性与计算高效性.针对此问题,本文提出一种抗拜占庭攻击的隐私保护联邦学习框架Sec FedDMC,在保护用户数据隐私的条件下实现高效的拜占庭攻击检测与防御.基础方案Fed DMC采用“先降维后聚类”的策略,设计了高效精准的恶意客户端检测方法.此外,该方法利用的随机主成分分析降维技术和K-均值聚类技术主要由线性运算构成,从而优化了算法在安全计算环境中的适用性.针对基础方案存在的用户数据隐私泄露问题,提出了基于安全多方计算技术的隐私增强方案Sec FedDMC.基于轻量级加法秘密分享技术,设计安全的正交三角分解协议和安全的特征分解协议,从而构建双服务器模型下隐私保护的拜占庭鲁棒联邦学习方案,以保护模型训练和拜占庭节点识别过程中的用户隐私.经实验验证,Sec FedDMC在保护用户隐私的前提下,可以高效准确地识别拜占庭攻击节点,具有较好的鲁棒性.其中,本方案与...     

联邦学习的隐私保护与安全防御研究综述

联邦学习作为人工智能领域的新兴技术,它兼顾处理“数据孤岛”和隐私保护问题,将分散的数据方联合起来训练全局模型同时保持每一方的数据留在本地.联邦学习在很大程度上给需要将数据融合处理的数据敏感型应用带来了希望,但它仍然存在一些潜在的隐私泄露隐患和数据安全问题.为了进一步探究基于联邦学习的隐私保护和安全防御技术研究现状,本文对联邦学习的隐私和安全问题在现有最前沿的研究成果上进行了更清晰的分类,并对威胁隐私和安全的手段进行了威胁强度的划分.本文首先介绍了涉及联邦学习隐私和安全问题的威胁根源,并从多个方面罗列了其在联邦学习中的破坏手段及威胁性.其次,本文总结了关于联邦学习隐私和安全问题所面临的挑战.对于隐私保护而言,本文同时分析了包括单个恶意参与方或中央服务器的攻击和多方恶意合谋泄露隐私的场景,并探讨了相应的最先进保护技术.对于安全问题而言,本文着重分析了影响全局模型性能的多种恶意攻击手段,并系统性地阐述了先进的安全防御方案,以帮助规避构建安全的大规模分布式联邦学习计算环境中潜在的风险.同时与其他联邦学习相关综述论文相比,本文还介绍了联邦学习的多方恶意合谋问题,对比分析了现有的联邦安全聚合算法及...     

基于联邦学习的入侵检测机制研究

大数据时代的到来使得数据成为社会发展的重要战略资源。然而随着网络环境日趋复杂化,隐私泄露和恶意攻击事件层出不穷。联邦学习作为一种新型数据共享模型,能够在保护数据隐私的前提下进行数据共享,有效解决了传统入侵检测模型的弊端。文章首先介绍了联邦学习及入侵检测模型的构成及特点,提出了基于联邦学习的入侵检测机制,并深入分析了该检测机制在检测准确率及效率上有效提升的可行性。通过对模型进行需求分析和设计,并以函数编程进行模拟仿真实验,实现原型系统开发。实验表明联邦学习机制能够在保证参与客户端数据隐私安全的前提下实现多方攻击行为日志的共享。多组控制变量的对照实验表明,基于联邦学习的入侵检测机制在检测准确率及效率上得到明显改善。     

基于联邦学习和深度残差网络的入侵检测

深度学习被广泛应用到入侵检测领域,但大多数研究的重点是通过改进算法提高入侵检测的准确率,却忽视了在实际应用中单个用户拥有的数据无法满足训练需求的问题。为了实现网络入侵检测模型在训练过程中保护用户隐私安全的同时,仍具有对网络流量数据检测异常的能力,提出一种基于联邦学习并融合深度残差网络（ResNet）和注意力机制的入侵检测模型FL-SEResNet(Federation Learning Squeeze-and-Excitation network ResNet)。在训练过程中,通过对数据压缩、解压、分发、加密和聚合等操作,可以在保护参与者数据隐私的同时,通过多方参与提供足够的训练数据。在NSL-KDD和UNSW-NB15数据集上,所提模型在多分类实验的识别准确率分别为84.22%和80.38%。在NSL-KDD上,与同属于联邦学习的CNN-FL相比,对多分类的识别准确率提升了1.82个百分点,对少数类R2L(Remote to Local)的识别准确率提升了24.94个百分点。     

加密恶意流量检测及对抗综述

网络流量加密在保护企业数据和用户隐私的同时, 也为恶意流量检测带来新的挑战. 根据处理加密流量的方式不同, 加密恶意流量检测可分为主动检测和被动检测. 主动检测包括对流量解密后的检测和基于可搜索加密技术的检测, 其研究重点是隐私安全的保障和检测效率的提升, 主要分析可信执行环境和可控传输协议等保障措施的应用. 被动检测是在用户无感知且不执行任何加密或解密操作的前提下, 识别加密恶意流量的检测方法, 其研究重点是特征的选择与构建, 主要从侧信道特征、明文特征和原始流量等3类特征分析相关检测方法, 给出有关模型的实验评估结论. 最后, 从混淆流量特征、干扰学习算法和隐藏相关信息等角度, 分析加密恶意流量检测对抗研究的可实施性.     

隐私保护的加密流量检测研究

现有的加密流量检测技术缺少对数据和模型的隐私性保护,不仅违反了隐私保护法律法规,而且会导致严重的敏感信息泄露.主要研究了基于梯度提升决策树(GBDT)算法的加密流量检测模型,结合差分隐私技术,设计并实现了一个隐私保护的加密流量检测系统.在CICIDS2017数据集下检测了 DDoS攻击和端口扫描的恶意流量,并对系统性能...     

基于内积加密的双向隐私保护医疗诊断云服务方案

部署于云平台的医疗诊断服务不仅推进了医疗资源的整合,还提高了病情诊断的精准性和高效性,但是该场景用户失去了对个人信息的掌控,对高度敏感的病理数据来说安全与隐私保护是实现基于云平台决断的前提.云端医疗数据的隐私保护可以通过差分隐私、安全多方计算和同态加密等密码学技术实现,避免泄露用户医疗大数据中的隐私信息.差分隐私中引入随机噪声会降低计算精度,安全多方计算技术面临昂贵的通信成本,同态加密需要花费较大的时间加密深度学习模型.本文基于内积加密技术提出一种实现双向隐私保护的医疗诊断云服务方案,不仅保护用户医疗大数据中的个人隐私,而且帮助模型开发方避免云端部署造成的模型信息泄漏风险,甚至能降低隐私保护技术对医疗诊断效率和准确率造成的影响.为了保障用户个人隐私,方案中用户上传密文形态的个人医疗数据到云端服务器,云服务器通过密文数据预测疾病的结果.该方案的疾病诊断服务由云服务器提供并维护,而疾病诊断服务的实现依赖于模型开发方部署到云端的模型.模型开发方使用自行的深度学习算法训练明文形式的数据集,并获得预训练模型,使之可以处理密文形式的数据.实验分析表明,所述模型能完成CRC-VAL-HE-7K数据集...     

基于使用MapReduce并行的同态加密和梯度选择的联邦迁移学习算法

机器学习的发展依赖大量可用的数据。但是,在现实中数据分布在大量不同的企业和组织中,并且受到很多法律和现实情况的限制,将这些分散在各处的数据合并成一个拥有大量数据的数据集并不现实。为了解决机器学习领域的这一挑战,引入了一个新的算法和框架,称之为联邦迁移学习(Federated Transfer Learning,FTL)。FTL在允许不损害用户隐私的情况下共享知识,并且也允许跨域传输互补知识,因此可以利用源域中丰富的标签,来为目标域建立一个灵活而有效的模型。在联邦迁移学习中,使用了同态加密算法来保证在传输知识时不泄露用户隐私,在提出的安全联邦迁移学习中,使用了并行方法来提升加密速度。在已有的知识基础上,结合了同态加密和Hadoop环境下MapReduce并行框架,提出了基于MapReduce并行同态加密的联邦迁移学习算法,并对该方案的安全性和正确性进行了理论的分析。论文还在联邦迁移学习中,引入了梯度选择算法Top-K,以此来减少通信开销。实验结果表明,基于MapReduce并行同态加密的联邦迁移学习算法,可以更加有效地减少数据加密的时间损耗,训练的准确率和明文训练达到同一水平。     

联邦学习中的隐私问题研究进展

随着大数据、云计算等领域的蓬勃发展,重视数据安全与隐私已经成为世界性的趋势,不同团体为保护自身利益和隐私不愿贡献数据,形成了数据孤岛.联邦学习使数据不出本地就可被多方利用,为解决数据碎片化和数据隔离等问题提供了解决思路.然而越来越多研究表明,由谷歌首先提出的联邦学习算法不足以抵抗精心设计的隐私攻击,因此如何进一步加强隐私防护,保护联邦学习场景下的用户数据隐私成为一个重要问题.对近些年来联邦学习隐私攻击与防护领域取得的成果进行了系统总结.首先介绍了联邦学习的定义、特点和分类;然后分析了联邦学习场景下隐私威胁的敌手模型,并根据敌手攻击目标对隐私攻击方法进行了分类和梳理;介绍了联邦学习中的主流隐私防护技术,并比较了各技术在实际应用中的优缺点;分析并总结了6类目前联邦学习的隐私保护方案;最后指出目前联邦学习隐私保护面临的挑战,展望了未来可能的研究方向.     

支持K-近邻搜索的移动社交网络隐私保护方案

聚焦移动社交网络特征和用户隐私保护的多元需求,本文首次提出一种支持K-近邻搜索的移动社交网络隐私保护方案.方案首先构建融合细粒度访问控制的位置隐私安全模型,在此模型下设计面向移动终端的轻量级位置加密算法,并基于同态加密机制以及安全多方计算思想设计位置密文重加密协议以及K-近邻搜索协议,从而构建安全可信的协同搜索架构,保证服务提供商在无需解密位置的前提下,对用户与好友之间距离进行安全计算并排序,在保护用户位置隐私的同时满足其近邻搜索服务的可用性;除此之外,为了满足细粒度访问控制,方案提出基于公钥广播加密的好友动态管理机制,用户无需为原有好友更新各自的密钥集合的情况下即可赋予或移除好友搜索其位置的权力,实现常数级好友身份认证.安全性方面,方案在随机预言模型下满足自适应L语义安全性以及撤销安全性.性能方面,与单服务器架构的相关工作相比,本方案降低了用户与服务器之间通信代价的同时,减少了向服务器泄露的位置信息与搜索模式,实现移动社交网络隐私性与可用性的有效平衡.     

基于位置匿名的数据库隐私可搜索加密算法

当前数据库隐私可搜索加密算法忽略了对用户位置信息的加密,导致传统算法存在恶意攻击数据拦截量低、数据加密误差大和隐私等级低的问题.现提出基于位置匿名的数据库隐私可搜索加密算法.预处理用户位置信息的比特序列,并通过分段线性编码加密隐藏用户位置信息.加密用户搜索数据,完成用户信息二次加密,以压缩函数为基础搜索出最全面的关键词...     

基于广播加密的P2P社交网络方案的设计与实现

针对当前社交网络个人隐私信息泄露的问题,面向P2P社交网络提出一种匿名公钥广播加密方案,包括初始化公钥,分发私钥,加密和解密。并在Android平台下设计实现了基于广播加密的P2P社交网络系统,系统主要包括数据存储模块,移动终端模块,安全加密模块以及PKG管理模块。同时对Android平台下的P2P社交网络在恶意用户截获私聊攻击,恶意下载攻击,篡改攻击和重放攻击的安全性进行了分析,分析结果表明该系统安全可靠。     

一种非独立同分布问题下的联邦数据增强算法

在联邦学习中,由于用户的本地数据分布会随着用户所在地以及用户偏好而变动,数据的非独立同分布下的用户数据可能缺少某些标签类别的数据,在模型聚合中显著影响了迭代更新速率和最终的模型性能。为了解决这一问题,提出了一种基于条件生成对抗网络进行联邦数据增强的算法,能够在不涉及泄露用户隐私的前提下,通过生成对抗网络模型对数据偏斜的参与者扩增少量数据,大幅提升非独立同分布数据划分下联邦学习算法的性能。实验结果表明,与当前主流的联邦算法相比,该算法在非独立同分布设置下的MNIST,CIFAR-10数据集上的预测精度分别提升了1.18%和14.6%,显示出了该算法对非独立同分布问题的有效性和实用性。     

基于安全多方计算和差分隐私的联邦学习方案

联邦学习为非互信实体间的合作学习提供了一种新的解决思路,通过本地训练和中央聚合的模式,在训练全局模型的同时保护各实体的本地数据隐私。然而相关研究表明,该模式下无论是用户上传的局部模型,还是中央聚合的全局模型,都会泄露用户数据的信息。安全多方计算和差分隐私作为两种主流的隐私保护技术,分别保护计算过程和计算结果的隐私。目前很少有工作结合这两种技术的优势,用于联邦学习训练全流程的防护。将安全多方计算、差分隐私相结合,设计了一种面向深度学习的隐私保护联邦学习方案,用户对本地训练得到的局部模型添加扰动,并秘密共享至多个中央服务器,服务器间通过多方计算协议对局部模型进行聚合,得到一个共享的秘密全局模型。该方案在保护用户上传的局部信息不被窃取的同时,防止敌手从聚合模型等全局共享信息展开恶意推断,并具有容忍用户掉线和兼容多种聚合函数等优点。此外,针对不存在可信中心的现实应用,上述方案可自然拓展至去中心化场景。实验表明,所提方案与相同条件下的明文联邦学习效率相近,且能取得同水平的模型准确率。     

支持数据隐私保护的联邦深度神经网络模型研究

近些年, 人工智能技术已经在图像分类、目标检测、语义分割、智能控制以及故障诊断等领域得到广泛应用, 然而某些行业(例如医疗行业)由于数据隐私的原因, 多个研究机构或组织难以共享数据训练联邦学习模型. 因此, 将同态加密(Homomorphic encryption, HE)算法技术引入到联邦学习中, 提出一种支持数据隐私保护的联邦深度神经网络模型(Privacy-preserving federated deep neural network, PFDNN). 该模型通过对其权重参数的同态加密保证了数据的隐私性, 并极大地减少了训练过程中的加解密计算量. 通过理论分析与实验验证, 所提出的联邦深度神经网络模型具有较好的安全性, 并且能够保证较高的精度.     

联邦学习可视化:挑战与框架

联邦学习是一种保证数据隐私安全的分布式机器学习方案.与传统的机器学习的可解释性问题类似,如何对联邦学习进行解释是一个新的挑战.文中面向联邦学习方法的分布式与隐私安全性的特性,探讨联邦学习的可视化框架设计.传统的可视化任务需要使用大量的数据,而联邦学习的隐私性决定了其无法获取用户数据.因此,可用的数据主要来自服务器端的训练过程,包括服务器端模型参数和用户训练状态.基于对联邦学习可解释性的挑战的分析,文中综合考虑用户、服务器端和联邦学习模型3个方面设计可视化框架,其包括经典联邦学习模型、数据中心、数据处理和可视分析4个模块.最后,介绍并分析了2个已有的可视化案例,对未来通用的联邦学习可视分析方法提出了展望.     

基于GB-AEnet-FL网络的物联网设备异常检测

针对物联网场景下,传统异常检测方法在海量不均衡数据中检测准确率低、数据异构导致模型泛化能力差等问题,提出了基于联邦学习的对抗双编码异常检测网络 （GB-AEnet-FL）的物联网设备异常检测算法。首先,提出了一种基于异常数据的主动特征分布学习算法,主动学习数据的潜在特征分布,通过数据重构扩充异常数据,均衡正负样本比例。其次,在潜在特征层引入了对抗训练机制并添加一致性增强约束和收缩约束,提高特征提取的精度。最后,设计了一种基于动态模型选择的联邦学习算法,比较局部模型与全局模型的置信度评分,动态选择部分联邦体参与,加速模型的聚合,在一定程度上也保护了用户隐私。在四个不同数据集上进行验证,结果显示,所提算法在检测准确度优于传统算法,且泛化能力得到相应提升。     

基于同态加密的隐私保护逻辑回归协同计算

随着数据交易市场的建立和规范化，多方协同进行机器学习建模成为新需求。联邦学习允许多个数据拥有方联合训练一个机器学习模型，适用于模型共建共用场景，但现有联邦学习计算框架无法适用于数据拥有方和模型需求方诉求不同、模型共建不共用的场景。提出一种不依赖于第三方计算平台且基于同态加密的隐私保护逻辑回归协同计算方案，包括由数据拥有方、模型需求方和密钥生成者构成的多方协同计算框架，以及基于该框架的多方交互协同计算流程，在不泄露模型信息及各方数据隐私的前提下协作完成模型训练任务，通过建立攻击模型分析协同计算方案的安全性。基于先进的浮点数全同态加密方案CKKS在小型计算机集群上实现协同计算的原型系统，并对原型系统进行计算和通信优化，包括提前终止训练和将密文同态运算卸载到GPU上提高计算效率。实验结果表明，计算优化措施获得了约50倍的速度提升，协同计算原型系统在中小规模的数据集上可满足实用性要求。     

基于联邦学习的Gamma回归算法

在水文学、气象学以及保险理赔评估等领域中,通常假设因变量服从Gamma分布,相比多元线性回归,在Gamma分布假设下建立起的Gamma回归具有更出色的拟合效果。以往获得Gamma回归模型的方法是将数据集中起来进行训练,当数据是由多方提供时,在不交换数据的情况下训练满足隐私保护的Gamma回归模型成为需要解决的问题。为此,提出了一种多方安全的纵向联邦Gamma回归算法,该算法首先使用迭代法推导出纵向联邦Gamma回归模型的对数似然估计表达式,然后结合工程实际确定模型的连接函数,进而构造损失函数建立参数的梯度更新策略,最后对同态加密后的各方参数进行融合更新,获得联邦学习后的Gamma回归模型。在两种公开数据集上进行性能测试,实验结果表明,所提联邦Gamma回归算法在不交换数据的前提下,可有效利用多方数据的价值生成Gamma回归模型,该模型对数据的拟合效果逼近数据在集中情况下学习到的Gamma回归模型,优于单方独立学习获得的Gamma回归模型。     

联邦学习中的隐私保护技术研究综述

近年来,联邦学习成为解决机器学习中数据孤岛与隐私泄露问题的新思路。联邦学习架构不需要多方共享数据资源,只要参与方在本地数据上训练局部模型,并周期性地将参数上传至服务器来更新全局模型,就可以获得在大规模全局数据上建立的机器学习模型。联邦学习架构具有数据隐私保护的特质,是未来大规模数据机器学习的新方案。然而,该架构的参数交互方式可能导致数据隐私泄露。目前,研究如何加强联邦学习架构中的隐私保护机制已经成为新的热点。从联邦学习中存在的隐私泄露问题出发,探讨了联邦学习中的攻击模型与敏感信息泄露途径,并重点综述了联邦学习中的几类隐私保护技术：以差分隐私为基础的隐私保护技术、以同态加密为基础的隐私保护技术、以安全多方计算（SMC）为基础的隐私保护技术。最后,探讨了联邦学习中隐私保护中的若干关键问题,并展望了未来研究方向。