联邦学习中的隐私问题研究进展

随着大数据、云计算等领域的蓬勃发展,重视数据安全与隐私已经成为世界性的趋势,不同团体为保护自身利益和隐私不愿贡献数据,形成了数据孤岛.联邦学习使数据不出本地就可被多方利用,为解决数据碎片化和数据隔离等问题提供了解决思路.然而越来越多研究表明,由谷歌首先提出的联邦学习算法不足以抵抗精心设计的隐私攻击,因此如何进一步加强隐私防护,保护联邦学习场景下的用户数据隐私成为一个重要问题.对近些年来联邦学习隐私攻击与防护领域取得的成果进行了系统总结.首先介绍了联邦学习的定义、特点和分类;然后分析了联邦学习场景下隐私威胁的敌手模型,并根据敌手攻击目标对隐私攻击方法进行了分类和梳理;介绍了联邦学习中的主流隐私防护技术,并比较了各技术在实际应用中的优缺点;分析并总结了6类目前联邦学习的隐私保护方案;最后指出目前联邦学习隐私保护面临的挑战,展望了未来可能的研究方向.     

联邦学习隐私保护机制综述

随着数据孤岛的出现和隐私意识的增强,传统的中心化的机器学习模式遇到了一系列挑战。联邦学习作为一种新兴的隐私保护的分布式机器学习模型迅速成为一个热门的研究问题。有研究表明,机器学习模型的梯度会泄露用户数据集的隐私,能够被攻击者利用以获取非法的利益,因此,需要采用一些隐私保护的机制来保护这种敏感信息。本文研究了当前联邦学习系统中采用的隐私保护机制,并根据研究者采用的隐私保护技术,将联邦学习中的隐私保护机制分为五类,总结了不同的隐私保护机制的研究思路和研究进展。通过对当前联邦学习中使用的隐私保护机制的研究,联邦学习系统的设计人员可以提高联邦学习系统的安全性,更好地保护数据隐私。     

联邦学习及其安全与隐私保护研究综述

联邦学习(FL)是一种新兴的分布式机器学习技术,只需将数据留在本地即可通过各方协作训练一个共有模型,解决了传统机器学习中数据难以采集和隐私安全的问题。随着联邦学习技术的应用和发展,相关研究发现联邦学习仍可能受到各类攻击。为了确保联邦学习的安全性,研究联邦学习中的攻击方式及相应的隐私保护技术显得尤为重要。首先介绍了联邦学习的背景知识及相关定义,总结概括了联邦学习的发展历程及分类;接着阐述了联邦学习的安全三要素,从基于安全来源和基于安全三要素2个角度分类概述了联邦学习中的安全问题及研究进展;然后对隐私保护技术进行分类,结合相关研究应用综述了联邦学习中安全多方计算(SMC)、同态加密(HE)、差分隐私(DP)、可信执行环境(TEE)4种常用隐私保护技术;最后对联邦学习的未来研究方向进行展望。     

联邦学习中的隐私保护技术研究综述

近年来,联邦学习成为解决机器学习中数据孤岛与隐私泄露问题的新思路。联邦学习架构不需要多方共享数据资源,只要参与方在本地数据上训练局部模型,并周期性地将参数上传至服务器来更新全局模型,就可以获得在大规模全局数据上建立的机器学习模型。联邦学习架构具有数据隐私保护的特质,是未来大规模数据机器学习的新方案。然而,该架构的参数交互方式可能导致数据隐私泄露。目前,研究如何加强联邦学习架构中的隐私保护机制已经成为新的热点。从联邦学习中存在的隐私泄露问题出发,探讨了联邦学习中的攻击模型与敏感信息泄露途径,并重点综述了联邦学习中的几类隐私保护技术：以差分隐私为基础的隐私保护技术、以同态加密为基础的隐私保护技术、以安全多方计算（SMC）为基础的隐私保护技术。最后,探讨了联邦学习中隐私保护中的若干关键问题,并展望了未来研究方向。     

联邦学习模型安全与隐私研究进展

随着数据孤岛现象的出现和个人隐私保护的重视,集中学习的应用模式受到制约,而联邦学习作为一个分布式机器学习框架,可以在不泄露用户数据的前提下完成模型训练,从诞生之初就备受关注.伴随着联邦学习应用的推广,其安全性和隐私保护能力也开始受到质疑.对近年来国内外学者在联邦学习模型安全与隐私的研究成果进行了系统总结与分析.首先,介绍联邦学习的背景知识,明确其定义和工作流程,并分析存在的脆弱点.其次,分别对联邦学习存在的安全威胁和隐私风险进行系统分析和对比,并归纳总结现有的防护手段.最后,展望未来的研究挑战和方向.     

边缘计算下的联邦学习应用研究

随着移动设备自身存储和计算能力的提升,越来越多移动设备在本地进行数据处理,如传感器,智能穿戴设备和车载应用等。当前机器学习技术在计算机视觉,自然语言处理,模式识别等领域取得了巨大成功,然而当前机器学习方法是中心化的,数据中心或者云服务器能够对数据进行访问。联邦学习作为新型的分布式机器学习范式,借助设备本身的存储和计算能力,能够在数据不出本地的情况下进行机器学习中的模型共建,从而保护数据隐私,从而有效解决数据孤岛问题。边缘计算能够在靠近设备端提供计算,存储和网络资源,为高带宽低时延的应用提供基础。在联邦学习训练中,设备数量增加,设备网络情况复杂多变等均为联邦学习中的联合训练上带来了巨大挑战,如设备选择,网络通信开销大等状况。本文首先介绍了边缘计算的基础,以及联邦学习的联合训练流程,通过对联邦学习和边缘计算的融合应用进行分析研究,进一步我们对基于边缘计算的联邦学习做了分析,最后我们对当前的主要挑战以及未来的研究方向做了总结。     

联邦学习的隐私保护与安全防御研究综述

联邦学习作为人工智能领域的新兴技术,它兼顾处理“数据孤岛”和隐私保护问题,将分散的数据方联合起来训练全局模型同时保持每一方的数据留在本地.联邦学习在很大程度上给需要将数据融合处理的数据敏感型应用带来了希望,但它仍然存在一些潜在的隐私泄露隐患和数据安全问题.为了进一步探究基于联邦学习的隐私保护和安全防御技术研究现状,本文对联邦学习的隐私和安全问题在现有最前沿的研究成果上进行了更清晰的分类,并对威胁隐私和安全的手段进行了威胁强度的划分.本文首先介绍了涉及联邦学习隐私和安全问题的威胁根源,并从多个方面罗列了其在联邦学习中的破坏手段及威胁性.其次,本文总结了关于联邦学习隐私和安全问题所面临的挑战.对于隐私保护而言,本文同时分析了包括单个恶意参与方或中央服务器的攻击和多方恶意合谋泄露隐私的场景,并探讨了相应的最先进保护技术.对于安全问题而言,本文着重分析了影响全局模型性能的多种恶意攻击手段,并系统性地阐述了先进的安全防御方案,以帮助规避构建安全的大规模分布式联邦学习计算环境中潜在的风险.同时与其他联邦学习相关综述论文相比,本文还介绍了联邦学习的多方恶意合谋问题,对比分析了现有的联邦安全聚合算法及...     

开启联邦学习的个性化时代：隐私、安全与效率的平衡探索

人工智能为公共和国防安全的发展和应用提供了巨大的机遇,然而国防安全数据包含了敏感的军事、情报和战略信息,一旦泄露或被滥用,可能对国家安全造成严重威胁,如何确保国防安全数据的隐私保护成为一项重要挑战。个性化联邦学习是近年来发展起来的一种新型的机器学习方法,它旨在通过将分布式的数据在本地进行训练和更新,从而实现在保护数据隐私的前提下提高本地模型的准确性和鲁棒性。与传统的中心化机器学习方法不同,个性化联邦学习允许不同数据拥有者之间共享模型的信息,而不是数据本身。这种方法已经在医疗、金融、物联网等领域得到了广泛的应用。本文从全局模型个性化和本地模型个性化两个方面分别介绍了个性化联邦学习的基本原理以及研究现状,总结了各个方法的优缺点,并讨论了现有方法的评价指标和常用数据集,最后展望了它在未来的发展前景。     

联邦学习可视化:挑战与框架

联邦学习是一种保证数据隐私安全的分布式机器学习方案.与传统的机器学习的可解释性问题类似,如何对联邦学习进行解释是一个新的挑战.文中面向联邦学习方法的分布式与隐私安全性的特性,探讨联邦学习的可视化框架设计.传统的可视化任务需要使用大量的数据,而联邦学习的隐私性决定了其无法获取用户数据.因此,可用的数据主要来自服务器端的训练过程,包括服务器端模型参数和用户训练状态.基于对联邦学习可解释性的挑战的分析,文中综合考虑用户、服务器端和联邦学习模型3个方面设计可视化框架,其包括经典联邦学习模型、数据中心、数据处理和可视分析4个模块.最后,介绍并分析了2个已有的可视化案例,对未来通用的联邦学习可视分析方法提出了展望.     

移动边缘网络中联邦学习效率优化综述

联邦学习(federated learning)将模型训练任务部署在移动边缘设备,参与者只需将训练后的本地模型发送到服务器参与全局聚合而无须发送原始数据,提高了数据隐私性.然而,解决效率问题是联邦学习落地的关键.影响效率的主要因素包括设备与服务器之间的通信消耗、模型收敛速率以及移动边缘网络中存在的安全与隐私风险.在充分调研后,首先将联邦学习的效率优化归纳为通信、训练与安全隐私保护3类.具体来说,从边缘协调与模型压缩的角度讨论分析了通信优化方案;从设备选择、资源协调、聚合控制与数据优化4个方面讨论分析了训练优化方案;从安全与隐私的角度讨论分析了联邦学习的保护机制.其次,通过对比相关技术的创新点与贡献,总结了现有方案的优点与不足,探讨了联邦学习所面临的新挑战.最后,基于边缘计算的思想提出了边缘化的联邦学习解决方案,在数据优化、自适应学习、激励机制和隐私保护等方面给出了创新理念与未来展望.     

联邦学习综述

近年来,随着人工智能中数据孤岛、数据隐私和安全等问题的逐步显现,联邦学习作为能解决上述问题的技术而被广泛关注,目前已被应用于金融、医疗等领域.介绍了联邦学习的定义、分类、国内外的开源架构,剖析了联邦学习中的用户隐私和数据安全,指出了联邦学习面临的困难与挑战,并做出了展望.     

纵向联邦学习方法及其隐私和安全综述

联邦学习（FL,federatedlearning）是一种新兴的分布式机器学习技术,利用分散在各个机构的数据,通过传输中间结果（如模型参数、参数梯度、嵌入信息等）实现机器学习模型的联合构建。联邦学习中机构的训练数据不允许离开本地,因此降低了数据泄露的风险。根据机构之间数据分布的差异,FL通常分为横向联邦学习（HFL,horizontalFL）、纵向联邦学习（VFL,verticalFL）,以及联邦迁移学习（TFL,transferFL）。其中,VFL适用于机构具有相同样本空间但不同特征空间的场景,广泛应用于医疗诊断、金融评估和教育服务等领域。尽管VFL在现实应用中有出色的表现,但其本身仍然面临诸多隐私和安全问题,尚缺少对VFL方法与安全性展开全面综述的工作。为了构建高效且安全的VFL系统,从VFL方法及其隐私和安全两个方面展开,首先从边缘模型、通信机制、对齐机制以及标签处理机制4个角度对现有的VFL方法进行详细总结和归纳;其次介绍并分析了VFL面临的隐私和安全风险;进一步对其防御方法进行介绍和总结;此外,介绍了适用于VFL的常见数据集及平台框架。结合VFL面临的安全性挑战给出了VFL的...     

机器学习中的隐私攻击与防御

大数据时代丰富的信息来源促进了机器学习技术的蓬勃发展,然而机器学习模型的训练集在数据采集、模型训练等各个环节中存在的隐私泄露风险,为人工智能环境下的数据管理提出了重大挑战.传统数据管理中的隐私保护方法无法满足机器学习中多个环节、多种场景下的隐私保护要求.分析并展望了机器学习技术中隐私攻击与防御的研究进展和趋势.首先介绍了机器学习中隐私泄露的场景和隐私攻击的敌手模型,并根据攻击者策略分类梳理了机器学习中隐私攻击的最新研究;介绍了当前机器学习隐私保护的主流基础技术,进一步分析了各技术在保护机器学习训练集隐私时面临的关键问题,重点分类总结了5种防御策略以及具体防御机制;最后展望了机器学习技术中隐私防御机制的未来方向和挑战.     

多数据源下机器学习的隐私保护研究

在多数据源的情况下,隐私保护机器学习是一个具有重要现实意义的研究课题,直接影响着人工智能在现实社会中的发展和推广。目前,已有许多致力于解决机器学习算法中隐私问题的方案,文章阐述并分析了四种常见的隐私保护技术,它们包括同态加密、秘密共享、乱码电路和差分隐私。介绍了近年来一种流行的联合学习解决方案框架—联邦学习,并对其存在的不足进行了讨论。基于对现有技术和方案的分析,文章提出了一种适用于多数据源场景的隐私保护方案,方案具有良好的安全性、健壮性和可校验性三个特点。     

基于隐私保护的联邦推荐算法综述

推荐系统通过集中式的存储与训练用户对物品的海量行为信息以及内容特征,旨在为用户提供个性化的信息服务与决策支持.然而,海量数据背后存在大量的用户个人信息以及敏感数据,因此如何在保证用户隐私与数据安全的前提下分析用户行为模式成为了近年来研究的热点.联邦学习作为新兴的隐私保护范式,能够协调多个参与方通过模型参数或者梯度等信息共同学习无损的全局共享模型,同时保证所有的原始数据保存在用户的终端设备,较之于传统的集中式存储与训练模式,实现了从根源上保护用户隐私的目的,因此得到了众多推荐系统领域研究学者们的广泛关注.基于此,对近年来基于联邦学习范式的隐私保护推荐算法进行全面综述、系统分类与深度分析.具体的,首先综述经典的推荐算法以及所面临的问题,然后介绍基于隐私保护的推荐系统与目前存在的挑战,随后从多个维度综述结合联邦学习技术的推荐算法,最后对该方向做出系统性的总结并对未来研究方向与发展趋势进行展望.     

联邦学习在金融数据安全领域的研究与应用

近年来,金融领域明文数据流通所引起的数据泄露问题日渐突出,传统的跨机构数据融合的机器学习方式面临着新的问题与挑战。因此,立足于金融数据安全领域,从用户隐私和数据安全角度出发,概述联邦学习理论并深入分析其目前在金融行业的应用现状,指出现有的联邦学习还存在通信效率低、数据异构性突出等问题。最后提出健全联邦学习标准体系、时刻关注监管要求等建议,为推动联邦学习在金融数据安全领域中的合法应用提供参考性意见。     

联邦学习安全防御与隐私保护技术研究

联邦学习(federated learning, FL)在多个参与方不直接进行数据传输的前提下共同完成模型训练,充分发挥各方数据价值;然而,由于联邦学习的固有缺陷以及存储和通信的安全问题,其在实际应用场景中仍面临多种安全与隐私威胁。首先阐述了FL面临的安全攻击和隐私攻击;然后针对这两类典型攻击分别总结了最新的安全防御机制和隐私保护手段,包括投毒攻击防御、后门攻击防御、搭便车攻击防御、女巫攻击防御以及基于安全计算与差分隐私的防御手段。通过对联邦学习的现有风险和相应防御手段的系统梳理,展望了联邦学习未来的研究挑战与发展方向。     

基于博弈论优化的高效联邦学习方案

随着网络信息技术与互联网的发展,数据的隐私与安全问题亟待解决,联邦学习作为一种新型的分布式隐私保护机器学习技术应运而生。针对在联邦学习过程中存在个人数据信息泄露的隐私安全问题,结合Micali-Rabin随机向量表示技术,基于博弈论提出一种具有隐私保护的高效联邦学习方案。根据博弈论激励机制,构建联邦学习博弈模型,通过设置合适的效用函数和激励机制保证参与者的合理行为偏好,同时结合Micali-Rabin随机向量表示技术设计高效联邦学习方案。基于Pedersen承诺机制实现高效联邦学习的隐私保护,以保证联邦学习各参与者的利益和数据隐私,并且全局达到帕累托最优状态。在数字分类数据集上的实验结果表明,该方案不仅提高联邦学习的通信效率,而且在通信开销和数据精确度之间实现平衡。     

基于区块链的联邦学习技术综述

联邦学习与区块链在应用领域、架构特点、隐私保护机制等方面具有很强的共性、互补性和契合度,近年来,一些研究与应用将两种技术结合起来,在数据隐私保护强度、数据共享激励机制、计算性能等方面取得了不少进展.为了帮助研究者掌握联邦学习结合区块链的最新研究成果与发展方向,对基于区块链的联邦学习进行了综述.首先,介绍了联邦学习技术的相关研究和存在的不足;其次,详细讨论了当前基于区块链的联邦学习的相关研究,重点从架构特点、资源分配、安全机制、激励机制等方面进行了分析;最后,总结了基于区块链的联邦学习应用在人工智能领域的未来发展趋势和需要关注的问题.     

基于改进NSGA-Ⅱ算法的多目标联邦学习

联邦学习作为一种新兴技术,可在融合多参与方数据的机器学习训练的同时,保证各参与方隐私数据的安全性,有效解决数据隐私问题以及数据孤岛问题。然而,联邦学习仍然面临着巨大的挑战,各个客户端与中心服务器的不断交互带来了巨大的通信成本。为了在保证模型精度的情况下尽量减少通信开销,论文提出一种改进的NSGA-Ⅱ算法来对联邦学习中全局模型的结构进行优化,引入快速贪婪初始化和进化后期丢弃低质量个体的策略来对传统NSGA-Ⅱ算法进行改进。实验表明,与MOEA/D算法对比,论文改进NSGA-Ⅱ算法在同等实验条件下性能更好,可获得更好的Pareto最优集,有效优化联邦学习模型结构,降低通信成本。