机器学习中差分隐私的数据共享及发布：技术、应用和挑战

近年来,基于机器学习的数据分析和数据发布技术成为热点研究方向。与传统数据分析技术相比,机器学习的优点是能够精准分析大数据的结构与模式。但是,基于机器学习的数据分析技术的隐私安全问题日益突出,机器学习模型泄漏用户训练集中的隐私信息的事件频频发生,比如成员推断攻击泄漏机器学习中训练的存在与否,成员属性攻击泄漏机器学习模型训练集的隐私属性信息。差分隐私作为传统数据隐私保护的常用技术,正在试图融入机器学习以保护用户隐私安全。然而,对隐私安全、机器学习以及机器学习攻击三种技术的交叉研究较为少见。本文做了以下几个方面的研究:第一,调研分析差分隐私技术的发展历程,包括常见类型的定义、性质以及实现机制等,并举例说明差分隐私的多个实现机制的应用场景。初次之外,还详细讨论了最新的Rényi差分隐私定义和Moment Accountant差分隐私的累加技术。其二,本文详细总结了机器学习领域常见隐私威胁模型定义、隐私安全攻击实例方式以及差分隐私技术对各种隐私安全攻击的抵抗效果。其三,以机器学习较为常见的鉴别模型和生成模型为例,阐述了差分隐私技术如何应用于保护机器学习模型的技术,包括差分隐私的随机梯度扰动(DP-SGD)技术和差分隐私的知识转移(PATE)技术。最后,本文讨论了面向机器学习的差分隐私机制的若干研究方向及问题。     

机器学习中的隐私攻击与防御

大数据时代丰富的信息来源促进了机器学习技术的蓬勃发展,然而机器学习模型的训练集在数据采集、模型训练等各个环节中存在的隐私泄露风险,为人工智能环境下的数据管理提出了重大挑战.传统数据管理中的隐私保护方法无法满足机器学习中多个环节、多种场景下的隐私保护要求.分析并展望了机器学习技术中隐私攻击与防御的研究进展和趋势.首先介绍了机器学习中隐私泄露的场景和隐私攻击的敌手模型,并根据攻击者策略分类梳理了机器学习中隐私攻击的最新研究;介绍了当前机器学习隐私保护的主流基础技术,进一步分析了各技术在保护机器学习训练集隐私时面临的关键问题,重点分类总结了5种防御策略以及具体防御机制;最后展望了机器学习技术中隐私防御机制的未来方向和挑战.     

联邦学习中的隐私保护技术研究综述

近年来,联邦学习成为解决机器学习中数据孤岛与隐私泄露问题的新思路。联邦学习架构不需要多方共享数据资源,只要参与方在本地数据上训练局部模型,并周期性地将参数上传至服务器来更新全局模型,就可以获得在大规模全局数据上建立的机器学习模型。联邦学习架构具有数据隐私保护的特质,是未来大规模数据机器学习的新方案。然而,该架构的参数交互方式可能导致数据隐私泄露。目前,研究如何加强联邦学习架构中的隐私保护机制已经成为新的热点。从联邦学习中存在的隐私泄露问题出发,探讨了联邦学习中的攻击模型与敏感信息泄露途径,并重点综述了联邦学习中的几类隐私保护技术：以差分隐私为基础的隐私保护技术、以同态加密为基础的隐私保护技术、以安全多方计算（SMC）为基础的隐私保护技术。最后,探讨了联邦学习中隐私保护中的若干关键问题,并展望了未来研究方向。     

联邦学习隐私保护机制综述

随着数据孤岛的出现和隐私意识的增强,传统的中心化的机器学习模式遇到了一系列挑战。联邦学习作为一种新兴的隐私保护的分布式机器学习模型迅速成为一个热门的研究问题。有研究表明,机器学习模型的梯度会泄露用户数据集的隐私,能够被攻击者利用以获取非法的利益,因此,需要采用一些隐私保护的机制来保护这种敏感信息。本文研究了当前联邦学习系统中采用的隐私保护机制,并根据研究者采用的隐私保护技术,将联邦学习中的隐私保护机制分为五类,总结了不同的隐私保护机制的研究思路和研究进展。通过对当前联邦学习中使用的隐私保护机制的研究,联邦学习系统的设计人员可以提高联邦学习系统的安全性,更好地保护数据隐私。     

时空数据发布中的隐式隐私保护

随着大数据时代的到来,大量的用户位置信息被隐式地收集.虽然这些隐式收集到的时空数据在疾病传播、路线推荐等科学、社会领域中发挥了重要的作用,但它们与用户主动发布的时空数据相互参照引起了大数据时代时空数据发布中新的个人隐私泄露问题.现有的位置隐私保护机制由于没有考虑隐式收集的时空数据与用户主动发布的位置数据可以相互参照的事实,不能有效保护用户的隐私.首次定义并研究了隐式收集的时空数据中的隐私保护问题,提出了基于发现-消除的隐私保护框架.特别地,提出了基于前缀过滤的嵌套循环算法用于发现隐式收集的时空数据中可能泄露用户隐私的记录,并提出基于频繁移动对象的假数据添加方法消除这些记录.此外,还分别提出了更高效的反先验算法和基于图的假数据添加算法.最后,在若干真实数据集上对提出的算法进行了充分实验,证实了这些算法有较高的保护效果和性能.     

基于Skyline计算的社交网络关系数据隐私保护

随着社交软件的流行，越来越多的人加入社交网络产生了大量有价值的信息，其中也包含了许多敏感隐私信息。不同的用户有不同的隐私需求，因此需要不同级别的隐私保护。社交网络中用户隐私泄露等级受社交网络图结构和用户自身威胁等级等诸多因素的影响。针对社交网络数据的个性化隐私保护问题及用户隐私泄露等级评价问题，提出基于Skyline计算的个性化差分隐私保护策略（PDPS）用以发布社交网络关系数据。首先构建用户的属性向量；接着采用基于Skyline计算的方法评定用户的隐私泄露等级，并根据该等级对用户数据集进行分割；然后应用采样机制来实现个性化差分隐私，并对整合后的数据添加噪声；最后对处理后数据进行安全性和实用性的分析并发布数据。在真实数据集上与传统的个性化差分隐私方法（PDP）对比，验证了PDPS算法的隐私保护质量和数据的可用性都优于PDP算法。     

机器学习安全及隐私保护研究进展

机器学习作为实现人工智能的一种重要方法,在数据挖掘、计算机视觉、自然语言处理等领域得到广泛应用。随着机器学习应用的普及发展,其安全与隐私问题受到越来越多的关注。首先结合机器学习的一般过程,对敌手模型进行了描述。然后总结了机器学习常见的安全威胁,如投毒攻击、对抗攻击、询问攻击等,以及应对的防御方法,如正则化、对抗训练、防御精馏等。接着对机器学习常见的隐私威胁,如训练数据窃取、逆向攻击、成员推理攻击等进行了总结,并给出了相应的隐私保护技术,如同态加密、差分隐私。最后给出了亟待解决的问题和发展方向。     

位置轨迹相关性差分隐私保护技术研究与进展

随着移动互联网、智能终端设备和GPS定位技术的普及应用,产生了大量轨迹数据以应用于基于位置的服务.然而,具有时空相关性的行动轨迹可以体现或泄露单用户的个人信息或多用户之间的某些社会关系信息,进一步导致严重的隐私泄露.这些位置轨迹数据的共享和发布离不开隐私保护技术的支持,而大多数隐私保护模型的安全性是基于一定的背景知识,若背景知识已被攻击者掌握,则无法提供完善的隐私保护.差分隐私技术有效弥补这一缺陷,并广泛应用于位置轨迹数据相关性隐私保护领域中.本文首先介绍差分隐私、全局敏感度、噪声机制以及组合性质等相关概念;其次系统地对基于差分隐私的位置轨迹相关性隐私保护技术进行了研究与分析,进一步地详细阐述了差分隐私模型下单条轨迹内相关性保护、两条不同轨迹之间相关性保护以及多条不同轨迹之间相关性保护在时间、空间以及时空方面的隐私保护方法;最后,在对现有方法对比分析的基础上,提出了位置轨迹相关性隐私保护未来的重点研究发展方向.     

机器学习中成员推理攻击和防御研究综述

机器学习被广泛应用于各个领域, 已成为推动各行业革命的强大动力, 极大促进了人工智能的繁荣与发展。同时, 机器学习模型的训练和预测均需要大量数据, 而这些数据可能包含隐私信息, 导致其隐私安全面临严峻挑战。成员推理攻击主要通过推测一个数据样本是否被用于训练目标模型来破坏数据隐私, 其不仅可以破坏多种机器学习模型(如, 分类模型和生成模型)的数据隐私, 而且其隐私泄露也渗透到图像分类、语音识别、自然语言处理、计算机视觉等领域, 这对机器学习的长远发展产生了极大的安全威胁。因此, 为了提高机器学习模型对成员推理攻击的安全性, 本文从机器学习隐私安全攻防角度, 全面系统性分析和总结了成员推理攻击和防御的基本原理和特点。首先, 介绍了成员推理攻击的定义、威胁模型, 并从攻击原理、攻击场景、背景知识、攻击的目标模型、攻击领域、攻击数据集大小六个方面对成员推理攻击进行分类, 比较不同攻击的优缺点; 然后, 从目标模型的训练数据、模型类型以及模型的过拟合程度三个角度分析成员推理攻击存在原因, 并从差分隐私、正则化、数据增强、模型堆叠、早停、信任分数掩蔽和知识蒸馏七个层面对比分析不同防御措施; 接着, 归纳总结了成员推理攻击和防御常用的评估指标和数据集, 以及其在其他方面的应用。最后, 通过对比分析已有成员推理攻击和防御的优缺点, 对其面临的挑战和未来研究方向进行了展望。     

持续监控下差分隐私保护

近年来，随着信息技术的发展及物联网技术的兴起，出现了越来越多的持续监控应用场景，如智能交通实时监控、疾病实时监控、智能基础设施应用等.在这些场景中，如何对参与者持续分享的数据进行隐私保护面临重大挑战.差分隐私是一种严格和可证明的隐私定义，早期差分隐私研究大都基于一个大规模、静态的数据集做一次性的计算和发布.而持续监控下差分隐私保护需对动态数据做持续计算和发布.目前，持续监控下差分隐私保护是差分隐私领域新的研究热点之一.本文对持续监控下差分隐私保护的已有研究成果进行总结.首先对该场景下差分隐私保护模型进行阐述；然后重点介绍了持续监控下满足event级、user级和w-event级隐私保护的实现方案.在对已有研究成果深入对比分析的基础上，指出了持续监控下差分隐私保护的未来研究方向.     

差分隐私综述

差分隐私是2006年由DWORK提出的一种新型的隐私保护机制,它主要针对隐私保护中,如何在分享数据时定义隐私,以及如何在保证可用性的数据发布时,提供隐私保护的问题,这两个问题提出了一个隐私保护的数学模型。由于差分隐私对于隐私的定义不依赖于攻击者的背景知识,所以被作为一种新型的隐私保护模型广泛地应用于数据挖掘,机器学习等各个领域。本文介绍了差分隐私的基础理论和目前的研究进展,以及一些已有的差分隐私保护理论和技术,最后对未来的工作和研究热点进行了展望。     

云计算环境安全综述

伴随云计算技术的飞速发展,其所面临的安全问题日益凸显,在工业界和学术界引起了广泛的关注.传统的云基础架构中存在较高安全风险,攻击者对虚拟机的非法入侵破坏了云服务或资源的可用性,不可信的云存储环境增大了用户共享、检索私有数据的难度,各类外包计算和云应用需求带来了隐私泄露的风险.该文从云计算环境下安全与隐私保护技术的角度出发,通过介绍云虚拟化安全、云数据安全以及云应用安全的相关研究进展,分析并对比典型方案的特点、适用范围及其在安全防御和隐私保护方面的不同效用,讨论已有工作的局限性,进而指出未来发展趋势和后续研究方向.     

面向用户的支持用户掉线的联邦学习数据隐私保护方法

联邦学习是解决多组织协同训练问题的一种有效手段,但是现有的联邦学习存在不支持用户掉线、模型API泄露敏感信息等问题。文章提出一种面向用户的支持用户掉线的联邦学习数据隐私保护方法,可以在用户掉线和保护的模型参数下训练出一个差分隐私扰动模型。该方法利用联邦学习框架设计了基于深度学习的数据隐私保护模型,主要包含两个执行协议:服务器和用户执行协议。用户在本地训练一个深度模型,在本地模型参数上添加差分隐私扰动,在聚合的参数上添加掉线用户的噪声和,使得联邦学习过程满足(ε,δ)-差分隐私。实验表明,当用户数为50、ε=1时,可以在模型隐私性与可用性之间达到平衡。     

RDMA技术在数据中心中的应用研究

随着云计算向数据化智能化的方向演进,数据的流转与有效利用将为业务带来核心价值。大规模深度学习、机器训练等应用是极其依赖算力的,大量的信息交互对网络提出了很高的要求,由此需要一个低时延、无丢包、高吞吐的算力网络。考察RDMA[1]技术在数据中心中的应用,并分析其对于未来云数据中心高性能集群计算的影响。     

浅析数据挖掘的主要方法和研究方向

随着大型数据库的不断涌现,如何从浩如烟海的数据中发现隐藏的有用知识,成为一个迫切需要研究的课题.因此,知识发现和数据挖掘应运而生.该文提出了数据挖掘的基本概念,数据挖掘是数据库技术、人工智能、机器学习、统计分析、模糊逻辑、模式识别和人工神经网络等多个学科相结合的产物,然后分析了数据挖掘一般算法的结构,并且对数据挖掘技术进行了详细分类,主要包括决策树技术、神经网络技术、粗集以及模糊集等十多项挖掘技术.最后讨论了数据挖掘在人工智能、电子商务应用和移动通信计算等方面的研究方向.     

机器学习模型安全与隐私研究综述

在大数据时代下,深度学习、强化学习以及分布式学习等理论和技术取得的突破性进展,为机器学习提供了数据和算法层面的强有力支撑,同时促进了机器学习的规模化和产业化发展.然而,尽管机器学习模型在现实应用中有着出色的表现,但其本身仍然面临着诸多的安全威胁.机器学习在数据层、模型层以及应用层面临的安全和隐私威胁呈现出多样性、隐蔽性和动态演化的特点.机器学习的安全和隐私问题吸引了学术界和工业界的广泛关注,一大批学者分别从攻击和防御的角度对模型的安全和隐私问题进行了深入的研究,并且提出了一系列的攻防方法.在本综述中,我们回顾了机器学习的安全和隐私问题,并对现有的研究工作进行了系统的总结和科学的归纳,同时明确了当前研究的优势和不足.最后,我们探讨了机器学习模型安全与隐私保护研究当前所面临的挑战以及未来潜在的研究方向,旨在为后续学者进一步推动机器学习模型安全与隐私保护研究的发展和应用提供指导.