机器学习中的成员推断攻击与防御研究

随着机器学习渗透到日常生活中的各个方面,其数据隐私问题受到越来越多的关注.成员推断攻击是机器学习算法面临的安全威胁之一,用于推断特定数据是否存在于机器学习模型的训练集中,给用户带来极大的安全隐患,对机器学习模型的安全性提出挑战.为此,研究成员推断攻击不仅能发现隐私数据面临的威胁,而且还能为防御技术的提出提供思路.对近年...     

机器学习中的隐私保护综述

机器学习被广泛应用于自动推理、自然语言处理、模式识别、计算机视觉、智能机器人等人工智能领域,成为许多领域研究与技术应用中必不可少的一个工具。然而,机器学习本身存在隐私安全问题,已经引起了越来越多的关注。本文专门针对机器学习中的隐私问题进行了分类和较为详细的介绍,提出了基于攻击对象的隐私威胁分类方式,并清晰地展示了防御技术的研究思路,最后给出了亟待解决的问题和发展方向。     

机器学习中成员推理攻击和防御研究综述

机器学习被广泛应用于各个领域, 已成为推动各行业革命的强大动力, 极大促进了人工智能的繁荣与发展。同时, 机器学习模型的训练和预测均需要大量数据, 而这些数据可能包含隐私信息, 导致其隐私安全面临严峻挑战。成员推理攻击主要通过推测一个数据样本是否被用于训练目标模型来破坏数据隐私, 其不仅可以破坏多种机器学习模型(如, 分类模型和生成模型)的数据隐私, 而且其隐私泄露也渗透到图像分类、语音识别、自然语言处理、计算机视觉等领域, 这对机器学习的长远发展产生了极大的安全威胁。因此, 为了提高机器学习模型对成员推理攻击的安全性, 本文从机器学习隐私安全攻防角度, 全面系统性分析和总结了成员推理攻击和防御的基本原理和特点。首先, 介绍了成员推理攻击的定义、威胁模型, 并从攻击原理、攻击场景、背景知识、攻击的目标模型、攻击领域、攻击数据集大小六个方面对成员推理攻击进行分类, 比较不同攻击的优缺点; 然后, 从目标模型的训练数据、模型类型以及模型的过拟合程度三个角度分析成员推理攻击存在原因, 并从差分隐私、正则化、数据增强、模型堆叠、早停、信任分数掩蔽和知识蒸馏七个层面对比分析不同防御措施; 接着, 归纳总结了成员推理攻击和防御常用的评估指标和数据集, 以及其在其他方面的应用。最后, 通过对比分析已有成员推理攻击和防御的优缺点, 对其面临的挑战和未来研究方向进行了展望。     

面向机器学习的成员推理攻击综述

随着机器学习的不断发展，特别是在深度学习领域，人工智能已经融入到人们日常生活的方方面面。机器学习模型被部署到多种场景的应用中，提升了传统应用的智能化水平。然而，近年来的研究指出，用于训练机器学习模型的个人数据时常面临隐私泄露的风险。其中，成员推理攻击就是针对机器学习模型威胁用户隐私安全的一种非常重要的攻击方式。成员推理攻击的目的是判断用户数据样本是否被用于训练目标模型(如在医疗、金融等领域的用户数据),从而直接干涉到用户隐私信息。首先介绍了成员推理攻击的相关背景知识，随后对现有的成员推理攻击按照攻击者是否拥有影子模型进行分类，并对成员推理攻击在不同领域的威胁进行了相应的总结。其次，介绍了应对成员推理攻击的防御手段，对现有的防御机制按照模型过拟合、基于模型压缩和基于扰动等策略进行分类和总结。最后，对现有的成员推理攻击和防御机制的优缺点进行了分析，并提出了成员推理攻击的一些潜在的研究方向。     

机器学习安全攻击与防御机制研究进展和未来挑战

机器学习的应用遍及人工智能的各个领域,但因存储和传输安全问题以及机器学习算法本身的缺陷,机器学习面临多种面向安全和隐私的攻击.基于攻击发生的位置和时序对机器学习中的安全和隐私攻击进行分类,分析和总结了数据投毒攻击、对抗样本攻击、数据窃取攻击和询问攻击等产生的原因和攻击方法,并介绍和分析了现有的安全防御机制.最后,展望了...     

针对机器学习的成员推断攻击综述

近年来，机器学习不仅在计算机视觉、自然语言处理等领域取得了显著成效，也被广泛应用于人脸图像、金融数据、医疗信息等敏感数据处理领域。最近，研究人员发现机器学习模型会记忆它们训练集中的数据，导致攻击者可以对模型实施成员推断攻击，即攻击者可以推断给定数据是否存在于某个特定机器学习模型的训练集。成员推断攻击的成功，可能导致严重的个人隐私泄露。例如，如果能确定某个人的医疗记录属于某医院的数据集，则表明这个人曾经是那家医院的病人。首先介绍了成员推断攻击的基本原理；然后系统地对近年来代表性攻击和防御的研究进行了总结和归类，特别针对不同条件设置下如何进行攻击和防御进行了详细的阐述；最后回顾成员推断攻击的发展历程，探究机器学习隐私保护面临的主要挑战和未来潜在的发展方向。     

机器学习隐私保护研究综述

机器学习已成为大数据、物联网和云计算等领域的核心技术.机器学习模型训练需要大量数据,这些数据通常通过众包方式收集,其中含有大量隐私数据,包括个人身份信息(如电话号码、身份证号等)、敏感信息(如金融财务、医疗健康等信息).如何低成本且高效地保护这些数据是一个重要的问题.介绍了机器学习及其隐私定义和隐私威胁,重点对机器学习隐私保护主流技术的工作原理和突出特点进行了阐述,并分别按照差分隐私、同态加密和安全多方计算等机制对机器学习隐私保护领域的研究成果进行了综述.在此基础上,对比分析了机器学习不同隐私保护机制的主要优缺点.最后,对机器学习隐私保护的发展趋势进行展望,并提出该领域未来可能的研究方向.     

机器学习系统的隐私和安全问题综述

人工智能已经渗透到生活的各个角落,给人类带来了极大的便利.尤其是近年来,随着机器学习中深度学习这一分支的蓬勃发展,生活中的相关应用越来越多.不幸的是,机器学习系统也面临着许多安全隐患,而机器学习系统的普及更进一步放大了这些风险.为了揭示这些安全隐患并实现一个强大的机器学习系统,对主流的深度学习系统进行了调查.首先设计了一个剖析深度学习系统的分析模型,并界定了调查范围.调查的深度学习系统跨越了4个领域——图像分类、音频语音识别、恶意软件检测和自然语言处理,提取了对应4种类型的安全隐患,并从复杂性、攻击成功率和破坏等多个维度对其进行了表征和度量.随后,调研了针对深度学习系统的防御技术及其特点.最后通过对这些系统的观察,提出了构建健壮的深度学习系统的建议.     

机器学习模型安全与隐私研究综述

在大数据时代下,深度学习、强化学习以及分布式学习等理论和技术取得的突破性进展,为机器学习提供了数据和算法层面的强有力支撑,同时促进了机器学习的规模化和产业化发展.然而,尽管机器学习模型在现实应用中有着出色的表现,但其本身仍然面临着诸多的安全威胁.机器学习在数据层、模型层以及应用层面临的安全和隐私威胁呈现出多样性、隐蔽性和动态演化的特点.机器学习的安全和隐私问题吸引了学术界和工业界的广泛关注,一大批学者分别从攻击和防御的角度对模型的安全和隐私问题进行了深入的研究,并且提出了一系列的攻防方法.在本综述中,我们回顾了机器学习的安全和隐私问题,并对现有的研究工作进行了系统的总结和科学的归纳,同时明确了当前研究的优势和不足.最后,我们探讨了机器学习模型安全与隐私保护研究当前所面临的挑战以及未来潜在的研究方向,旨在为后续学者进一步推动机器学习模型安全与隐私保护研究的发展和应用提供指导.     

机器学习的隐私保护研究综述

大规模数据收集大幅提升了机器学习算法的性能,实现了经济效益和社会效益的共赢,但也令个人隐私保护面临更大的风险与挑战.机器学习的训练模式主要分为集中学习和联邦学习2类,前者在模型训练前需统一收集各方数据,尽管易于部署,却存在极大数据隐私与安全隐患;后者实现了将各方数据保留在本地的同时进行模型训练,但该方式目前正处于研究的起步阶段,无论在技术还是部署中仍面临诸多问题与挑战.现有的隐私保护技术研究大致分为2条主线,即以同态加密和安全多方计算为代表的加密方法和以差分隐私为代表的扰动方法,二者各有利弊.为综述当前机器学习的隐私问题,并对现有隐私保护研究工作进行梳理和总结,首先分别针对传统机器学习和深度学习2类情况,探讨集中学习下差分隐私保护的算法设计;之后概述联邦学习中存在的隐私问题及保护方法;最后总结目前隐私保护中面临的主要挑战,并着重指出隐私保护与模型可解释性研究、数据透明之间的问题与联系.     

差分隐私综述

差分隐私是2006年由DWORK提出的一种新型的隐私保护机制,它主要针对隐私保护中,如何在分享数据时定义隐私,以及如何在保证可用性的数据发布时,提供隐私保护的问题,这两个问题提出了一个隐私保护的数学模型。由于差分隐私对于隐私的定义不依赖于攻击者的背景知识,所以被作为一种新型的隐私保护模型广泛地应用于数据挖掘,机器学习等各个领域。本文介绍了差分隐私的基础理论和目前的研究进展,以及一些已有的差分隐私保护理论和技术,最后对未来的工作和研究热点进行了展望。     

机器学习的安全问题及隐私保护

近年来,机器学习迅速地发展,给人们带来便利的同时,也带来极大的安全隐患.机器学习的安全与隐私问题已经成为其发展的绊脚石.机器学习模型的训练和预测均是基于大量的数据,而数据中可能包含敏感或隐私信息,随着数据安全与隐私泄露事件频发、泄露规模连年加剧,如何保证数据的安全与隐私引发科学界和工业界的广泛关注.首先,介绍了机器学习隐私保护中的敌手模型的概念;其次总结机器学习在训练和预测阶段常见的安全及隐私威胁,如训练数据的隐私泄露、投毒攻击、对抗攻击、隐私攻击等.随后介绍了常见的安全防御方法和隐私保护方法,重点介绍了同态加密技术、安全多方计算技术、差分隐私技术等,并比较了典型的方案及3种技术的适用场景.最后,展望机器学习隐私保护的未来发展趋势和研究方向.     

联邦学习中的隐私问题研究进展

随着大数据、云计算等领域的蓬勃发展,重视数据安全与隐私已经成为世界性的趋势,不同团体为保护自身利益和隐私不愿贡献数据,形成了数据孤岛.联邦学习使数据不出本地就可被多方利用,为解决数据碎片化和数据隔离等问题提供了解决思路.然而越来越多研究表明,由谷歌首先提出的联邦学习算法不足以抵抗精心设计的隐私攻击,因此如何进一步加强隐私防护,保护联邦学习场景下的用户数据隐私成为一个重要问题.对近些年来联邦学习隐私攻击与防护领域取得的成果进行了系统总结.首先介绍了联邦学习的定义、特点和分类;然后分析了联邦学习场景下隐私威胁的敌手模型,并根据敌手攻击目标对隐私攻击方法进行了分类和梳理;介绍了联邦学习中的主流隐私防护技术,并比较了各技术在实际应用中的优缺点;分析并总结了6类目前联邦学习的隐私保护方案;最后指出目前联邦学习隐私保护面临的挑战,展望了未来可能的研究方向.     

基于秘密分享的高效隐私保护四方机器学习方案

机器学习技术的广泛应用使得用户数据面临严重的隐私泄露风险,而基于安全多方计算技术的隐私保护分布式机器学习协议成为广受关注的研究领域. 传统的安全多方计算协议为了实现恶意敌手模型下的安全性,需要使用认证秘密分享、零知识证明等工具,使得协议实现效率较低. 为了得到更高效的协议,Chaudhari等人提出Trident四方协议框架,在三方协议的基础上,引入一个诚实参与方作为可信第三方来执行协议;而Koti等人提出的Swift框架,在参与方诚实大多数的三方协议背景下,通过一个筛选过程选出一个诚实参与方作为可信第三方来完成协议,并将该框架推广到诚实大多数的四方协议. 在这样的计算框架下,作为可信第三方会拥有所有用户的敏感数据,违背了安全多方计算的初衷. 针对此问题, 设计了一个基于(2,4)秘密分享的四方机器学习协议,改进Swift框架的诚实参与方筛选过程,以确定出2个诚实参与方,并通过他们执行一个半诚实的安全两方计算协议,高效地完成计算任务. 该协议将在线阶段的25%通信负载转移到了离线阶段,提高了方案在线阶段的效率.     

同态加密在加密机器学习中的应用研究综述

现有的机器学习算法不能对加密后的数据进行分析计算,而很多领域如医疗、金融等又要求数据保持机密性和安全性,这促进了加密机器学习的产生和发展。同态加密技术是解决这一问题的主要思路,它可以保证在不解密的情况下对密文进行计算,使得解密后的结果与对明文执行相同计算得到的结果相同。文中对同态加密在加密机器学习中的 相关 应用研究进行了综述,主要介绍了目前用同态加密实现加密机器学习的3种算法(加密神经网络、加密k-NN、加密决策树和完全随机森林),并从正确性、安全性、执行效率方面分析了方案设计,总结并对比了不同加密机器学习算法的构造思路,指出了同态加密用于加密机器学习的关键问题和进一步研究需要关注的内容,为同态加密和加密机器学习提供参考。     

支撑机器学习的数据管理技术综述

应用驱动创新,数据库技术就是在支持主流应用的提质降本增效中发展起来的.从OLTP、OLAP到今天的在线机器学习建模无不如此.机器学习是当前人工智能技术落地的主要途径,通过对数据进行建模而提取知识、实现预测分析.从数据管理的视角对机器学习训练过程进行解构和建模,从数据选择、数据存储、数据存取、自动优化和系统实现等方面,综...