人工智能的逆向工程——反向智能研究综述

在大数据时代,人工智能得到了蓬勃发展,尤其以机器学习、深度学习为代表的技术更是取得了突破性进展.随着人工智能在实际场景中的广泛应用,人工智能的安全和隐私问题也逐渐暴露出来,并吸引了学术界和工业界的广泛关注.以机器学习为代表,许多学者从攻击和防御的角度对模型的安全问题进行了深入的研究,并且提出了一系列的方法.然而,当前对机器学习安全的研究缺少完整的理论架构和系统架构.从训练数据逆向还原、模型结构反向推演、模型缺陷分析等角度进行了总结和分析,建立了反向智能的抽象定义及其分类体系.同时,在反向智能的基础上,将机器学习安全作为应用对其进行简要归纳.最后探讨了反向智能研究当前面临的挑战以及未来的研究方向.建立反向智能的理论体系,对于促进人工智能健康发展极具理论意义.     

机器学习隐私保护研究综述

机器学习已成为大数据、物联网和云计算等领域核心技术.机器学习模型训练需要大量数据,这些数据通常通过众包方式收集,里面含有大量隐私数据包括个人身份信息（如电话号码、身份证号等）、敏感信息（如金融财务、医疗健康等信息）.如何低成本且高效地保护这些数据是一个重要的问题.介绍了机器学习及其隐私定义和隐私威胁,重点对机器学习隐私保护主流技术的工作原理和突出特点进行了阐述,并分别按照差分隐私、同态加密和安全多方计算等机制对机器学习隐私保护领域的研究成果进行了综述.在此基础上,对比分析了机器学习不同隐私保护机制的主要优缺点.最后,对机器学习隐私保护的发展趋势进行展望,并提出了该领域未来可能的研究方向.     

机器学习中差分隐私的数据共享及发布：技术、应用和挑战

近年来,基于机器学习的数据分析和数据发布技术成为热点研究方向。与传统数据分析技术相比,机器学习的优点是能够精准分析大数据的结构与模式。但是,基于机器学习的数据分析技术的隐私安全问题日益突出,机器学习模型泄漏用户训练集中的隐私信息的事件频频发生,比如成员推断攻击泄漏机器学习中训练的存在与否,成员属性攻击泄漏机器学习模型训练集的隐私属性信息。差分隐私作为传统数据隐私保护的常用技术,正在试图融入机器学习以保护用户隐私安全。然而,对隐私安全、机器学习以及机器学习攻击三种技术的交叉研究较为少见。本文做了以下几个方面的研究:第一,调研分析差分隐私技术的发展历程,包括常见类型的定义、性质以及实现机制等,并举例说明差分隐私的多个实现机制的应用场景。初次之外,还详细讨论了最新的Rényi差分隐私定义和Moment Accountant差分隐私的累加技术。其二,本文详细总结了机器学习领域常见隐私威胁模型定义、隐私安全攻击实例方式以及差分隐私技术对各种隐私安全攻击的抵抗效果。其三,以机器学习较为常见的鉴别模型和生成模型为例,阐述了差分隐私技术如何应用于保护机器学习模型的技术,包括差分隐私的随机梯度扰动(DP-SGD)技术和差分隐私的知识转移(PATE)技术。最后,本文讨论了面向机器学习的差分隐私机制的若干研究方向及问题。     

机器学习中的隐私攻击与防御

大数据时代丰富的信息来源促进了机器学习技术的蓬勃发展,然而机器学习模型的训练集在数据采集、模型训练等各个环节中存在的隐私泄露风险,为人工智能环境下的数据管理提出了重大挑战.传统数据管理中的隐私保护方法无法满足机器学习中多个环节、多种场景下的隐私保护要求.分析并展望了机器学习技术中隐私攻击与防御的研究进展和趋势.首先介绍了机器学习中隐私泄露的场景和隐私攻击的敌手模型,并根据攻击者策略分类梳理了机器学习中隐私攻击的最新研究;介绍了当前机器学习隐私保护的主流基础技术,进一步分析了各技术在保护机器学习训练集隐私时面临的关键问题,重点分类总结了5种防御策略以及具体防御机制;最后展望了机器学习技术中隐私防御机制的未来方向和挑战.     

图学习隐私与安全问题研究综述

虽然海量的现实需求为人工智能提供了广阔的应用场景,但要求人工智能系统适应复杂的计算环境.然而,传统人工智能算法的研究都假设其应用环境是安全可控的.大量研究和实践工作表明当前的人工智能技术普遍对外在风险考虑不足,相关数据和模型算法存在隐私与安全风险.由于人工智能安全的现实需求以及图学习的巨大影响,图学习的隐私与安全问题成为当前图学习领域面临的重要挑战.为此,研究人员近年来从图学习系统的各个环节出发对图学习隐私与安全问题进行了研究,提出了相关的攻击和防御方法.本综述首先阐述研究图学习隐私与安全的重要意义,然后介绍图学习系统的基本过程、图学习面临的主要隐私与安全威胁以及图学习的隐私与安全特性;在上述基础上,分别从图数据隐私、图数据安全、图模型隐私和图模型安全四个方面对现有研究工作进行系统的归纳总结,讨论主要成果和不足;最后,介绍相关的开放资源,并从数据特征、解释性、研究体系和实际应用等方面探讨面临的挑战和未来的研究方向.     

抗拜占庭攻击的隐私保护联邦学习

联邦学习是一种隐私保护的分布式机器学习框架,可以让各方参与者在不披露本地数据的前提下共建模型.然而,联邦学习仍然面临拜占庭攻击和用户隐私泄漏等威胁.现有研究结合鲁棒聚合规则和安全计算技术以同时应对上述安全威胁,但是这些方案难以兼顾模型鲁棒性与计算高效性.针对此问题,本文提出一种抗拜占庭攻击的隐私保护联邦学习框架Sec FedDMC,在保护用户数据隐私的条件下实现高效的拜占庭攻击检测与防御.基础方案Fed DMC采用“先降维后聚类”的策略,设计了高效精准的恶意客户端检测方法.此外,该方法利用的随机主成分分析降维技术和K-均值聚类技术主要由线性运算构成,从而优化了算法在安全计算环境中的适用性.针对基础方案存在的用户数据隐私泄露问题,提出了基于安全多方计算技术的隐私增强方案Sec FedDMC.基于轻量级加法秘密分享技术,设计安全的正交三角分解协议和安全的特征分解协议,从而构建双服务器模型下隐私保护的拜占庭鲁棒联邦学习方案,以保护模型训练和拜占庭节点识别过程中的用户隐私.经实验验证,Sec FedDMC在保护用户隐私的前提下,可以高效准确地识别拜占庭攻击节点,具有较好的鲁棒性.其中,本方案与...     

联邦学习的隐私保护与安全防御研究综述

联邦学习作为人工智能领域的新兴技术,它兼顾处理“数据孤岛”和隐私保护问题,将分散的数据方联合起来训练全局模型同时保持每一方的数据留在本地.联邦学习在很大程度上给需要将数据融合处理的数据敏感型应用带来了希望,但它仍然存在一些潜在的隐私泄露隐患和数据安全问题.为了进一步探究基于联邦学习的隐私保护和安全防御技术研究现状,本文对联邦学习的隐私和安全问题在现有最前沿的研究成果上进行了更清晰的分类,并对威胁隐私和安全的手段进行了威胁强度的划分.本文首先介绍了涉及联邦学习隐私和安全问题的威胁根源,并从多个方面罗列了其在联邦学习中的破坏手段及威胁性.其次,本文总结了关于联邦学习隐私和安全问题所面临的挑战.对于隐私保护而言,本文同时分析了包括单个恶意参与方或中央服务器的攻击和多方恶意合谋泄露隐私的场景,并探讨了相应的最先进保护技术.对于安全问题而言,本文着重分析了影响全局模型性能的多种恶意攻击手段,并系统性地阐述了先进的安全防御方案,以帮助规避构建安全的大规模分布式联邦学习计算环境中潜在的风险.同时与其他联邦学习相关综述论文相比,本文还介绍了联邦学习的多方恶意合谋问题,对比分析了现有的联邦安全聚合算法及...     

“人工智能+”背景下的数据安全与隐私保护探析

随着大数据和云计算的技术的深入应用，人工智能时代的机器学习和深度学习更需要日益增长的数据，因此数据安全与隐私保护变得更加迫切。本文介绍人工智能的定义以及特征，探究数据安全和隐私保护现状，分析数据安全和隐私保护面临的诸多问题，并提出在人工智能时代对数据安全和隐私保护的措施。     

联邦学习中的隐私保护技术研究综述

近年来,联邦学习成为解决机器学习中数据孤岛与隐私泄露问题的新思路。联邦学习架构不需要多方共享数据资源,只要参与方在本地数据上训练局部模型,并周期性地将参数上传至服务器来更新全局模型,就可以获得在大规模全局数据上建立的机器学习模型。联邦学习架构具有数据隐私保护的特质,是未来大规模数据机器学习的新方案。然而,该架构的参数交互方式可能导致数据隐私泄露。目前,研究如何加强联邦学习架构中的隐私保护机制已经成为新的热点。从联邦学习中存在的隐私泄露问题出发,探讨了联邦学习中的攻击模型与敏感信息泄露途径,并重点综述了联邦学习中的几类隐私保护技术：以差分隐私为基础的隐私保护技术、以同态加密为基础的隐私保护技术、以安全多方计算（SMC）为基础的隐私保护技术。最后,探讨了联邦学习中隐私保护中的若干关键问题,并展望了未来研究方向。     

联邦学习模型安全与隐私研究进展

随着数据孤岛现象的出现和个人隐私保护的重视,集中学习的应用模式受到制约,而联邦学习作为一个分布式机器学习框架,可以在不泄露用户数据的前提下完成模型训练,从诞生之初就备受关注.伴随着联邦学习应用的推广,其安全性和隐私保护能力也开始受到质疑.对近年来国内外学者在联邦学习模型安全与隐私的研究成果进行了系统总结与分析.首先,介绍联邦学习的背景知识,明确其定义和工作流程,并分析存在的脆弱点.其次,分别对联邦学习存在的安全威胁和隐私风险进行系统分析和对比,并归纳总结现有的防护手段.最后,展望未来的研究挑战和方向.     

联邦学习安全防御与隐私保护技术研究

联邦学习（federated learning,FL）在多个参与方不直接进行数据传输的前提下共同完成模型训练,充分发挥各方数据价值;然而,由于联邦学习的固有缺陷以及存储和通信的安全问题,其在实际应用场景中仍面临多种安全与隐私威胁。首先阐述了FL面临的安全攻击和隐私攻击;然后针对这两类典型攻击分别总结了最新的安全防御机制和隐私保护手段,包括投毒攻击防御、后门攻击防御、搭便车攻击防御、女巫攻击防御以及基于安全计算与差分隐私的防御手段。通过对联邦学习的现有风险和相应防御手段的系统梳理,展望了联邦学习未来的研究挑战与发展方向。     

人工智能模型数据泄露的攻击与防御研究综述

人工智能和深度学习算法正在高速发展,这些新兴技术在音视频识别、自然语言处理等领域已经得到了广泛应用。然而,近年来研究者发现,当前主流的人工智能模型中存在着诸多安全隐患,并且这些隐患会限制人工智能技术的进一步发展。因此,研究了人工智能模型中的数据安全与隐私保护问题。对于数据与隐私泄露问题,主要研究了基于模型输出的数据泄露问题和基于模型更新的数据泄露问题。在基于模型输出的数据泄露问题中,主要探讨了模型窃取攻击、模型逆向攻击、成员推断攻击的原理和研究现状;在基于模型更新的数据泄露问题中,探讨了在分布式训练过程中,攻击者如何窃取隐私数据的相关研究。对于数据与隐私保护问题,主要研究了常用的3类防御方法,即模型结构防御,信息混淆防御,查询控制防御。综上,围绕人工智能深度学习模型的数据安全与隐私保护领域中最前沿的研究成果,探讨了人工智能深度学习模型的数据窃取和防御技术的理论基础、重要成果以及相关应用。     

对抗样本生成及攻防技术研究

基于对抗样本的攻击方法是机器学习算法普遍面临的安全挑战之一。以机器学习的安全性问题为出发点,介绍了当前机器学习面临的隐私攻击、完整性攻击等安全问题,归纳了目前常见对抗样本生成方法的发展过程及各自的特点,总结了目前已有的针对对抗样本攻击的防御技术,最后对提高机器学习算法鲁棒性的方法作了进一步的展望。     

面向网络空间防御的对抗机器学习研究综述

机器学习以强大的自适应性和自学习能力成为网络空间防御的研究热点和重要方向. 然而机器学习模型在网络空间环境下存在受到对抗攻击的潜在风险, 可能成为防御体系中最为薄弱的环节, 从而危害整个系统的安全. 为此科学分析安全问题场景, 从运行机理上探索算法可行性和安全性, 对运用机器学习模型构建网络空间防御系统大有裨益. 全面综述对抗机器学习这一跨学科研究领域在网络空间防御中取得的成果及以后的发展方向. 首先, 介绍了网络空间防御和对抗机器学习等背景知识; 其次, 针对机器学习在网络空间防御中可能遭受的攻击, 引入机器学习敌手模型概念, 目的是科学评估其在特定威胁场景下的安全属性; 然后, 针对网络空间防御的机器学习算法, 分别论述了在测试阶段发动规避攻击、在训练阶段发动投毒攻击、在机器学习全阶段发动隐私窃取的方法, 进而研究如何在网络空间对抗环境下, 强化机器学习模型的防御方法; 最后, 展望了网络空间防御中对抗机器学习研究的未来方向和有关挑战.     

开启联邦学习的个性化时代：隐私、安全与效率的平衡探索

人工智能为公共和国防安全的发展和应用提供了巨大的机遇,然而国防安全数据包含了敏感的军事、情报和战略信息,一旦泄露或被滥用,可能对国家安全造成严重威胁,如何确保国防安全数据的隐私保护成为一项重要挑战。个性化联邦学习是近年来发展起来的一种新型的机器学习方法,它旨在通过将分布式的数据在本地进行训练和更新,从而实现在保护数据隐私的前提下提高本地模型的准确性和鲁棒性。与传统的中心化机器学习方法不同,个性化联邦学习允许不同数据拥有者之间共享模型的信息,而不是数据本身。这种方法已经在医疗、金融、物联网等领域得到了广泛的应用。本文从全局模型个性化和本地模型个性化两个方面分别介绍了个性化联邦学习的基本原理以及研究现状,总结了各个方法的优缺点,并讨论了现有方法的评价指标和常用数据集,最后展望了它在未来的发展前景。     

机器学习中的隐私保护综述

机器学习被广泛应用于自动推理、自然语言处理、模式识别、计算机视觉、智能机器人等人工智能领域,成为许多领域研究与技术应用中必不可少的一个工具。然而,机器学习本身存在隐私安全问题,已经引起了越来越多的关注。本文专门针对机器学习中的隐私问题进行了分类和较为详细的介绍,提出了基于攻击对象的隐私威胁分类方式,并清晰地展示了防御技术的研究思路,最后给出了亟待解决的问题和发展方向。     

机器学习安全及隐私保护研究进展

机器学习作为实现人工智能的一种重要方法,在数据挖掘、计算机视觉、自然语言处理等领域得到广泛应用。随着机器学习应用的普及发展,其安全与隐私问题受到越来越多的关注。首先结合机器学习的一般过程,对敌手模型进行了描述。然后总结了机器学习常见的安全威胁,如投毒攻击、对抗攻击、询问攻击等,以及应对的防御方法,如正则化、对抗训练、防御精馏等。接着对机器学习常见的隐私威胁,如训练数据窃取、逆向攻击、成员推理攻击等进行了总结,并给出了相应的隐私保护技术,如同态加密、差分隐私。最后给出了亟待解决的问题和发展方向。     

机器学习安全攻击与防御机制研究进展和未来挑战

机器学习的应用遍及人工智能的各个领域,但因存储和传输安全问题以及机器学习算法本身的缺陷,机器学习面临多种面向安全和隐私的攻击.本文基于攻击发生的位置和时序对机器学习中的安全和隐私攻击进行分类,分析和总结了数据投毒攻击、对抗样本攻击、数据窃取攻击和询问攻击等产生的原因和攻击方法,并介绍和分析了现有的安全防御机制.最后,展望了安全机器学习未来的研究挑战和方向.     

云计算环境安全综述

伴随云计算技术的飞速发展,其所面临的安全问题日益凸显,在工业界和学术界引起了广泛的关注.传统的云基础架构中存在较高安全风险,攻击者对虚拟机的非法入侵破坏了云服务或资源的可用性,不可信的云存储环境增大了用户共享、检索私有数据的难度,各类外包计算和云应用需求带来了隐私泄露的风险.该文从云计算环境下安全与隐私保护技术的角度出发,通过介绍云虚拟化安全、云数据安全以及云应用安全的相关研究进展,分析并对比典型方案的特点、适用范围及其在安全防御和隐私保护方面的不同效用,讨论已有工作的局限性,进而指出未来发展趋势和后续研究方向.