机器学习模型安全与隐私研究综述

在大数据时代下,深度学习、强化学习以及分布式学习等理论和技术取得的突破性进展,为机器学习提供了数据和算法层面的强有力支撑,同时促进了机器学习的规模化和产业化发展.然而,尽管机器学习模型在现实应用中有着出色的表现,但其本身仍然面临着诸多的安全威胁.机器学习在数据层、模型层以及应用层面临的安全和隐私威胁呈现出多样性、隐蔽性和动态演化的特点.机器学习的安全和隐私问题吸引了学术界和工业界的广泛关注,一大批学者分别从攻击和防御的角度对模型的安全和隐私问题进行了深入的研究,并且提出了一系列的攻防方法.在本综述中,我们回顾了机器学习的安全和隐私问题,并对现有的研究工作进行了系统的总结和科学的归纳,同时明确了当前研究的优势和不足.最后,我们探讨了机器学习模型安全与隐私保护研究当前所面临的挑战以及未来潜在的研究方向,旨在为后续学者进一步推动机器学习模型安全与隐私保护研究的发展和应用提供指导.     

人工智能的逆向工程——反向智能研究综述

在大数据时代,人工智能得到了蓬勃发展,尤其以机器学习、深度学习为代表的技术更是取得了突破性进展.随着人工智能在实际场景中的广泛应用,人工智能的安全和隐私问题也逐渐暴露出来,并吸引了学术界和工业界的广泛关注.以机器学习为代表,许多学者从攻击和防御的角度对模型的安全问题进行了深入的研究,并且提出了一系列的方法.然而,当前对机器学习安全的研究缺少完整的理论架构和系统架构.从训练数据逆向还原、模型结构反向推演、模型缺陷分析等角度进行了总结和分析,建立了反向智能的抽象定义及其分类体系.同时,在反向智能的基础上,将机器学习安全作为应用对其进行简要归纳.最后探讨了反向智能研究当前面临的挑战以及未来的研究方向.建立反向智能的理论体系,对于促进人工智能健康发展极具理论意义.     

图学习隐私与安全问题研究综述

虽然海量的现实需求为人工智能提供了广阔的应用场景,但要求人工智能系统适应复杂的计算环境.然而,传统人工智能算法的研究都假设其应用环境是安全可控的.大量研究和实践工作表明当前的人工智能技术普遍对外在风险考虑不足,相关数据和模型算法存在隐私与安全风险.由于人工智能安全的现实需求以及图学习的巨大影响,图学习的隐私与安全问题成为当前图学习领域面临的重要挑战.为此,研究人员近年来从图学习系统的各个环节出发对图学习隐私与安全问题进行了研究,提出了相关的攻击和防御方法.本综述首先阐述研究图学习隐私与安全的重要意义,然后介绍图学习系统的基本过程、图学习面临的主要隐私与安全威胁以及图学习的隐私与安全特性;在上述基础上,分别从图数据隐私、图数据安全、图模型隐私和图模型安全四个方面对现有研究工作进行系统的归纳总结,讨论主要成果和不足;最后,介绍相关的开放资源,并从数据特征、解释性、研究体系和实际应用等方面探讨面临的挑战和未来的研究方向.     

深度学习在语音识别中的研究进展综述

在如今的大数据时代里,对于处理大量未经标注的原始语音数据的传统机器学习算法,很多都已不再适用。与此同时,深度学习模型凭借着其对海量数据的强大建模能力,能够直接对未标注数据进行处理,成为当前语音识别领域的一个研究热点。首先主要分析和总结了当前几种具有代表性的深度学习模型;其次是其在语音识别中对于语音特征提取及声学建模中的应用;最后总结了当前所面临的问题和发展方向。     

基于深度学习的数据融合方法研究综述

数据融合是最大程度发挥大数据价值的关键,深度学习是挖掘数据深层特征信息的技术利器,基于深度学习的数据融合能够充分挖掘大数据潜在价值,从新的深度和广度拓展对世界的探索和认识。综述了近几年基于深度学习的数据融合方法的相关文献,以此了解深度学习在数据融合中应用所具有的优势。分类阐述常见的数据融合方法,同时指出这些方法的优点和不足。从基于深度学习特征提取的数据融合方法、基于深度学习融合的数据融合方法、基于深度学习全过程的数据融合方法三个方面对基于深度学习的数据融合方法进行分析,并做了对比研究与总结。总结全文并讨论了深度学习在数据融合中应用的难点和未来需要进一步研究的问题。     

联邦学习的隐私保护与安全防御研究综述

联邦学习作为人工智能领域的新兴技术,它兼顾处理“数据孤岛”和隐私保护问题,将分散的数据方联合起来训练全局模型同时保持每一方的数据留在本地.联邦学习在很大程度上给需要将数据融合处理的数据敏感型应用带来了希望,但它仍然存在一些潜在的隐私泄露隐患和数据安全问题.为了进一步探究基于联邦学习的隐私保护和安全防御技术研究现状,本文对联邦学习的隐私和安全问题在现有最前沿的研究成果上进行了更清晰的分类,并对威胁隐私和安全的手段进行了威胁强度的划分.本文首先介绍了涉及联邦学习隐私和安全问题的威胁根源,并从多个方面罗列了其在联邦学习中的破坏手段及威胁性.其次,本文总结了关于联邦学习隐私和安全问题所面临的挑战.对于隐私保护而言,本文同时分析了包括单个恶意参与方或中央服务器的攻击和多方恶意合谋泄露隐私的场景,并探讨了相应的最先进保护技术.对于安全问题而言,本文着重分析了影响全局模型性能的多种恶意攻击手段,并系统性地阐述了先进的安全防御方案,以帮助规避构建安全的大规模分布式联邦学习计算环境中潜在的风险.同时与其他联邦学习相关综述论文相比,本文还介绍了联邦学习的多方恶意合谋问题,对比分析了现有的联邦安全聚合算法及...     

解耦表征学习综述

在大数据时代下, 以高效自主隐式特征提取能力闻名的深度学习引发了新一代人工智能的热潮, 然而其背后黑箱不可解释的“捷径学习”现象成为制约其进一步发展的关键性瓶颈问题. 解耦表征学习通过探索大数据内部蕴含的物理机制和逻辑关系复杂性, 从数据生成的角度解耦数据内部多层次、多尺度的潜在生成因子, 促使深度网络模型学会像人类一样对数据进行自主智能感知, 逐渐成为新一代基于复杂性的可解释深度学习领域内重要研究方向, 具有重大的理论意义和应用价值. 本文系统地综述了解耦表征学习的研究进展, 对当前解耦表征学习中的关键技术及典型方法进行了分类阐述, 分析并汇总了现有各类算法的适用场景并对此进行了可视化实验性能展示, 最后指明了解耦表征学习今后的发展趋势以及未来值得研究的方向.     

大数据时代数据安全隐私保护研究

近年来,大数据给我们的生活、工作学习带来了潜移默化的影响.然而,大数据的采集、存储以及使用过程中,都潜在着风险,使得大数据安全问题日益严重.为此,近些年提出了许多大数据安全保护技术.本文对当前大数据安全保护关键技术的研究现状进行分类阐述,分析其优缺点.     

大数据背景下的深度学习技术应用探究

深度学习技术能深层地挖掘大数据的潜在价值,有广阔的应用前景。如何科学、合理运用深度学习技术为企事业单位服务,是当前研究的重点问题。笔者探究了在大数据背景下的深度学习技术,从技术的起源到具体的应用场景进行深入分析,以期为大数据背景下的深度学习技术的合理应用提供有效参考。     

基于ROI-KNN卷积神经网络的面部表情识别

深度神经网络已经被证明在图像、语音、文本领域具有挖掘数据深层潜在的分布式表达特征的能力. 通过在多个面部情感数据集上训练深度卷积神经网络和深度稀疏校正神经网络两种深度学习模型, 对深度神经网络在面部情感分类领域的应用作了对比评估. 进而, 引入了面部结构先验知识, 结合感兴趣区域(Region of interest, ROI)和K最近邻算法(K-nearest neighbors, KNN), 提出一种快速、简易的针对面部表情分类的深度学习训练改进方案——ROI-KNN, 该训练方案降低了由于面部表情训练数据过少而导致深度神经网络模型泛化能力不佳的问题, 提高了深度学习在面部表情分类中的鲁棒性, 同时, 显著地降低了测试错误率.     

深度学习中的对抗攻击与防御

对抗样本是被添加微小扰动的原始样本,用于误导深度学习模型的输出决策,严重威胁到系统的可用性,给系统带来极大的安全隐患。为此,详细分析了当前经典的对抗攻击手段,主要包括白盒攻击和黑盒攻击。根据对抗攻击和防御的发展现状,阐述了近年来国内外的相关防御策略,包括输入预处理、提高模型鲁棒性、恶意检测。最后,给出了未来对抗攻击与防御领域的研究方向。     

基于深度神经网络的对抗样本技术综述

深度学习在完成一些难度极高的任务中展现了惊人的能力,但深度神经网络难以避免对刻意添加了扰动的样本（称为“对抗样本”）进行错误的分类。“对抗样本”逐渐成为深度学习安全领域的研究热点。研究对抗样本产生的原因和作用机理,有助于从安全性和鲁棒性方面优化模型。在掌握对抗样本原理的基础上,对经典对抗样本攻击方法进行分类总结,根据不同的攻击原理将攻击方法分为白盒攻击与黑盒攻击两个大类,并引入非特定目标攻击、特定目标攻击、全像素添加扰动攻击和部分像素添加扰动攻击等细类。在ImageNet数据集上对几种典型攻击方法进行复现,通过实验结果,比较几种生成方法的优缺点,分析对抗样本生成过程中的突出问题。并对对抗样本的应用和发展作了展望。     

基于模型的深度学习通信信号鲁棒识别算法

深度学习现在是计算机视觉和自然语言处理的热门话题。在许多应用中,深度神经网络（DNN）的性能都优于 传统的方法,并且已经成功应用于调制分类和无线电信号表示等任务的学习。近几年研究发现深度神经网络极易受到对抗性 攻击,对“对抗性示例”缺乏鲁棒性。笔者就神经网络的通信信号识别算法的鲁棒性问题,将经过PGD攻击的数据看作基于模 型的数据,将该数据输入神经网络,使得信号识别分类结果错误;然后借助基于模型的防御算法,即鲁棒训练算法和对抗训练 算法,进行训练后实验结果表明,两种方法都具有较好的防御效果。     

针对深度学习模型的对抗性攻击与防御

以深度学习为主要代表的人工智能技术正在悄然改变人们的生产生活方式,但深度学习模型的部署也带来了一定的安全隐患.研究针对深度学习模型的攻防分析基础理论与关键技术,对深刻理解模型内在脆弱性、全面保障智能系统安全性、广泛部署人工智能应用具有重要意义.拟从对抗的角度出发,探讨针对深度学习模型的攻击与防御技术进展和未来挑战.首先介绍了深度学习生命周期不同阶段所面临的安全威胁.然后从对抗性攻击生成机理分析、对抗性攻击生成、对抗攻击的防御策略设计、对抗性攻击与防御框架构建4个方面对现有工作进行系统的总结和归纳.还讨论了现有研究的局限性并提出了针对深度学习模型攻防的基本框架.最后讨论了针对深度学习模型的对抗性攻击与防御未来的研究方向和面临的技术挑战.     

应用量子行为粒子群优化算法的文本对抗

文本对抗攻击能够极大地弱化深度神经网络在自然语言处理任务中的判别能力,对抗攻击方法的研究是提升深度神经网络鲁棒性的重要方法。现有的词级别文本对抗方法在搜索对抗样本时不够有效,搜索到的往往不是最理想的样本。针对这一缺陷,提出了基于改进的量子行为粒子群优化算法的文本对抗方法。通过对量子行为粒子群优化算法进行离散化的适应性改动,更有效地搜索出高质量的对抗样本。实验结果表明,提出的方法在多个数据集上取得了更高的攻击成功率,同时保持了更低的改动率,人工评测则表明提出的方法生成的对抗样本相比于其他对抗样本能够更多地保留语法和语义的正确性。     

Adversarial image detection in deep neural networks

Deep neural networks are more and more pervading many computer vision applications and in particular image classification. Notwithstanding that, recent works have demonstrated that it is quite easy to create adversarial examples, i.e., images malevolently modified to cause deep neural networks to fail. Such images contain changes unnoticeable to the human eye but sufficient to mislead the network. This represents a serious threat for machine learning methods. In this paper, we investigate the robustness of the representations learned by the fooled neural network, analyzing the activations of its hidden layers. Specifically, we tested scoring approaches used for kNN classification, in order to distinguish between correctly classified authentic images and adversarial examples. These scores are obtained searching only between the very same images used for training the network. The results show that hidden layers activations can be used to reveal incorrect classifications caused by adversarial attacks.

     

针对黑盒智能语音软件的对抗样本生成方法

随着深度学习技术的成熟, 智能语音识别软件获得了广泛的应用, 存在于智能软件内部的各种深度神经网络发挥了关键性的作用. 然而, 最近的研究表明: 含有微小扰动的对抗样本会对深度神经网络的安全性和鲁棒性构成极大威胁. 研究人员通常将生成的对抗样本作为测试用例输入到智能语音识别软件中, 观察对抗样本是否会让软件产生错误判断...     

针对卷积神经网络流量分类器的对抗样本攻击防御

随着深度学习的兴起,深度神经网络被成功应用于多种领域,但研究表明深度神经网络容易遭到对抗样本的恶意攻击.作为深度神经网络之一的卷积神经网络(CNN)目前也被成功应用于网络流量的分类问题,因此同样会遭遇对抗样本的攻击.为提高CNN网络流量分类器防御对抗样本的攻击,本文首先提出批次对抗训练方法,利用训练过程反向传播误差的特...     

图对抗攻击研究综述

将深度学习用于图数据建模已经在包括节点分类、链路预测和图分类等在内的复杂任务中表现出优异的性能,但是图神经网络同样继承了深度神经网络模型容易在微小扰动下导致错误输出的脆弱性,引发了将图神经网络应用于金融、交通等安全关键领域的担忧。研究图对抗攻击的原理和实现,可以提高对图神经网络脆弱性和鲁棒性的理解,从而促进图神经网络更广泛的应用,图对抗攻击已经成为亟待深入研究的领域。介绍了图对抗攻击相关概念,将对抗攻击算法按照攻击策略分为拓扑攻击、特征攻击和混合攻击三类;进而,归纳每类算法的核心思想和策略,并比较典型攻击的具体实现方法及优缺点。通过分析现有研究成果,总结图对抗攻击存在的问题及其发展方向,为图对抗攻击领域进一步的研究和发展提供帮助。     

基于边界值不变量的对抗样本检测方法

目前,深度学习成为计算机领域研究与应用最广泛的技术之一,在图像识别、语音、自动驾驶、文本翻译等方面都取得良好的应用成果。但人们逐渐发现深度神经网络容易受到微小扰动图片的影响,导致分类出现错误,这类攻击手段被称为对抗样本。对抗样本的出现可能会给安全敏感的应用领域带来灾难性的后果。现有的防御手段大多需要对抗样本本身作为训练集,这种对抗样本相关的防御手段是无法应对未知对抗样本攻击的。借鉴传统软件安全中的边界检查思想,提出了一种基于边界值不变量的对抗样本检测防御方法,该方法通过拟合分布来寻找深度神经网络中的不变量,且训练集的选取与对抗样本无关。实验结果表明,在 LeNet、vgg19 模型和 Mnist、Cifar10 数据集上,与其他对抗检测方法相比,提出的方法可有效检测目前的常见对抗样本攻击,并且具有低误报率。