人工智能模型数据泄露的攻击与防御研究综述

人工智能和深度学习算法正在高速发展,这些新兴技术在音视频识别、自然语言处理等领域已经得到了广泛应用。然而,近年来研究者发现,当前主流的人工智能模型中存在着诸多安全隐患,并且这些隐患会限制人工智能技术的进一步发展。因此,研究了人工智能模型中的数据安全与隐私保护问题。对于数据与隐私泄露问题,主要研究了基于模型输出的数据泄露问题和基于模型更新的数据泄露问题。在基于模型输出的数据泄露问题中,主要探讨了模型窃取攻击、模型逆向攻击、成员推断攻击的原理和研究现状;在基于模型更新的数据泄露问题中,探讨了在分布式训练过程中,攻击者如何窃取隐私数据的相关研究。对于数据与隐私保护问题,主要研究了常用的3类防御方法,即模型结构防御,信息混淆防御,查询控制防御。综上,围绕人工智能深度学习模型的数据安全与隐私保护领域中最前沿的研究成果,探讨了人工智能深度学习模型的数据窃取和防御技术的理论基础、重要成果以及相关应用。     

加权社交网络敏感边的差分隐私保护研究

社交网络边权重表示节点属性相似性时,针对边权重能导致节点敏感属性泄露的问题,提出一种利用差分隐私保护模型的扰动策略进行边权重保护。首先根据社交网络构建属性相似图和非属性相似图,同时建立差分隐私保护算法;然后对属性相似图及非属性相似图边权重进行扰动时,设计扰动方案,并按扰动方案对属性相似图及非属性相似图进行扰动。实现了攻击者无法根据扰动后边权重判断节点属性相似性,从而防止节点敏感属性泄漏,而且该方法能够抵御攻击者拥有最大背景知识的攻击。从理论上证明了算法的可行性,并通过实验验证了算法的可行性及有效性。     

基于博弈分析的车辆感知网络节点轨迹隐私保护机制

利用车辆移动"众包模式"为驾驶员提供实时路况信息和探索新的商业服务模式,是车载感知网络的新型应用之一.然而,车辆移动轨迹中的敏感信息易与用户身份相关联,存在隐私泄露问题.提出了一种车载感知网络节点轨迹隐私保护算法,克服了匿名和隐藏技术缺乏数据真实性权衡的缺点,并考虑到多种攻击策略的影响.对于给定的一系列轨迹集,首先确定边信息概率分布,建立攻击者和防御者模型,通过求解攻防博弈中的纳什均衡选择最优的防御策略,并证明其有效性.在此基础上,折中轨迹数据真实性和隐私性,以最大化防御者效用为目标,提出轨迹隐私保护算法.实验结果表明,防御策略在不同的攻击策略下展现出不同的性能,算法所选择的防御策略优于其他的策略.     

基于置信度分析的差分隐私保护参数配置方法研究

为了解决数据发布和分析过程中用户真实数据信息被披露的问题,降低攻击者通过差分攻击和概率推理攻击获取真实结果的概率,提出了一种基于置信度分析的差分隐私保护参数配置方法。在攻击者概率推理攻击模型下对攻击者置信度进行分析,使之不高于根据数据隐私属性所设置的隐私概率阈值。所提出的方法能够针对不同查询用户查询权限的差异配置更加合理的隐私保护参数,避免了隐私披露的风险。实验分析表明,所提出的方法根据查询权限、噪声分布特性以及数据隐私属性分析攻击者置信度与隐私保护参数的对应关系,并据此推导出隐私保护参数的配置公式,从而在不违背隐私保护概率阈值的情况下配置合适的ε参数。     

支持差分隐私的图像数据挖掘方法研究

针对数据挖掘模型中存在的隐私泄漏问题及现有隐私保护技术的不透明性,本文将差分隐私与图像生成模型生成对抗网络（Generative adversarial network, GAN）相结合,提出了一种更具普适性的支持图像数据差分隐私保护的生成对抗网络模型（Image differential privacy-GAN, IDP-GAN）。IDP-GAN通过差分隐私的拉普拉斯实现机制,将拉普拉斯噪声合理地分配到判别器的仿射变换层的输入特征以及输出层的损失函数的多项式近似系数中。在实现差分隐私保护的同时,有效地减少了训练过程中隐私预算的消耗。标准数据集MNIST和CelebA上的实验验证了IDP-GAN可以生成更高质量的图像数据,此外用成员推理攻击实验证明了IDP-GAN具有较好的抗攻击能力。     

基于U-Net的对抗样本防御模型

对抗攻击是指对图像添加微小的扰动使深度神经网络以高置信度输出错误分类。提出一种对抗样本防御模型SE-ResU-Net,基于图像语义分割网络U-Net架构,引入残差模块和挤压激励模块,通过压缩和重建方式进行特征提取和图像还原,破坏对抗样本中的扰动结构。实验结果表明,SE-ResU-Net模型能对MI-FGSM、PGD、DeepFool、C&W攻击的对抗样本实施有效防御,在CIFAR10和Fashion-MNIST数据集上的防御成功率最高达到87.0%和93.2%,且具有较好的泛化性能。     

一种检测C&W对抗样本图像的盲取证算法

对抗样本图像能欺骗深度学习网络,亟待对抗样本防御机制以增强深度学习模型的安全性。C&W攻击是目前较热门的一种白盒攻击算法,它产生的对抗样本具有图像质量高、可转移、攻击性强、难防御等特点。本文以C&W攻击生成的对抗样本为研究对象,采用数字图像取证的思路,力图实现C&W对抗样本的检测,拒绝对抗样本输入深度学习网络。基于对抗样本中的对抗扰动易被破坏的假设,我们设计了基于FFDNet滤波器的检测算法。具体来说,FFDNet是一种基于深度卷积网络CNN的平滑滤波器,它能破坏对抗扰动,导致深度学习模型对对抗样本滤波前后的输出不一致。我们判断输出不一致的待测图像为C&W对抗样本。我们在ImageNet-1000图像库上针对经典的ResNet深度网络生成了6种C&W对抗样本。实验结果表明本文方法能较好地检测C&W对抗样本。相较于已有工作,本文方法不仅极大地降低了虚警率,而且提升了C&W对抗样本的检测准确率。     

针对社交网络边权重的差分隐私保护

针对社交网络边权重隐私保护中的弱保护和最短路径不可分析问题,提出一种满足差分隐私保护模型的边权重保护策略。将社交网络划分为全次图、缺次图、零次图,设计扰动方案及查询函数,对不同图进行查询获取其边权重并按扰动方案对不同的边权重添加不同的Laplace噪声,实现抵御攻击者拥有最大背景知识的攻击的边权重隐私保护,保证一组节点的最短路径不变,且其长度与原路径长度相近。该策略有强保护性及最短路径可分析性,从理论上验证了算法的可行性,通过实验验证了算法的正确性。     

一种物联网入侵检测和成员推理攻击研究

为适应物联网节点计算能力弱、存储空间不足和敏感数据易受攻击等特点,提出一种新的融合卷积神经网络和差分隐私的轻量级入侵检测模型,使模型更好适应物联网苛刻的资源环境。首先,使用MinMax算法对原始流量数据进行归一化预处理;其次,设计轻量级卷积神经网络提取流量特征并进行分类;最后使用差分隐私算法对模型可能遇到的成员推理攻击进行防御。新算法在UNSW_NB15等入侵检测数据集上进行了实验,本文的模型准确率达到98.98%,精确率达到98.05%,模型大小控制在200KB左右,相比于DAE-OCSVM算法准确率提高了2.81%,适用于物联网资源有限环境下要求的高精度的入侵检测;同时,针对模型可能遇到的成员推理攻击进行研究,新算法在融入差分隐私算法后降低了20.96%的成员推理攻击。     

k-匿名下通过本地差分隐私实现位置隐私保护

针对用户位置隐私保护过程中攻击者利用背景知识等信息发起攻击的问题,提出一种面向移动终端的位置隐私保护方法。该方案通过利用k-匿名和本地差分隐私技术进行用户位置保护,保证隐私和效用的权衡。结合背景知识构造匿名集,通过改进的Hilbert曲线对k-匿名集进行分割,使用本地差分隐私算法RAPPOR扰动划分后的位置集,最后将生成的位置集发送给位置服务提供商获取服务。在真实数据集上与已有的方案从用户位置保护、位置可用性和时间开销方面进行对比,实验结果显示,所提方案在确保LBS服务质量的同时,也增强了位置隐私保护的程度。     

FedDAA: a robust federated learning framework to protect privacy and defend against adversarial attack

Federated learning (FL) has emerged to break data-silo and protect clients’ privacy in the field of artificial intelligence. However, deep leakage from gradient (DLG) attack can fully reconstruct clients’ data from the submitted gradient, which threatens the fundamental privacy of FL. Although cryptology and differential privacy prevent privacy leakage from gradient, they bring negative effect on communication overhead or model performance. Moreover, the original distribution of local gradient has been changed in these schemes, which makes it difficult to defend against adversarial attack. In this paper, we propose a novel federated learning framework with model decomposition, aggregation and assembling (FedDAA), along with a training algorithm, to train federated model, where local gradient is decomposed into multiple blocks and sent to different proxy servers to complete aggregation. To bring better privacy protection performance to FedDAA, an indicator is designed based on image structural similarity to measure privacy leakage under DLG attack and an optimization method is given to protect privacy with the least proxy servers. In addition, we give defense schemes against adversarial attack in FedDAA and design an algorithm to verify the correctness of aggregated results. Experimental results demonstrate that FedDAA can reduce the structural similarity between the reconstructed image and the original image to 0.014 and remain model convergence accuracy as 0.952, thus having the best privacy protection performance and model training effect. More importantly, defense schemes against adversarial attack are compatible with privacy protection in FedDAA and the defense effects are not weaker than those in the traditional FL. Moreover, verification algorithm of aggregation results brings about negligible overhead to FedDAA.     

基于图像重构的MNIST对抗样本防御算法

随着深度学习的应用普及,其安全问题越来越受重视,对抗样本是在原有图像中添加较小的扰动,即可造成深度学习模型对图像进行错误分类,这严重影响深度学习技术的发展.针对该问题,分析现有对抗样本的攻击形式和危害,由于现有防御算法存在缺点,提出一种基于图像重构的对抗样本防御方法,以达到有效防御对抗样本的目的 .该防御方法以MNIS...     

基于小波变换的分布式隐私保护聚类算法

针对现有隐私保护聚类算法无法满足效率与隐私之间较好折中的问题,提出一种基于安全多方计算(SMC)与数据扰动相结合的分布式隐私保护聚类算法。各数据方用小波变换实现数据压缩和信息隐藏,并用属性列的随机重排来防止数据重构可能产生的信息泄露。该算法仅使用压缩重排后的数据参与分布聚类计算,因此计算量和通信量小,算法效率高,而多重保护措施有效保护了隐私数据。因小波变换具有高保真性,所以聚类精度受小波变换的影响较小。理论分析和实验结果表明,所提算法安全高效,在处理高维数据时全局F测量值和执行效率优于基于Haar小波的离散余弦变换(DCT-H)算法,解决了效率与隐私之间的折中问题。     

一种隐私保护关联规则挖掘的混合算法*

针对现有的隐私保护关联规则挖掘算法无法满足效率与精度之间较好的折中问题,提出了一种基于安全多方计算与随机干扰相结合的混合算法。算法基于半诚实模型,首先使用项集随机干扰矩阵对各个分布站点的数据进行变换和隐藏,然后提出一种方法恢复项集的全局支持数。由于采用的是对项集进行干扰,克服了传统方法由于独立地干扰每个项而破坏项之间相关性,导致恢复精度下降的缺陷。将小于阈值的项集进行剪枝,再使用安全多方计算在剪枝后的空间中精确找出全局频繁项集,进而生成全局关联规则。实验表明,该算法在保持隐私度的情况下,能够获得精度和效率之间较好的折中。     

基于SLIC的改进GrabCut彩色图像快速分割

GrabCut算法用户交互量少且分割精度高,但它迭代使用GraphCuts的求解模式使得在处理高分辨率图像时,耗时巨大。提出了一种快速GrabCut算法,在高斯混合模型参数估计过程中,通过SLIC算法构建精简的GraphCuts模型以实现加速。通过SLIC算法将原始图像快速地预分割成具有确定边界且区域内相似度高的超像素图,并以此构建精简的网络图。以块内的RGB均值描述超像素特征进行高斯混合模型参数估计。为了提高分割精度,使用得到的GMM参数对原始图像进行分割。实验结果证明了该算法在时效和精度上都有很好的性能。     

支持数据隐私保护的联邦深度神经网络模型研究

近些年, 人工智能技术已经在图像分类、目标检测、语义分割、智能控制以及故障诊断等领域得到广泛应用, 然而某些行业(例如医疗行业)由于数据隐私的原因, 多个研究机构或组织难以共享数据训练联邦学习模型. 因此, 将同态加密(Homomorphic encryption, HE)算法技术引入到联邦学习中, 提出一种支持数据隐私保护的联邦深度神经网络模型(Privacy-preserving federated deep neural network, PFDNN). 该模型通过对其权重参数的同态加密保证了数据的隐私性, 并极大地减少了训练过程中的加解密计算量. 通过理论分析与实验验证, 所提出的联邦深度神经网络模型具有较好的安全性, 并且能够保证较高的精度.     

基于BFV同态加密神经网络参数设置实证研究

基于BFV同态加密方案的隐私安全神经网络已经越来越被人们熟知。然而在将其应用到不同场景时,用户对其众多参数设置的策略,以及这些参数设置对网络模型预测速度和预测准确率的影响还比较模糊,影响同态加密神经网络进一步推广和应用。本论文将以微软提出的Cryptonets为研究对象,以实证研究的方式对BFV密码方案中各个参数进行设置与调试,研究参数对加密解密速度、密文增长、网络预测速度、以及网络最终预测结果的影响,并给出指导建议。从实验结果中发现,1)多项式模数N的设定对网络模型预测的准确性影响最大。较大的多项式模数将带来更高的预测精度,过小的多项式模数将使预测完全失真。BFV中其余参数的设置只对运算效率产生影响,对模型的准确性的影响不大;2)时间复杂度、空间复杂度都随着多项式模数的增加而增加。密文与明文所占空间之比为10:1。随着多项式模数的增加,神经网络计算的时间复杂度的增加要快于多项式模数的增长。3)在神经网络不同层级中,池化层和卷积层是同态加密神经网络中计算耗时最长的层级,增大卷积核的尺寸可以有助于提高效率。总之,研究同态加密神经网络中的参数配置对于其在不同应用领域中的性能至关重要。本文对不同参数对计算效率和预测准确性的影响的研究,使我们能够更明智地选择参数和设计网络。随着同态加密在隐私安全机器学习中的更广泛应用,未来还需要进一步研究其他密码方案的参数配置及其对性能的影响。     

基于通道注意力的多尺度全卷积压缩感知重构

现有分块压缩感知图像重建算法存在计算量大、重构时间长,以及在低采样率下重构的图像具有严重的块效应等问题。提出一种基于通道注意力的多尺度全卷积压缩感知图像重构模型。通过均值滤波消除完整场景图像中的噪声点,减少冗余信息,以提取更加有效的信息,采用不同卷积核大小的卷积层对低频信息进行多尺度全卷积采样,得到不同感受野的图像特征信息,丰富网络中原始图像的特征信息。在此基础上,设计一种新的注意力残差模块,通过挖掘特征图通道之间的关联性以提取关键特征信息,提升重构图像的质量。在DIV2K、Set0和Set5数据集上的实验结果表明,当采样率为1%时,该模型的峰值信噪比和结构相似性相较于深度学习模型ISTA-Net分别平均提升了2.02 dB和0.078 2,相较于迭代优化模型TVAL3,重构一张256×256像素图像所花费的时间平均缩短2.608 4 s。所提模型在低采样率下能够有效利用原始图像中的信息生成更清晰的重构图像。     

深度神经网络的仿生矩阵约简与量化方法

基于生物学原理的深度神经网络（DNN）的发展给人工智能领域带来了革命性的突破，然而当前神经网络的发展却越来越脱离生物学原理，DNN越来越臃肿的模型对存储空间和计算力的需求越来越高，并且对于DNN在嵌入式/移动端设备上的部署带来了阻碍。针对这一问题，对生物学进化选择原理进行研究，并提出一种基于“进化”+“随机”+“选择”的全新神经网络算法。该方法在保持现有神经网络模型的基本框架的前提下，能极大简化现有模型的大小。首先对权值参数进行聚类，然后在参数的聚类质心值的基础上添加随机微扰进行参数重构，最后通过对重构模型进行图像分类和目标检测来实现准确度测试以及模型稳定性分析。在ImageNet数据集和COCO数据集上的实验结果表明，提出的模型重构方法在对图像分类和目标检测的测试准确度提升1%~3%的情况下，仍可将Darknet19、ResNet18、ResNet50以及YOLOv3等四种重构模型的体量压缩到原来的1/4~1/3，并还有进一步简化的可能。     

深度神经网络的仿生矩阵约简与量化方法

基于生物学原理的深度神经网络（DNN）的发展给人工智能领域带来了革命性的突破,然而当前神经网络的发展却越来越脱离生物学原理,DNN越来越臃肿的模型对存储空间和计算力的需求越来越高,并且对于DNN在嵌入式/移动端设备上的部署带来了阻碍。针对这一问题,对生物学进化选择原理进行研究,并提出一种基于“进化”+“随机”+“选择”的全新神经网络算法。该方法在保持现有神经网络模型的基本框架的前提下,能极大简化现有模型的大小。首先对权值参数进行聚类,然后在参数的聚类质心值的基础上添加随机微扰进行参数重构,最后通过对重构模型进行图像分类和目标检测来实现准确度测试以及模型稳定性分析。在ImageNet数据集和COCO数据集上的实验结果表明,提出的模型重构方法在对图像分类和目标检测的测试准确度提升1%~3%的情况下,仍可将Darknet19、ResNet18、ResNet50以及YOLOv3等四种重构模型的体量压缩到原来的1/4~1/3,并还有进一步简化的可能。