基于二阶对抗样本的对抗训练防御

深度神经网络(DNN)应用于图像识别具有很高的准确率,但容易遭到对抗样本的攻击。对抗训练是目前抵御对抗样本攻击的有效方法之一。生成更强大的对抗样本可以更好地解决对抗训练的内部最大化问题,是提高对抗训练有效性的关键。该文针对内部最大化问题,提出一种基于2阶对抗样本的对抗训练,在输入邻域内进行2次多项式逼近,生成更强的对抗样本,从理论上分析了2阶对抗样本的强度优于1阶对抗样本。在MNIST和CIFAR10数据集上的实验表明,2阶对抗样本具有更高的攻击成功率和隐蔽性。与PGD对抗训练相比,2阶对抗训练防御对当前典型的对抗样本均具有鲁棒性。     

基于对抗点的局部点云神经网络特征匹配攻击EI北大核心CSCD

对基于点云神经网络的局部形状特征匹配模型进行对抗攻击,有益于评估并提高其对抗鲁棒性.针对上述问题,提出了3种基于对抗点的攻击方法,包括通过移动原始待匹配局部点云中点的坐标进行对抗点扰动;计算局部点云的显著图,通过添加点到显著图中关键点的位置并施加位移进行对抗点添加;通过将显著图中的关键点移动到形状中心位置进行对抗点删除.在3DMatch数据集上针对DIP模型和SpinNet模型的实验结果表明,3种攻击方法均能实现有效攻击;攻击的效果与所设置的扰动大小有关;在保证隐蔽性的前提下,随着扰动的增大,攻击效果逐渐显著,如DIP模型被攻击后的特征匹配召回率可从100%降低至2%.     

面向边缘智能的两阶段对抗知识迁移方法

对抗样本的出现,对深度学习的鲁棒性提出了挑战.随着边缘智能的兴起,如何在计算资源有限的边缘设备上部署鲁棒的精简深度学习模型,是一个有待解决的问题.由于精简模型无法通过常规的对抗训练获得良好的鲁棒性,提出两阶段对抗知识迁移的方法,先将对抗知识从数据向模型迁移,然后将复杂模型获得的对抗知识向精简模型迁移.对抗知识以对抗样本的数据形式蕴含,或以模型决策边界的形式蕴含.具体而言,利用云平台上的GPU集群对复杂模型进行对抗训练,实现对抗知识从数据向模型迁移;利用改进的蒸馏技术将对抗知识进一步从复杂模型向精简模型的迁移,最后提升边缘设备上精简模型的鲁棒性.在MNIST,CIFAR-10和CIFAR-100这3个数据集上进行验证,实验结果表明：提出的这种两阶段对抗知识迁移方法可以有效地提升精简模型的性能和鲁棒性,同时加快训练过程的收敛性.     

针对深度神经网络模型指纹检测的逃避算法

随着深度神经网络在不同领域的成功应用,模型的知识产权保护成为了一个备受关注的问题.由于深度神经网络的训练需要大量计算资源、人力成本和时间成本,攻击者通过窃取目标模型参数,可低成本地构建本地替代模型.为保护模型所有者的知识产权,最近提出的模型指纹比对方法,利用模型决策边界附近的指纹样本及其指纹查验模型是否被窃取,具有不影响模型自身性能的优点.针对这类基于模型指纹的保护策略,提出了一种逃避算法,可以成功绕开这类保护策略,揭示了模型指纹保护的脆弱性.该逃避算法的核心是设计了一个指纹样本检测器——Fingerprint-GAN.利用生成对抗网络(generative adversarial network,GAN)原理,学习正常样本在隐空间的特征表示及其分布,根据指纹样本与正常样本在隐空间中特征表示的差异性,检测到指纹样本,并向目标模型所有者返回有别于预测的标签,使模型所有者的指纹比对方法失效.最后通过CIFAR-10,CIFAR-100数据集评估了逃避算法的性能,实验结果表明:算法对指纹样本的检测率分别可达95%和94%,而模型所有者的指纹比对成功率最高仅为19%,证明了模型指纹比对保护方法的不可靠性.     

本科生——清华学堂计算机科学实验班(姚班)

<正>精英教育从"姚班"开始清华学堂计算机科学实验班(姚班)目标:培养领跑国际拔尖创新计算机科学人才姚期智院士凭借美国MIT、Stanford、Princeton等经验亲自制定培养方案和教学计划,精心设置专业核心课程18门,覆盖计算机科学前沿领域,全英文     

面向人脸识别的口罩区域修复算法

遮挡下的人脸识别一直是现实场景中的一个难题。特别是新冠肺炎疫情爆发后,在机场、车站等需要鉴别入场人员身份信息的场所,口罩遮挡使得可供识别的面部特征大幅减少,原有的人脸识别算法准确率随之下降。对去除口罩遮挡进行了研究,提出了一个新的框架修复人脸,利用边缘生成网络还原遮挡区域的边缘,在此基础上再利用区域填充网络恢复被遮挡的人脸,同时保留身份信息。为提升模型的性能,提出空间加权对抗损失和身份一致性损失训练上述网络,并利用关键点信息,构建了两个戴口罩的人脸数据集。实验结果表明,恢复被口罩遮挡的人脸的图像使人脸识别算法 ArcFace 的准确率达到 98.39%,比直接采用ArcFace识别遮挡人脸提升了4.13%的准确率。     

基于二阶对抗样本的对抗训练防御

深度神经网络(DNN)应用于图像识别具有很高的准确率,但容易遭到对抗样本的攻击.对抗训练是目前抵御对抗样本攻击的有效方法之一.生成更强大的对抗样本可以更好地解决对抗训练的内部最大化问题,是提高对抗训练有效性的关键.该文针对内部最大化问题,提出一种基于2阶对抗样本的对抗训练,在输入邻域内进行2次多项式逼近,生成更强的对抗样本,从理论上分析了2阶对抗样本的强度优于1阶对抗样本.在MNIST和CI-FAR10数据集上的实验表明,2阶对抗样本具有更高的攻击成功率和隐蔽性.与PGD对抗训练相比,2阶对抗训练防御对当前典型的对抗样本均具有鲁棒性.     

一种基于二维码对抗样本的物理补丁攻击

深度学习技术在图像识别领域已经得到广泛应用,识别准确率超过人类平均水平。然而最近的研究表明,深度神经网络的性能会因对抗样本的存在而大幅降低。攻击者通过在待识别的图像中添加精心设计的微小扰动,误导分类器做出错误预测。另一个方面,在数字空间生成的扰动也能够转移到物理空间并用于攻击。为此,本文提出了一种基于二维码对抗样本的物理补丁攻击方法。将生成的二维码贴在道路交通标志表面的指定位置,使得分类器输出错误的分类。实验结果表明了本文方法的有效性,同时,将数字空间生成的对抗样本用于物理空间中的交通标志攻击,仍可以保持较高的成功率。     

针对卷积神经网络流量分类器的对抗样本攻击防御

随着深度学习的兴起,深度神经网络被成功应用于多种领域,但研究表明深度神经网络容易遭到对抗样本的恶意攻击。作为深度神经网络之一的卷积神经网络(CNN)目前也被成功应用于网络流量的分类问题,因此同样会遭遇对抗样本的攻击。为提高CNN网络流量分类器防御对抗样本的攻击,本文首先提出批次对抗训练方法,利用训练过程反向传播误差的特点,在一次反向传播过程中同时完成样本梯度和参数梯度的计算,可以明显提高训练效率。同时,由于训练用的对抗样本是在目标模型上生成,因此可有效防御白盒攻击;为进一步防御黑盒攻击,克服对抗样本的可转移性,提出增强对抗训练方法。利用多个模型生成样本梯度不一致的对抗样本,增加对抗样本的多样性,提高防御黑盒攻击的能力。通过真实流量数据集USTC-TFC2016上的实验,我们生成对抗样本的网络流量进行模拟攻击,结果表明针对白盒攻击,批次对抗训练可使对抗样本的分类准确率从17.29%提高到75.37%;针对黑盒攻击,增强对抗训练可使对抗样本的分类准确率从26.37%提高到68.39%。由于深度神经网络的黑箱特性,其工作机理和对抗样本产生的原因目前没有一致的认识。下一步工作对CNN的脆弱性机...     

一种应用于文本分类的段落向量正向激励方法

文本分类广泛应用于文档检索、网络搜索等领域，其中文本的向量化表示对于分类性能的提高具有重要的影响。在将变长文本表示成定长向量时，传统的段落向量化算法Doc2Vec忽视了该算法每轮训练的次数与段落长度高度相关的问题，以及长段落包含短段落信息的情况，限制了分类模型准确率的进一步提升。针对该问题，该文提出一种应用于文本分类的基于段落向量正向激励的方法。首先，根据中位数划分长、短段落向量，然后在分类模型输入过程中提升长段落向量的权重，实现提高模型分类准确率的目的。在Stanford Sentiment Treebank、IMDB和Amazon Reviews三个数据集上的实验结果表明，通过选择适当的激励系数，采用段落向量正向激励的分类模型可以获得更高的分类准确率。