一种基于篡改训练数据的词级文本后门攻击方法

后门攻击是针对深度神经网络模型的一种隐蔽安全威胁,在智能信息系统安全性测试等方面具有重要的研究价值。现有的字符级后门攻击存在两方面的问题:当被毒化的训练样本的源标签与目标标签一致时,后门攻击的效果不佳;插入的触发器与上下文相关性不强,会破坏原始输入的语义和流畅性。为了解决上述问题,提出了一种基于篡改训练数据的词级文本后门攻击方法。通过对抗扰动技术或隐藏重要词技术篡改少部分训练数据,使目标模型更容易学习到后门特征;在触发器的生成和添加部分,利用义原库向被攻击句子中添加相关性强的触发器。在标签一致的条件下,通过在2个基准模型上的大量实验,证明了所提出的攻击可以达到90%以上的成功率,并能生成更高质量的后门示例,其性能明显优于基线方法。     

基于对比学习的图神经网络后门攻击防御方法

针对现有的后门攻击防御方法难以处理非规则的非结构化的离散的图数据的问题，为了缓解图神经网络后门攻击的威胁，提出了一种基于对比学习的图神经网络后门攻击防御方法（CLB-Defense）。具体来说，基于对比学习无监督训练的对比模型查找可疑后门样本，采取图重要性指标以及标签平滑策略去除训练数据集中的扰动，实现对图后门攻击的防御。最终，在4个真实数据集和5主流后门攻击方法上展开防御验证，结果显示CLB-Defense能够平均降低75.66%的攻击成功率（与对比算法相比，改善了54.01%）。     

深度学习模型安全性研究综述

随着智能化进程的不断加快，以深度学习为代表的人工智能技术得到不断发展。深度学习在众多领域得到广泛应用的同时，其中存在的安全问题也逐渐暴露。普通用户通常难以支撑深度学习所需的大量数据和算力，转而寻求第三方帮助，此时深度学习模型由于失去监管而面临严重安全问题。而深度学习模型在全周期内均会遭受后门攻击威胁，使得深度学习模型表现出极大脆弱性，严重影响人工智能的安全应用。从深度学习模型所需资源条件来看，训练数据、模型结构、支撑平台均能成为后门攻击的媒介，根据攻击媒介的不同将攻击方案划分为基于数据毒化、模型毒化、平台毒化3种类型。介绍了对其威胁模型及主要工作，在此基础上，梳理了针对现有后门攻击的防御措施。最后，结合所在团队的相关工作，并根据当前相关技术研究进展及实际，探讨未来研究方向。     

基于机器学习算法的成员推断攻击研究

针对成员推断攻击中构建模拟模型所需的训练数据的合成质量提升问题,提出使用一种基于爬山算法改进的模拟退火算法进行数据合成。首先,通过模拟退火算法以比较快的速度找到问题的近似最优解,从而可以合成比较高质量的数据;然后,训练数据集构建模拟目标模型,并将其输出信息进行综合,以训练二分类器作为最终攻击模式;最后,以决策树、随机森林、卷积神经网络算法为例,比较在黑盒模型中,基于不同机器学习算法在三种不同数据集下的成员推断攻击的性能。结果表明：所提方法可以提升训练数据的合成质量,通过观察攻击精度的变化,卷积神经网络下成员推断攻击性能最优。     

SAR图像稀疏对抗攻击

基于深度学习的图像解译技术在多个领域都取得了巨大成功,在合成孔径雷达（Synthetic Aperture Radar,SAR）图像分类、检测、分割等问题中也逐渐开始广泛应用。现有的SAR图像分类深度学习模型由于训练数据集样本量较小易过拟合,样本的微小改变易导致模型分类错误,产生对抗攻击现象。针对上述问题,本文从攻击方法、攻击结果和攻击目标三方面说明了SAR图像对抗攻击存在的问题和挑战。本文聚焦SAR图像的稀疏性,具体阐述了稀疏攻击提出背景和SAR图像中稀疏性的表现形式,并就常见稀疏攻击方法进行分析总结。文章在MSTAR数据集上验证了现有的稀疏攻击方法的有效性,分析了算法计算效率和成功率、耗时等指标,并对SAR图像分类稀疏对抗攻击方法进行展望。      

基于掩模提取的SAR图像对抗样本生成方法

合成孔径雷达（synthetic aperture radar,SAR）图像的对抗样本生成在当前已经有很多方法,但仍存在对抗样本扰动量较大、训练不稳定以及对抗样本的质量无法保证等问题。针对上述问题,提出了一种SAR图像对抗样本生成模型,该模型基于AdvGAN模型架构,首先根据SAR图像的特点设计了一种由增强Lee滤波器和最大类间方差法（OTSU）自适应阈值分割等模块组成的掩模提取模块,这种方法产生的扰动量更小,与原始样本的结构相似性（structural similarity,SSIM）值达到0.997以上。其次将改进的相对均值生成对抗网络（relativistic average generative adversarial network,RaGAN）损失引入AdvGAN中,使用相对均值判别器,让判别器在训练中同时依赖于真实数据和生成的数据,提高了训练的稳定性与攻击效果。在MSTAR数据集上与相关方法进行了实验对比,实验表明,此方法生成的SAR图像对抗样本在攻击防御模型时的攻击成功率较传统方法提高了10%～15%。     

一种面向联邦学习对抗攻击的选择性防御策略

联邦学习(FL)基于终端本地的学习以及终端与服务器之间持续地模型参数交互完成模型训练,有效地解决了集中式机器学习模型存在的数据泄露和隐私风险。但由于参与联邦学习的多个恶意终端能够在进行本地学习的过程中通过输入微小扰动即可实现对抗性攻击,并进而导致全局模型输出不正确的结果。该文提出一种有效的联邦防御策略-SelectiveFL,该策略首先建立起一个选择性联邦防御框架,然后通过在终端进行对抗性训练提取攻击特性的基础上,在服务器端对上传的本地模型更新的同时根据攻击特性进行选择性聚合,最终得到多个适应性的防御模型。该文在多个具有代表性的基准数据集上评估了所提出的防御方法。实验结果表明,与已有研究工作相比能够提升模型准确率提高了2%～11%。     

网络入侵检测系统中的漂移检测

目前基于机器学习的入侵检测系统大都建立在入侵数据始终保持统计平稳的假设之上,无法应对攻击者有意改变数据特性或新型攻击方式的出现,而导致的检测率下降的状况.对于上述问题,即攻击漂移,提出了加权Rényi距离的检测方法.在KDD Cup99数据集上的实验证明,Rényi距离可以有效地增强检测效果;在检测到漂移后,通过重新训练模型可以使得对攻击的识别率显著提高.     

基于空间和通道注意力机制的目标跟踪方法

目标跟踪是计算机视觉中重要的研究领域之一,大多跟踪算法不能有效学习适合于跟踪场景的特征限制了跟踪算法性能的提升。该文提出了一种基于空间和通道注意力机制的目标跟踪算法(CNNSCAM)。该方法包括离线训练的表观模型和自适应更新的分类器层。在离线训练时,引入空间和通道注意力机制模块对原始特征进行重新标定,分别获得空间和通道权重,通过将权重归一化后加权到对应的原始特征上,以此挑选关键特征。在线跟踪时,首先训练全连接层和分类器层的网络参数,以及边界框回归。其次根据设定的阈值采集样本,每次迭代都选择分类器得分最高的负样本来微调网络层参数。在OTB2015数据集上的实验结果表明:相比其他主流的跟踪算法,该文所提算法获得了更好的跟踪精度,重叠成功率和误差成功率分别为67.6%,91.2%。     

降噪自编码器用于频谱感知对抗防御模型

基于深度学习的频谱感知模型虽检测性能优异，但普遍具有脆弱性，容易受到频谱对抗攻击的干扰。为了防御这种攻击，提出使用降噪自编码器过滤对抗信号，并在此基础上提出了一种结合降噪自编码器和防御蒸馏的联合防御方法。利用对抗信号和干净信号预训练得到降噪自编码器，频谱信号经降噪自编码器过滤后用于训练感知分类器，在测试阶段，联合使用降噪自编码器和分类器。同时，为进一步缓解扰动对模型性能的影响，在分类器训练阶段，利用蒸馏算法平滑训练网络，提高模型泛化能力。实验结果表明，对于可以降低深度学习频谱感知模型检测概率的频谱对抗攻击，所提出的基于降噪自编码器的防御方法仍然能够拥有较高的检测概率和较低的攻击成功率。     

联邦学习中的模型逆向攻防研究综述

联邦学习作为一种分布式机器学习技术可以解决数据孤岛问题,但机器学习模型会无意识地记忆训练数据,导致参与方上传的模型参数与全局模型会遭受各种隐私攻击。针对隐私攻击中的模型逆向攻击,对现有的攻击方法进行了系统总结。首先,概括并详细分析了模型逆向攻击的理论框架;其次,从威胁模型的角度对现有的攻击方法进行总结分析与比较;再次,总结与比较了不同技术类型的防御策略;最后,对现有模型逆向攻击常用的评估标准及数据集进行汇总,并对模型逆向攻击现有的主要挑战以及未来研究方向进行总结。     

基于GAN实现环境声音分类的组合对抗防御

虽然深度神经网络可以有效改善环境声音分类(ESC)性能，但对对抗样本攻击依然具有脆弱性。已有对抗防御方法通常只对特定攻击有效，无法适应白盒、黑盒等不同攻击场景。为提高ESC模型在各种场景下对各种攻击的防御能力，该文提出一种结合对抗检测、对抗训练和判别性特征学习的ESC组合对抗防御方法。该方法使用对抗样本检测器(AED)对输入ESC模型的样本进行检测，基于生成对抗网络(GAN)同时对AED和ESC模型进行对抗训练，其中，AED作为GAN的判别器使用。同时，该方法将判别性损失函数引入ESC模型的对抗训练中，以驱使模型学习到的样本特征类内更加紧凑、类间更加远离，进一步提升模型的对抗鲁棒性。在两个典型ESC数据集，以及白盒、自适应白盒、黑盒攻击设置下，针对多种模型开展了防御对比实验。实验结果表明，该方法基于GAN实现多种防御方法的组合，可以有效提升ESC模型防御对抗样本攻击的能力，对应的ESC准确率比其他方法对应的ESC准确率提升超过10%。同时，实验验证了所提方法的有效性不是由混淆梯度引起的。     

深度卷积神经网络图像识别模型对抗鲁棒性技术综述

近年来,以卷积神经网络为代表的深度识别模型取得重要突破,不断刷新光学和SAR图像场景分类、目标检测、语义分割与变化检测等多项任务性能水平。然而深度识别模型以统计学习为主要特征,依赖大规模高质量训练数据,只能提供有限的可靠性能保证。深度卷积神经网络图像识别模型很容易被视觉不可感知的微小对抗扰动欺骗,给其在医疗、安防、自动驾驶和军事等安全敏感领域的广泛部署带来巨大隐患。该文首先从信息安全角度分析了基于深度卷积神经网络的图像识别系统潜在安全风险,并重点讨论了投毒攻击和逃避攻击特性及对抗脆弱性成因;其次给出了对抗鲁棒性的基本定义,分别建立对抗学习攻击与防御敌手模型,系统总结了对抗样本攻击、主被动对抗防御、对抗鲁棒性评估技术的研究进展,并结合SAR图像目标识别对抗攻击实例分析了典型方法特性;最后结合团队研究工作,指出存在的开放性问题,为提升深度卷积神经网络图像识别模型在开放、动态、对抗环境中的鲁棒性提供参考。      

基于YOLOv5s的穿刺针目标检测方法

超声引导穿刺手术过程中，准确判断穿刺针的位置是保证手术成功的重要环节之一。针对目前穿刺针检测方法存在的精度、时效性以及鲁棒性差等问题，文中提出一种基于深度学习的穿刺针检测方法。该方法采用YOLOv5s作为穿刺针的目标检测模型，将随机梯度下降(SGD)作为模型优化算法，利用本地穿刺影像数据集对网络模型进行训练，并对所提方法的有效性进行实验对比验证。结果表明，所提方法可以实现针体和针头的实时检测且鲁棒性较好，检测精度达到97%，检测速度为129 f/s，可以有效辅助医生判断穿刺针在超声影像中的位置，提高手术的成功率和效率。     

基于流形学习能量数据预处理的模板攻击优化方法

能量数据作为模板攻击过程中的关键对象,具有维度高、有效维度少、不对齐的特点,在进行有效的预处理之前,模板攻击难以奏效。针对能量数据的特性,该文提出一种基于流形学习思想进行整体对齐的方法,以保留能量数据的变化特征,随后通过线性投影的方法降低数据的维度。使用该方法在Panda 2018 challenge1标准数据集进行了验证,实验结果表明,该方法的特征提取效果优于传统的PCA和LDA方法,能大幅度提高模板攻击的成功率。最后采用模板攻击恢复密钥,仅使用两条能量迹密钥恢复成功率即可达到80%以上。     

基于改进宽度模型迁移学习的不同负载下滚动轴承状态快速分类方法

针对深度学习网络训练耗时以及不同负载下滚动轴承的源域数据和目标域数据分布差异较大的问题,该文提出一种基于改进宽度模型迁移学习的滚动轴承状态快速分类方法。该方法首先对不同负载下滚动轴承振动信号进行快速傅里叶变换,构建频域幅值序列数据集,并选取某种或某些负载数据集作为源域,其他负载数据集作为目标域;其次以循环扩展的方式建立宽度学习系统(BLS)的增强节点窗口,并在增强层引入Maxout激活函数构建改进的BLS网络,同时引入遗传算法优化网络节点结构,建立基于源域数据的预训练模型;最后将预训练模型的网络参数、特征层和增强层的权重参数迁移至目标域网络,并利用少量目标域样本微调网络建立状态分类模型。实验结果表明,所提方法平均训练时间为32.6 s,平均测试准确率为98.9%。对比其他方法,所提方法可以在更短的时间内建立分类模型并获得良好的分类准确率。     

冗余数据去除的联邦学习高效通信方法

为了应对终端设备网络带宽受限对联邦学习通信效率的影响，高效地传输本地模型更新以完成模型聚合，提出了一种冗余数据去除的联邦学习高效通信方法。该方法通过分析冗余更新参数产生的本质原因，根据联邦学习中数据非独立同分布特性和模型分布式训练特点，给出新的核心数据集敏感度和损失函数容忍度定义，提出联邦核心数据集构建算法。此外，为了适配所提取的核心数据，设计了分布式自适应模型演化机制，在每次训练迭代前动态调整训练模型的结构和大小，在减少终端与云服务器通信比特数传输的同时，保证了训练模型的准确率。仿真实验表明，与目前最优的方法相比，所提方法减少了17%的通信比特数，且只有0.5%的模型准确率降低。     

基于参数差异假设的图卷积网络对抗性攻击

图神经网络容易受到对抗性攻击安全威胁.现有图神经网络对抗性攻击思想可以概括为构造矛盾的训练数据.矛盾数据假设不能很好地解释图神经网络过拟合训练数据的攻击场景.本文以有效攻击前后图神经网络模型的训练参数应该具有较大差异为基本出发点，以图卷积网络为具体研究对象，建立基于参数差异假设的对抗性攻击模型.将统计诊断的重要结果 Cook距离引入对抗性攻击，提出基于Cook距离的参数差异度量方法 .采用基于Cook距离梯度的攻击方法，首次得出了攻击梯度的闭式解，并结合梯度下降算法思想和贪心算法思想提出完整的攻击算法.最后设计实验验证了参数差异假设的合理性和基于该假设导出方法的有效性；验证了梯度信息对图场景离散数据的可用性；仿真示例说明了攻击梯度闭式解的正确性；与其他攻击方法对比分析了攻击方法的有效性.     

基于对抗补丁的可泛化的Grad-CAM攻击方法

为了验证Grad-CAM解释方法的脆弱性,提出了一种基于对抗补丁的Grad-CAM攻击方法。通过在CNN分类损失函数后添加对Grad-CAM类激活图的约束项,可以针对性地优化出一个对抗补丁并合成对抗图像。该对抗图像可在分类结果保持不变的情况下,使Grad-CAM解释结果偏向补丁区域,实现对解释结果的攻击。同时,通过在数据集上的批次训练及增加扰动范数约束,提升了对抗补丁的泛化性和多场景可用性。在ILSVRC2012数据集上的实验结果表明,与现有方法相比,所提方法能够在保持模型分类精度的同时,更简单有效地攻击Grad-CAM解释结果。