面向深度强化学习的对抗攻防综述

深度强化学习技术以一种端到端学习的通用形式融合了深度学习的感知能力与强化学习的决策能力,在多个领域得到了广泛应用,形成了人工智能领域的研究热点.然而,由于对抗样本等攻击技术的出现,深度强化学习暴露出巨大的安全隐患.例如,通过在真实世界中打印出对抗贴纸便可以轻松地使基于深度强化学习的智能系统做出错误的决策,造成严重的损失.基于此,本文对深度强化学习领域对抗攻防技术的前沿研究进行了全面的综述,旨在把握整个领域的研究进展与方向,进一步推动深度强化学习对抗攻防技术的长足发展,助力其应用安全可靠.结合马尔科夫决策过程中可被扰动的空间,本文首先从基于状态、基于奖励以及基于动作角度的详细阐述了深度强化学习对抗攻击的进展;其次,通过与经典对抗防御算法体系进行对齐,本文从对抗训练、对抗检测、可证明鲁棒性和鲁棒学习的角度归纳总结了深度强化学习领域的对抗防御技术;最后,本文从基于对抗攻击的深度强化学习机理理解与模型增强的角度分析了对抗样本在强化学习领域的应用并讨论了领域内的挑战和未解决问题.     

针对深度学习模型的对抗性攻击与防御

以深度学习为主要代表的人工智能技术正在悄然改变人们的生产生活方式,但深度学习模型的部署也带来了一定的安全隐患.研究针对深度学习模型的攻防分析基础理论与关键技术,对深刻理解模型内在脆弱性、全面保障智能系统安全性、广泛部署人工智能应用具有重要意义.拟从对抗的角度出发,探讨针对深度学习模型的攻击与防御技术进展和未来挑战.首先介绍了深度学习生命周期不同阶段所面临的安全威胁.然后从对抗性攻击生成机理分析、对抗性攻击生成、对抗攻击的防御策略设计、对抗性攻击与防御框架构建4个方面对现有工作进行系统的总结和归纳.还讨论了现有研究的局限性并提出了针对深度学习模型攻防的基本框架.最后讨论了针对深度学习模型的对抗性攻击与防御未来的研究方向和面临的技术挑战.     

新型网络空间防御体系的构建及效能评估

当前的网络空间中,防御方往往在攻防博弈中处于被动地位,这种现状可以通过构建动态赋能的网络空间防御体系来改变。通过 研究 基于动态赋能的网络空间防御体系,从网络、软件、平台、数据4个方面梳理提升传统网络空间安全性的关键动态技术,以及构建动态赋能的网络空间的方法;通过结合攻防两方面对动态赋能网络进行安全效能评估,证明了动态赋能网络空间防御体系在提高系统安全防御能力方面的贡献。     

对抗样本生成在人脸识别中的研究与应用

随着深度学习模型在人脸识别、无人驾驶等安全敏感性任务中的广泛应用,围绕深度学习模型展开的攻防逐渐成为机器学习和安全领域研究的热点。黑盒攻击作为典型的攻击类型,在不知模型具体结构、参数、使用的数据集等情况下仍能进行有效攻击,是真实背景下最常用的攻击方法。随着社会对人脸识别技术的依赖越来越强,在安全性高的场合里部署神经网络,往往容易忽略其脆弱性带来的安全威胁。充分分析深度学习模型存在的脆弱性并运用生成对抗网络,设计一种新颖的光亮眼镜贴片样本,能够成功欺骗基于卷积神经网络的人脸识别系统。实验结果表明,基于生成对抗网络生成的对抗眼镜贴片样本能够成功攻击人脸识别系统,性能优于传统的优化方法。     

基于生成对抗网络的多目标类别对抗样本生成算法

深度神经网络在很多领域表现出色,但是研究表明其很容易受到对抗样本的攻击。目前针对神经网络进行攻击的算法众多,但绝大多数攻击算法的攻击速度较慢,因此快速生成对抗样本逐渐成为对抗样本领域的研究重点。AdvGAN是一种使用网络攻击网络的算法,生成对抗样本的速度极快,但是当进行有目标攻击时,其要为每个目标训练一个网络,使攻击的效率较低。针对上述问题,提出了一种基于生成对抗网络的多目标攻击网络MTA,在进行攻击时MTA仅需要训练一次就可以完成多目标攻击并快速生成对抗样本。实验结果表明,MTA在CIFAR10和MNIST数据集上有目标攻击的成功率高于AdvGAN。文中还做了对抗样本的迁移实验和防御背景下的攻击实验,结果表明,MTA生成的对抗样本的迁移性比其他多目标攻击算法更强,而且在防御背景下攻击成功率更高。     

面向深度学习模型的对抗攻击与防御方法综述

深度学习作为人工智能技术的重要组成部分,被广泛应用于计算机视觉和自然语言处理等领域。尽管深度学习在图像分类和目标检测等任务中取得了较好性能,但是对抗攻击的存在对深度学习模型的安全应用构成了潜在威胁,进而影响了模型的安全性。在简述对抗样本的概念及其产生原因的基础上,分析对抗攻击的主要攻击方式及目标,研究具有代表性的经典对抗样本生成方法。描述对抗样本的检测与防御方法,并阐述对抗样本在不同领域的应用实例。通过对对抗样本攻击与防御方法的分析与总结,展望对抗攻击与防御领域未来的研究方向。     

基于模型解释的PE文件对抗性恶意代码检测

深度学习已经逐渐应用于恶意代码检测并取得了不错的效果.然而,最近的研究表明:深度学习模型自身存在不安全因素,容易遭受对抗样本攻击.在不改变恶意代码原有功能的前提下,攻击者通过对恶意代码做少量修改,可以误导恶意代码检测器做出错误的决策,造成恶意代码的漏报.为防御对抗样本攻击,已有的研究工作中最常用的方法是对抗训练.然而对抗训练方法需要生成大量对抗样本加入训练集中重新训练模型,效率较低,并且防御效果受限于训练中所使用的对抗样本生成方法.为此,提出一种PE文件格式恶意代码对抗样本检测方法,针对在程序功能无关区域添加修改的一类对抗样本攻击,利用模型解释技术提取端到端恶意代码检测模型的决策依据作为特征,进而通过异常检测方法准确识别对抗样本.该方法作为恶意代码检测模型的附加模块,不需要对原有模型做修改,相较于对抗训练等其他防御方法效率更高,且具有更强的泛化能力,能够防御多种对抗样本攻击.在真实的恶意代码数据集上进行了实验,实验结果表明,该方法能够有效防御针对端到端PE文件恶意代码检测模型的对抗样本攻击.     

自动语音辨识对抗攻击和防御技术综述

语音辨识技术是人机交互的重要方式。随着深度学习的不断发展,基于深度学习的自动语音辨识系统也取得了重要进展。然而,经过精心设计的音频对抗样本可以使得基于神经网络的自动语音辨识系统产生错误,给基于语音辨识系统的应用带来安全风险。为了提升基于神经网络的自动语音辨识系统的安全性,需要对音频对抗样本的攻击和防御进行研究。基于此,分析总结对抗样本生成和防御技术的研究现状,介绍自动语音辨识系统对抗样本攻击和防御技术面临的挑战和解决思路。     

计算机视觉对抗攻击与防御方法分析

大量的研究表明,由深度学习构成的计算机视觉模型容易遭受对抗样本的攻击。攻击者通过在样本中加入一些细微的扰动,可使深度学习模型出现判断错误,从而引发严重后果。本文主要总结了计算机视觉中对抗攻击手段与主动防御措施,分类与比较了一些典型方法。最后,结合对抗样本生成和防御技术发展的现状,提出了该领域的挑战和展望。     

基于能量有限型无线传感网的恶意软件攻防优化策略

本文针对目前无线传感网络中恶意软件模型化工作的不足,从攻击与防御角度出发,考虑了攻击扫描速率对于攻防优化策略的不同意义,同时考虑了无线传感节点能量有限的特征,在传统恶意软件传播模型的基础上提出了一种改进的无线传感网络恶意软件攻防优化模型。该模型在传统SIR传播模型基础上进行扩展,考虑了免疫与修复的不同因素,最终给出了攻防优化评估方案。通过仿真实验表明,该攻防优化评估方案能够高效地描述攻击扫描参数对恶意软件在无线传感网络中攻击与防御各自效果最大化的关键影响。     

面向恶意软件检测模型的黑盒对抗攻击方法

深度学习方法已被广泛应用于恶意软件检测中并取得了较好的预测精度,但同时深度神经网络容易受到对输入数据添加细微扰动的对抗攻击,导致模型输出错误的预测结果,从而使得恶意软件检测失效。针对基于深度学习的恶意软件检测方法的安全性,提出了一种面向恶意软件检测模型的黑盒对抗攻击方法。首先在恶意软件检测模型内部结构参数完全未知的前提下,通过生成对抗网络模型来生成恶意软件样本;然后使生成的对抗样本被识别成预先设定的目标类型以实现目标攻击,从而躲避恶意软件检测;最后,在Kaggle竞赛的恶意软件数据集上展开实验,验证了所提黑盒攻击方法的有效性。进一步得到,生成的对抗样本也可对其他恶意软件检测方法攻击成功,这验证了其具有较强的攻击迁移性。     

StealthyFlow:一种对抗条件下恶意代码动态流量伪装框架

恶意代码问题使国家安全面临严重威胁.随着TLS协议快速普及,恶意代码呈现出流量加密化的趋势,通信内容加密导致检测难度的进一步提高.本文提出一种恶意代码流量伪装框架StealthyFlow,以采用加密流量进行远控通信的公共资源型恶意代码与GAN结合,对恶意流量进行不影响攻击功能的伪装,旨在实现伪装后的对抗流量与良性流量的不可区分性,进而绕过基于机器学习算法的分类器.StealthyFlow具有如下优势:根据目标流量的变化动态调整对抗流量,实现动态流量伪装;伪装在恶意代码层面进行,保证攻击功能不被破坏;绕过目标不参与训练过程,保证恶意代码不会提前暴露.实验结果表明,StealthyFlow产生的攻击流量与良性流量相似度极高,在对抗环境中可以绕过机器学习分类器.因此,需要对此种恶意代码提起注意,并尽快研究防御对策.     

基于隐马尔可夫模型的加密恶意流量检测

近年来,随着网络加密技术的普及,使用网络加密技术的恶意攻击事件也在逐年增长,依赖于数据包内容的传统检测方法如今已经无法有效地应对隐藏在加密流量中的恶意软件攻击.为了能够应对不同协议下的加密恶意流量检测,提出了基于ProfileHMM的加密恶意流量检测算法.该方法利用生物信息学上的基因序列比对分析,通过匹配关键基因子序列,实现识别加密攻击流量的能力.通过使用开源数据集在不同条件下进行实验,结果表明了算法的有效性.此外,设计了两种规避检测的方法,通过实验验证了算法具有较好的抗规避检测的能力.与已有研究相比,该工作具有应用场景广泛以及检测准确率较高的特点,为基于加密流量的恶意软件检测研究领域提供了一种较为有效的解决方案.     

联邦学习安全防御与隐私保护技术研究

联邦学习（federated learning,FL）在多个参与方不直接进行数据传输的前提下共同完成模型训练,充分发挥各方数据价值;然而,由于联邦学习的固有缺陷以及存储和通信的安全问题,其在实际应用场景中仍面临多种安全与隐私威胁。首先阐述了FL面临的安全攻击和隐私攻击;然后针对这两类典型攻击分别总结了最新的安全防御机制和隐私保护手段,包括投毒攻击防御、后门攻击防御、搭便车攻击防御、女巫攻击防御以及基于安全计算与差分隐私的防御手段。通过对联邦学习的现有风险和相应防御手段的系统梳理,展望了联邦学习未来的研究挑战与发展方向。     

DeepAM: a heterogeneous deep learning framework for intelligent malware detection

With computers and the Internet being essential in everyday life, malware poses serious and evolving threats to their security, making the detection of malware of utmost concern. Accordingly, there have been many researches on intelligent malware detection by applying data mining and machine learning techniques. Though great results have been achieved with these methods, most of them are built on shallow learning architectures. Due to its superior ability in feature learning through multilayer deep architecture, deep learning is starting to be leveraged in industrial and academic research for different applications. In this paper, based on the Windows application programming interface calls extracted from the portable executable files, we study how a deep learning architecture can be designed for intelligent malware detection. We propose a heterogeneous deep learning framework composed of an AutoEncoder stacked up with multilayer restricted Boltzmann machines and a layer of associative memory to detect newly unknown malware. The proposed deep learning model performs as a greedy layer-wise training operation for unsupervised feature learning, followed by supervised parameter fine-tuning. Different from the existing works which only made use of the files with class labels (either malicious or benign) during the training phase, we utilize both labeled and unlabeled file samples to pre-train multiple layers in the heterogeneous deep learning framework from bottom to up for feature learning. A comprehensive experimental study on a real and large file collection from Comodo Cloud Security Center is performed to compare various malware detection approaches. Promising experimental results demonstrate that our proposed deep learning framework can further improve the overall performance in malware detection compared with traditional shallow learning methods, deep learning methods with homogeneous framework, and other existing anti-malware scanners. The proposed heterogeneous deep learning framework can also be readily applied to other malware detection tasks.     

显式授权机制及对应的可信安全计算机

现代计算机系统对恶意程序窃取、破坏信息无能为力的根本原因在于系统强行代替用户行使对信息的支配权，却又不能忠实履行用户的意愿．对此提出显式授权机制，给出了信息窃取、破坏型恶意程序的精确定义，并证明基于显式授权机制的计算机能够实时、可靠抵御恶意程序的窃取、破坏攻击；给出了基于该机制的两种可信安全计算机系统．第一种可信安全计算机系统是直接将显式授权机制融入到操作系统中，能够实时、可靠抵御任意恶意程序和隐藏恶意的应用程序的信息攻击，同时与现有计算机系统具有很好的软硬件兼容性．第二种可信安全计算机系统对现有计算机硬件结构、操作系统均有小改动，但具有更强的抗攻击性能，能够实时、可靠阻止恶意操作系统自身发起的破坏攻击．