K-近邻分类器鲁棒性验证:从约束放松法到随机平滑法

本文研究K-近邻分类器的鲁棒性验证问题.形式化鲁棒性验证的目标是计算分类器在给定样本点上的最小对抗扰动的精确值或者最小对抗扰动的非平凡下界.我们将计算K-近邻分类器的最小对抗扰动形式化为一组二次规划问题.二次规划问题的数目随近邻参数K的增大呈指数级增长,精确求解该组二次规划问题往往不可行.约束放松法通过放松优化的约束项...     

人工智能对抗环境下的模型鲁棒性研究综述

近年来人工智能研究与应用发展迅速,机器学习模型大量应用在现实的场景中,人工智能模型的安全鲁棒性分析与评估问题已经开始引起人们的关注。最近的研究发现,对于没有经过防御设计的模型,攻击者通过给样本添加微小的人眼不可察觉的扰动,可以轻易的使模型产生误判,从而导致严重的安全性问题,这就是人工智能模型的对抗样本。对抗样本已经成为人工智能安全研究的一个热门领域,各种新的攻击方法,防御方法和模型鲁棒性研究层出不穷,然而至今尚未有一个完备统一的模型鲁棒性的度量评价标准,所以本文总结了现阶段在人工智能对抗环境下的模型鲁棒性研究,论述了当前主流的模型鲁棒性的研究方法,从一个比较全面的视角探讨了对抗环境下的模型鲁棒性这一研究方向的进展,并且提出了一些未来的研究方向。     

基于图像识别的对抗鲁棒性评测系统

深度神经网络的对抗鲁棒性研究在图像识别领域具有重要意义, 相关研究聚焦于对抗样本的生成和防御模型鲁棒性增强, 但现有工作缺少对其进行全面和客观的评估. 因而, 一个有效的基准来评估图像分类任务的对抗鲁棒性的系统被建立. 本系统功能主要为榜单评测展示、对抗算法评测以及系统优化管理, 同时利用计算资源调度和容器调度保证评测任务的进行. 本系统不仅能够为多种攻击和防御算法提供动态导入接口, 还能够从攻防算法的相互对抗过程中全方面评测现有算法优劣性.     

说话人验证系统攻击方法的研究现状及展望

自动说话人验证（Automatic speaker verification,ASV）技术的发展正在深刻地影响和改变着当前的人机交互系统,ASV作为一些智能设备的语音核心功能,可以接受目标说话人的语音并准确识别出该说话人的身份。近年来,人工智能技术的快速进展推动了ASV系统实现跨越式发展。然而,随着人工神经网络和深度学习技术的发展,越来越多的研究者开始研究如何攻击ASV系统。如何通过对原始语音进行一系列处理实现对ASV系统的攻击,是近年来语音领域研究的一个热点问题。目前,对ASV系统的攻击方法大致可分为欺骗攻击（Spoofing attack）和对抗攻击（Adversarial attack）两大类。本文对两大类的典型方法和基本原理进行综述,梳理了目前一些攻击手段中存在的若干问题,揭示了ASV系统存在的安全隐患,对今后ASV系统安全性的发展做了简要的展望,并为未来进一步提高ASV系统的安全性和可靠性提供了参考。     

基于改进交叉熵的模仿学习鲁棒性增强方法

模仿学习是一种模仿专家示例的学习模式,需要大量数据样本进行监督训练,如果专家示例掺杂恶意样本或探索数据受到噪声干扰,则影响学徒学习并累积学习误差;另一方面,模仿学习使用的深度模型容易受到对抗攻击.针对模仿学习的模型安全问题,从模型损失以及模型结构两个方面分别进行防御.在模型损失方面,提出基于改进交叉熵的模仿学习鲁棒性增强方法;在模型结构方面,利用噪声网络模型提高模仿学习的鲁棒性,并结合改进交叉熵提高模型对对抗样本的抵御能力.使用3种白盒攻击及1种黑盒攻击方法进行防御性能验证,以生成对抗模仿学习为例,通过各种攻击策略验证所提出的鲁棒性增强方法的可行性以及模仿学习的脆弱性,并对模型的鲁棒性增强效果进行评估.     

面向自然语言处理的对抗攻防与鲁棒性分析综述

随着人工智能技术的飞速发展,深度神经网络在计算机视觉、信号分析和自然语言处理等领域中都得到了广泛应用.自然语言处理通过语法分析、语义分析、篇章理解等功能帮助机器处理、理解及运用人类语言.但是,已有研究表明深度神经网络容易受到对抗文本的攻击,通过产生不可察觉的扰动添加到正常文本中,就能使自然语言处理模型预测错误.为了提高模型的鲁棒安全性,近年来也出现了防御相关的研究工作.针对已有的研究,全面地介绍自然语言处理攻防领域的相关工作,具体而言,首先介绍了自然语言处理的主要任务与相关方法;其次,根据攻击和防御机制对自然语言处理的攻击方法和防御方法进行分类介绍;然后,进一步分析自然语言处理模型的可验证鲁棒性和评估基准数据集,并提供自然语言处理应用平台和工具包的详细介绍;最后总结面向自然语言处理的攻防安全领域在未来的研究发展方向.     

基于正则化方法的鲁棒性神经网络识别算法

近年来,研究者发现在一些正常样本上添加一些特制的对抗性扰动能使深度学习系统崩溃,这些导致发生错误的样本叫做对抗样本,会对系统造成潜在的安全隐患.以往提出的防御方式存在缺陷,泛化性能较弱.论文提出了用正则化后的训练样本重新训练一个卷积网络,而未知样本都可以通过这个重新训练的卷积网络进行识别,这个基于正则化的方法能够提高神...     

核电厂人工智能软件验证和确认方法研究

核电厂仪控领域引入人工智能（AI）技术的同时,也面临着软件验证和确认问题。现有的软件验证和确认（V&V）方法及相关标准并未考虑AI软件的特性。为解决这一问题,研究了AI软件不同于常规软件的特点。提出了在现有V&V活动的基础上,从需求分析、数据集、训练模型、可解释性、底层软件系统以及可维护性这六个方面对AI软件作进一步V&V。同时,给出执行这些任务的时机及需重点考虑的内容。该研究为AI软件在核电厂的应用提供了一种鉴定思路,并拓展了软件V&V的应用范围。     

针对多种交通标识分类模型的攻击及鲁棒性分析

为了保证自动驾驶系统的安全性符合预期功能安全的要求,有必要对交通标识牌分类模型实施对抗攻击。基于此,采用两种基于图形学噪声的攻击方法对交通标识牌分类模型实施对抗攻击。同时,在4种交通标识牌分类模型上开展对抗攻击实验,通过分析普遍逃逸率(Universal Evasion Rate,UER)的值来分析此方法的可行性和神经网络的鲁棒性。     

基于决策边界分析的深度神经网络鲁棒性评估与优先次序验证

随着深度学习技术在现实世界的广泛应用,人们对基于深度神经网络的系统安全性提出了更高要求.鲁棒性是神经网络的重要安全性质,对网络鲁棒性的量化分析和验证是深度学习模型安全性研究的关键问题.针对神经网络验证技术中难以解决的效率问题,提出了一种新颖的优先次序优化方法.结合局部鲁棒性的规约方式,在一组待验证输入内选择具有更高验证需求的不稳定点代替常规的逐点验证模式.根据对鲁棒性问题与决策边界距离的关联性分析,提出了一种基于网络输出单元值大小的鲁棒性评估方法作为优先验证的输入点选择依据.在此基础上将其扩展为输入的预分析模块与验证工具集成,进而设计了基于优先次序的验证框架.在常用的验证基准上进行了实验,结果表明,该方法的决策边界分析理论与突变测试结果一致,鲁棒性评估中选择不安全样本的平均准确率高于90%,通过减少安全样本的验证开销使验证效率提高了148.6%～432.6%.     

人工智能系统安全与隐私风险

人类正在经历着由深度学习技术推动的人工智能浪潮,它为人类生产和生活带来了巨大的技术革新.在某些特定领域中,人工智能已经表现出达到甚至超越人类的工作能力.然而,以往的机器学习理论大多没有考虑开放甚至对抗的系统运行环境,人工智能系统的安全和隐私问题正逐渐暴露出来.通过回顾人工智能系统安全方面的相关研究工作,揭示人工智能系统中潜藏的安全与隐私风险.首先介绍了包含攻击面、攻击能力和攻击目标的安全威胁模型.从人工智能系统的4个关键环节——数据输入(传感器)、数据预处理、机器学习模型和输出,分析了相应的安全隐私风险及对策.讨论了未来在人工智能系统安全研究方面的发展趋势.     

信号人工智能对抗攻击综合分析平台

为了解决信号领域针对人工智能对抗攻击缺少全面评估的平台、针对图像人工智能对抗攻击的分析指标无法完全适用于信号领域的问题,提出了一个信号人工智能对抗攻击综合分析平台。考虑信号与图像之间的区别,从误分类、不可感知性、信号特性、计算代价4个方面着手,提出了10种攻击评价指标对当下常用的8种攻击方法进行全面的评估。研究结果表明个别攻击方法在信号上的攻击性能表现有别于图像,攻击方法的误分类与不可感知性、信号特性以及计算代价之间也存在相互限制的关系,这可以为我们更好地理解及防御此类对抗攻击提供见解。     

人工智能技术在海关系统的应用

本文在介绍人工智能技术的同时 ,也阐述了人工智能在一些领域的应用 ,并以海关系统为例。当今计算机软件和硬件的迅速发展 ,网络技术与人工智能技术的兴起 ,对海关系统的科技发展将会产生重大的推动作用 ,在现代海关业务信息化管理系统中 ,尤其是布控系统管理模块 ,它体现了一些人工智能技术的应用 ,当然 ,该系统在今后的应用中将会进行不断的改进和完善。     

面向图像分类的对抗鲁棒性评估综述

近年来,以深度学习为代表的人工智能技术在金融安防、自动驾驶、医疗诊断等领域取得了较为成功的应用.然而,图像分类作为上述应用中的一项基础视觉任务,正遭受着对抗攻击等技术手段带来的巨大安全隐患.提高深度学习模型抵御对抗攻击的能力(即对抗鲁棒性)成为有效缓解该问题的可行技术途径.为了科学、全面地提升深度学习模型的对抗鲁棒性,众多学者从基准评估和指标评估2个角度围绕对抗鲁棒性评估开展了大量研究.该研究着重对上述指标评估相关研究进行综述：首先,介绍对抗样本相关概念以及存在的原因,总结提出进行对抗鲁棒性评估时需要遵循的评估准则;其次,从被攻击模型和测试数据2个维度,重点梳理和对比分析现有的主要对抗鲁棒性评估指标;而后,分析总结现阶段主流的图像分类数据集和对抗攻防集成工具,为后续开展对抗鲁棒性评估奠定基础;最后,探讨当前研究的优势和不足,以及未来潜在的研究方向.旨在为相关领域从业人员或学习者提供一个较为全面的、系统的和客观的面向图像分类的对抗鲁棒性评估指标综述.     

一种基于指针逻辑的代码安全属性分析方法

在分析和总结前人工作的基础上,提出了一种改进的代码安全属性验证方法.该方法在利用传统的源代码安全属性验证工具的基础上,加入了指针逻辑,针对现有代码属性分析技术只能对C语言子集进行分析验证的不足,利用指针逻辑对源代码的分析结果对源代码中的指针进行替换,从而避开了传统静态代码属性验证工具对指针处理功能太弱的瓶颈,可以实现对C语言中的部分指针及运算进行处理.     

基于源代码分析的逆向建模

逆向建模通过对源代码进行分析,提取出代码中的对象信息、结构信息、流程信息等,生成对象间的关系描述、结构描述、系统流程描述等设计模型描述。逆向建模过程中对源代码的分析处理与编译过程的前端处理相似,只是处理的复杂程度与产生的目标结果不同,因此可以采用编译技术对源代码进行处理。通过逆向建模可以弥补软件设计中缺少或缺失的模型设计文档,帮助代码阅读者更好地理解程序,帮助软件的测试和优化。介绍了对C/C++源代码进行逆向建模的实现。     

基于人工智能的股票机器人研究

Kaburobo是日本早稻田大学用JAVA语言编写的一种股票机器人,它既可以在假想的股票交易平台上进行虚拟交易,又能通过接口自行编程进行算法模拟和实现。本文结合作者的研究成果详细介绍了Kaburobo的工作原理,并通过这个股票交易平台,研究了人工智能在股票交易领域的应用。     

基于对抗样本的人工智能反制技术研究进展与趋势

随着基于深度学习的人工智能技术的快速发展及其广泛应用,人们对其安全性的关注也日益凸显。特别是,最近一系列研究表明基于深度学习模型的人工智能系统容易受到对抗样本的攻击。对抗样本通过向正常样本中添加精心设计、人类难以察觉的微小扰动,可导致深度学习模型的严重误判。本文回顾基于对抗性图像和音频两类人工智能反制技术最新进展,并对这些研究成果进行分类和综合比较,最后对现有挑战与未来研究趋势进行了讨论和展望。     

基于生成对抗网络的目标检测黑盒迁移攻击算法

目标检测被广泛应用到自动驾驶、工业、医疗等各个领域. 利用目标检测算法解决不同领域中的关键任务逐渐成为主流. 然而基于深度学习的目标检测模型在对抗样本攻击下, 模型的鲁棒性存在严重不足, 通过加入微小扰动构造的对抗样本很容易使模型预测出错. 这极大地限制了目标检测模型在关键安全领域的应用. 在实际应用中的模型普遍是黑盒模型, 现有的针对目标检测模型的黑盒攻击相关研究不足, 存在鲁棒性评测不全面, 黑盒攻击成功率较低, 攻击消耗资源较高等问题. 针对上述问题, 提出基于生成对抗网络的目标检测黑盒攻击算法, 所提算法利用融合注意力机制的生成网络直接输出对抗扰动, 并使用替代模型的损失和所提的类别注意力损失共同优化生成网络参数, 可以支持定向攻击和消失攻击两种场景. 在Pascal VOC数据集和MS COCO数据集上的实验结果表明, 所提方法比目前攻击方法的黑盒迁移攻击成功率更高, 并且可以在不同数据集之间进行迁移攻击.