人工智能对抗环境下的模型鲁棒性研究综述

近年来人工智能研究与应用发展迅速,机器学习模型大量应用在现实的场景中,人工智能模型的安全鲁棒性分析与评估问题已经开始引起人们的关注。最近的研究发现,对于没有经过防御设计的模型,攻击者通过给样本添加微小的人眼不可察觉的扰动,可以轻易的使模型产生误判,从而导致严重的安全性问题,这就是人工智能模型的对抗样本。对抗样本已经成为人工智能安全研究的一个热门领域,各种新的攻击方法,防御方法和模型鲁棒性研究层出不穷,然而至今尚未有一个完备统一的模型鲁棒性的度量评价标准,所以本文总结了现阶段在人工智能对抗环境下的模型鲁棒性研究,论述了当前主流的模型鲁棒性的研究方法,从一个比较全面的视角探讨了对抗环境下的模型鲁棒性这一研究方向的进展,并且提出了一些未来的研究方向。     

面向图像分类的对抗鲁棒性评估综述

近年来,以深度学习为代表的人工智能技术在金融安防、自动驾驶、医疗诊断等领域取得了较为成功的应用.然而,图像分类作为上述应用中的一项基础视觉任务,正遭受着对抗攻击等技术手段带来的巨大安全隐患.提高深度学习模型抵御对抗攻击的能力(即对抗鲁棒性)成为有效缓解该问题的可行技术途径.为了科学、全面地提升深度学习模型的对抗鲁棒性,众多学者从基准评估和指标评估2个角度围绕对抗鲁棒性评估开展了大量研究.该研究着重对上述指标评估相关研究进行综述：首先,介绍对抗样本相关概念以及存在的原因,总结提出进行对抗鲁棒性评估时需要遵循的评估准则;其次,从被攻击模型和测试数据2个维度,重点梳理和对比分析现有的主要对抗鲁棒性评估指标;而后,分析总结现阶段主流的图像分类数据集和对抗攻防集成工具,为后续开展对抗鲁棒性评估奠定基础;最后,探讨当前研究的优势和不足,以及未来潜在的研究方向.旨在为相关领域从业人员或学习者提供一个较为全面的、系统的和客观的面向图像分类的对抗鲁棒性评估指标综述.     

基于AADL的IoP系统可靠性评估方法

人联网（IoP）系统的架构复杂且存在海量、实时变化的数据,使得基于IoP系统的可靠性分析变得十分困难,目前仍缺乏一种健全的基于IoP系统的可靠性建模及评估方法。提出一种新型的IoP系统可靠性评估方法,利用AADL及其附件语言对IoP系统进行可靠性建模,并基于该模型从定性角度评估系统故障的根本原因和风险。此外,结合Ocarina模型转换技术提出一种基于连续时间马尔科夫链（CTMC）的定量评估算法,将AADL可靠性模型转换为CTMC模型,实现对系统动态、实时等特性的评估。在此基础上,设计一个IoP系统通用模型,并以此为案例验证所提方法的可行性。实验结果表明,该方法不仅能对IoP系统建模,而且能自动、准确地对其进行可靠性分析,具有良好的应用价值。     

信号人工智能对抗攻击综合分析平台

为了解决信号领域针对人工智能对抗攻击缺少全面评估的平台、针对图像人工智能对抗攻击的分析指标无法完全适用于信号领域的问题,提出了一个信号人工智能对抗攻击综合分析平台。考虑信号与图像之间的区别,从误分类、不可感知性、信号特性、计算代价4个方面着手,提出了10种攻击评价指标对当下常用的8种攻击方法进行全面的评估。研究结果表明个别攻击方法在信号上的攻击性能表现有别于图像,攻击方法的误分类与不可感知性、信号特性以及计算代价之间也存在相互限制的关系,这可以为我们更好地理解及防御此类对抗攻击提供见解。     

基于PLC的自动化控制系统的配置及组态分析

目前工业控制中的过程控制主要采用基于工控机的集散控制系统,这种自动控制系统虽然具有专业性好、控制精度高的优点,但是也存在可靠性差和性价比相对较低的问题。针对此问题,提出基于PLC的自动化控制系统。该控制系统在常规顺序控制逻辑中融入对组态控制算法调度使用,实现了梯形图内程序与控制算法的相结合,使得PLC完成了面向模拟量的过程控制功能,有效提高了控制系统的稳定性和可靠性。     

人工智能安全专栏前言

<正>人工智能已成为当今世界科技发展和技术变革的重要驱动力,其在计算机视觉、语音识别和自然语言处理领域的广泛应用,已深刻地影响到人类的日常生活。然而,人工智能面临多种隐私和安全问题,并且人工智能系统的高复杂性和难解释性,导致这些安全隐患无法得到有效的检测和预防。特别是航空航天、智慧医疗和无人驾驶等安全攸关的领域,在安全性、可靠性和可解释性方面对人工智能算法和模型提出了更高的要求。因此,如何保证人工智能的安全成为了当前国内外的研究热点。本专栏旨在推动人工智能安全的学术研究及产业实践,探索人工智能安全与隐私保护的新理论、新方法和新技术,并展示国内研究人员在该领域的最新研究成果。     

文本对抗攻防技术在电信网络诈骗防控领域的应用探析

随着自然语言处理模型近期在人工智能领域的“出圈”,核心模型涉及的对抗攻防技术的发展,逐渐成为一把“双刃剑”,电信网络诈骗与防控领域双方的博弈对抗成为研究热点问题。通过对不同诈骗类型进行分析,结合电信网络诈骗全链条与现有防控模型的问题,深入挖掘反诈平台核心技术,设计了针对反诈检测模型的模拟文本对抗攻击,探析文本对抗攻防技术在电信网络诈骗防控领域的应用,并且讨论其面临的挑战与前景。     

自行火炮系统作战效能建模与仿真研究

在综合研究国内外效能评估理论和方法的基础上,根据多年来自行火炮发展建设和作战运用的实际需求,建立了对抗条件下战斗、保障、指挥控制等分系统的作战效能及作战系统评估模型。依据可靠性、维修性数字仿真的基本理论,利用Monte—Carlo方法对某型自行火炮战场对抗阶段进行仿真,可以实现自行火炮可靠性、维修性及系统作战效能的动态评估。该方法受评估者的主观性影响较小,为系统效能的动态评估系统的设计构想提出了评估思路。该模型可以为自行火炮系统的方案论证、工程研制、鉴定定型和作战运用等提供决策依据。     

基于模型残差基准的模型预测控制性能监控

针对控制系统性能评估中的模型失配问题,提出了一种新的闭环模型评估方法.该方法首先分析了控制系统中扰动是具有反馈不变性的,其次推导了可以用常规闭环回路数据估计扰动序列,并利用扰动序列的反馈不变性原则定义了模型质量指标,建立该指标的时间序列模型对其进行预测,对预测残差进行统计过程控制,实现了对控制系统性能的实时评价.当检测出控制系统性能出现下降时,通过基于距离的判别分析方法快速定位性能下降源.最后通过Wood-Berry二元精馏塔上的仿真研究验证了所提方法的有效性.     

基于生成对抗网络的目标检测黑盒迁移攻击算法

目标检测被广泛应用到自动驾驶、工业、医疗等各个领域. 利用目标检测算法解决不同领域中的关键任务逐渐成为主流. 然而基于深度学习的目标检测模型在对抗样本攻击下, 模型的鲁棒性存在严重不足, 通过加入微小扰动构造的对抗样本很容易使模型预测出错. 这极大地限制了目标检测模型在关键安全领域的应用. 在实际应用中的模型普遍是黑盒模型, 现有的针对目标检测模型的黑盒攻击相关研究不足, 存在鲁棒性评测不全面, 黑盒攻击成功率较低, 攻击消耗资源较高等问题. 针对上述问题, 提出基于生成对抗网络的目标检测黑盒攻击算法, 所提算法利用融合注意力机制的生成网络直接输出对抗扰动, 并使用替代模型的损失和所提的类别注意力损失共同优化生成网络参数, 可以支持定向攻击和消失攻击两种场景. 在Pascal VOC数据集和MS COCO数据集上的实验结果表明, 所提方法比目前攻击方法的黑盒迁移攻击成功率更高, 并且可以在不同数据集之间进行迁移攻击.     

神经风格迁移模型综述

神经风格迁移技术主要用于对图像、视频等进行风格化,使其具有艺术美感,该领域极具应用价值,是人工智能的热门研究领域之一。为推动神经风格迁移领域的研究发展,对神经风格迁移技术进行了全面概述。简述了非真实感渲染技术和传统的纹理迁移技术。对现有神经风格迁移模型进行了分类整理,并详细探讨了各类代表性模型的算法原理及后续改进,分析了神经风格迁移技术的应用市场。提出对风格迁移模型质量的评判应该从定性评估和定量评估两个方面来考虑,并从各个角度讨论了现阶段风格迁移技术存在的问题以及未来研究方向。最后强调应提高模型的综合能力,在保证生成质量的情况下提升生成速度以及泛化能力。     

在线社交网络文本内容对抗技术

在线社交网络内容对抗技术是人工智能领域与网络空间安全领域的一个新兴研究方向．它是指人们基于特定任务,在社交网络受众广泛、内容数量庞大、内容质量参差、内容真伪难辨的环境下,利用新兴的大数据驱动的人工智能方法,自动完成在线社交网络中针对特定主题与群体的对抗内容发现、生成与投送,进而实现社交平台异常信息的检测与反制,以达到维护网络空间安全的目的．虽然在线社交网络对抗技术属于一个新概念,鲜有相关工作,但是已有的机器学习方法可以被应用到该领域,通过特征提取、文本模式解析、文本内容编码与重建、目标优化等技术对社交文本大数据进行解析与内容表示,解决网络空间中的文本内容安全问题,实现对社交网络文本环境的净化．此外,在社交网络文本内容对抗的过程中,对抗双方的策略可作为反馈信息,使对抗模型不断进行更新和优化,最终达到完善模型的目的．基于以上攻防对抗思想,本文着重从文本内容生成与检测两方面对在线社交网络对抗进行阐述．首先,本文介绍了有关在线社交网络文本对抗技术的相关基础知识．其次,针对社交网络文本内容检测方法,本文从基于零次分类器的模型、基于机器特征的模型、基于预训练语言模型的方法、基于人机协作的模型、基于...     

基于剪枝技术和鲁棒蒸馏融合的轻量对抗攻击防御方法

对抗训练是一类常用的对抗攻击防御方法,其通过将对抗样本纳入训练过程,从而有效抵御对抗攻击。然而,对抗训练模型的鲁棒性通常依赖于网络容量的提升,即对抗训练所获得的网络为防御对抗攻击而大幅提升网络的模型容量,对其可用性造成较大约束。因此,如何在保证对抗训练模型鲁棒性的同时,降低模型容量,提出轻量对抗攻击防御方法是一大挑战。为解决以上问题,提出一种基于剪枝技术和鲁棒蒸馏融合的轻量对抗攻击防御方法。该方法以对抗鲁棒准确率为优化条件,在对预训练的鲁棒对抗模型进行分层自适应剪枝压缩的基础上,再对剪枝后的网络进行基于数据过滤的鲁棒蒸馏,实现鲁棒对抗训练模型的有效压缩,降低其模型容量。在CIFAR-10和CIFAR-100数据集上对所提出的方法进行性能验证与对比实验,实验结果表明,在相同 TRADES 对抗训练下,所提出的分层自适应剪枝技术相较于现有剪枝技术,其剪枝所得到的网络结构在多种 FLOPs 下均表现出更强的鲁棒性。此外,基于剪枝技术和鲁棒蒸馏融合的轻量对抗攻击防御方法相较于其他鲁棒蒸馏方法表现出更高的对抗鲁棒准确率。因此,实验结果证明所提方法在降低对抗训练模型容量的同时,相较于现有方法具有更强的鲁棒性,提升了对抗训练模型在物联网边缘计算环境的适用性。     

反应堆保护系统动态可靠性建模与分析

反应堆保护系统(RPS)是核电站最重要的安全设备之一。对该系统的可靠性评估一直备受关注。事件树和故障树等传统可靠性分析方法只能对反应堆保护系统进行静态分析,难以反映定期试验(PST)等检测和维修活动对系统可靠性的影响。动态分析方法中,马尔科夫模型一般适用于指数分布的情况,而反应堆保护系统的失效和维修过程,并不都服从指数分布。此外,很多模型都假设反应堆保护系统的各通道经过定期试验后都修复如新,这与实际情况也有差异。基于Petri网,建立了反应堆保护系统的动态可靠性模型,考虑了定期试验只维修故障通道的情况,描述了系统在不同状态之间的动态转换关系,计算了反应堆保护系统的瞬时可靠性。通过与理论值对比,验证了Petri网能很好地适用于反应堆保护系统的可靠性评估;并在假设反应堆保护系统失效过程服从不同分布的条件下,进行了可靠性分析。     

电子信息技术在人工智能领域的应用研究

电子信息技术在信息处理方面的强大功能和明显优势,使得其成为人工智能领域重点挖掘和利用的技术方法。作为一种通用性技术,电子信息技术在人工智能领域更多地要按照人工智能发展的实际需要进行针对性的开发和科学性的应用,而这就对技术应用的观念、方法提出了更高的要求。基于此,有必要结合人工智能领域的发展,对电子信息技术的应用进行相应的研究。在这样的背景下,文章首先概括介绍了电子信息技术,其次对其在人工智能领域的具体应用进行了梳理归纳,最后结合应用实践,提出技术应用中需要注意的细节性问题,为电子信息技术的科学、有效应用提供了相应的经验参考。     

范例推理技术在银行客户信用评估中的应用

范例推理技术是人工智能领域中一种基于知识的问题求解和学习方法.为了有效评估银行客户信用等级并提高银行信贷业务效率,文中提出了范例推理技术(CBR)在银行客户信用评估中的应用,并给出了基于范例推理的银行客户信用评估系统的原型,介绍了该系统中的关键技术:范例表示、相似性计算和范例检索,研究了归纳学习、特征子集选择等机器学习方法在范例检索中的应用.     

利用CSP求解极小碰集的方法

基于模型诊断是人工智能领域中具有挑战性的问题,包含了很多人工智能中的关键问题,其研究对整个人工智能领域起着重要推动作用。在基于模型诊断中,候选诊断结果通常由所有极小冲突集对应的所有极小碰集所描述,求出所有极小碰集是其核心问题之一。提出一种将极小碰集问题转换为约束满足问题的方法,该方法调用成熟的CSP求解器进行求解,扩展了约束可满足问题的应用领域。首次提出hard‐冲突集和sof t‐冲突集的概念,并给出利用所提的方法分别求解具有一些特征的极小碰集：小于固定长度、不含特定元素及包含hard‐冲突集和sof t‐冲突集。实验结果表明,提出的方法易于实现、扩展性强,对于特定类型极小碰集问题的求解效率较高。     

基于快速边界攻击的黑盒对抗样本生成方法

深度学习技术在不同领域有着广泛的应用, 然而一个训练好的深度学习模型很容易受到干扰而得出错误的结果, 从而引发严重的安全问题. 为了检验深度学习模型的抗干扰性, 提高模型的安全性和鲁棒性, 有必要使用对抗样本进行对抗评估和对抗训练. 有目标的黑盒对抗样本的生成方法具有较好的实用性, 是该领域的研究热点之一. 有目标的黑盒对抗样本生成的难点在于, 如何在保证攻击成功率的前提下提高对抗样本的生成效率. 为了解决这一难点, 本文提出了一种基于快速边界攻击的有目标攻击样本生成方法. 该方法包括线上的搜索和面上的搜索两步. 线上的搜索由单侧折半法来完成, 用于提高搜索效率; 面上的搜索通过自适应调节搜索半径的随机搜索完成, 用于提高搜索的广度. 通过对5组图片的实验结果验证了方法的可行性.     

基于改进证据融合的高可靠产品可靠性评估方法

对许多高可靠、高价值的产品进行可靠性评估时,常由于客观试验数据缺乏导致无法对产品可靠性进行准确评估。针对这个问题,为充分利用不同来源的可靠性信息,提出一种基于改进证据融合的高可靠产品可靠性评估方法。首先,结合可靠性工程特点,分别由各证据在信度层、决策层的一致性以及证据自身的不确定度来确定证据修正权重;其次,基于博弈论原理对各权重向量进行线性组合,从而得到最优综合权重;最后,利用Dempster组合规则融合修正后的证据,并通过Pignistic概率转化公式得到产品可靠性指标的概率分布,以完成产品可靠性评估。某电子设备的可靠度评估结果显示,所提方法相较于同样考虑多维权重修正的Jiang组合方法和Yang组合方法,赋予冲突区间的信度分别减小了69.6%、54.6%,赋予整个识别框架的信度分别减小了5.6%、3.7%。因此,在可靠性工程应用中,所提方法化解证据冲突、降低融合结果不确定性的表现优于对比方法,能够有效融合多源可靠性信息,提高产品可靠性评估结果可信度。     

基于腐蚀批归一化层的对抗攻击算法

目前在对抗样本生成研究领域,基于梯度的攻击方法由于生成速度快和资源消耗低而得到广泛应用。然而,现有大多数基于梯度的攻击方法所得对抗样本的黑盒攻击成功率并不高。最强基于梯度的攻击方法在攻击6个先进防御黑盒模型时的平均成功率只有78.2%。为此,提出一种基于腐蚀深度神经网络架构中批归一化层的对抗攻击算法来改进现有基于梯度的攻击方法,以实现所得对抗样本的黑盒攻击成功率进一步提升。在一个ImageNet兼容数据集上做了大量实验,实验结果表明所提出的算法在单模型攻击和集成模型攻击中均能与现有基于梯度的攻击方法有效组合,实现在几乎不增加额外计算开销条件下增强对抗样本的攻击性能。此外,所提算法还使得最强基于梯度的攻击方法针对6个先进防御黑盒模型的平均攻击成功率提升了9.0个百分点。