深度神经网络测试研究综述

由于深度神经网络（deep neural network, DNN）模型的复杂性和不确定性等属性,对模型的一般行为和边界行为进行充分的测试是保障模型质量的重要手段. 当前的研究主要基于制定的覆盖准则,结合模糊测试技术生成衍生测试样本,从而提升测试充分性,但较少综合考虑测试样本的多样性及个体揭错能力. 意外充分性指标量化测试样本与训练集在神经元输出方面的差异,是测试充分性评估的重要指标,目前缺乏基于此指标的测试样本生成方法. 因此,提出了一种意外充分性引导的深度神经网络测试样本生成方法,首先,筛选对于决策结果贡献较大的重要神经元,以其输出值为特征,改进意外充分性指标;其次,基于测试样本的意外充分性度量筛选具有揭错能力的种子样本;最后,利用覆盖引导的模糊测试思想,将测试样本的意外充分性值和DNN模型预测的类别概率差异作为联合优化目标,利用梯度上升算法计算扰动,迭代生成测试样本. 为了验证所提方法的有效性,选取5个DNN模型作为被测对象,涵盖4种不同的图像数据集,实验结果表明,改进的意外充分性指标能够有效捕捉异常的测试样本,同时减少计算时间开销. 在测试样本生成方面,与方法DeepGini和RobOT相比,基于所提的种子样本选择策略生成的衍生测试集的意外覆盖率最高提升了5.9个百分比和15.9个百分比. 相比于方法DLFuzz和DeepXplore,所提方法的意外覆盖率最高提升了26.5个百分比和33.7个百分比.

     

深度神经网络的测试输入选择与度量标准研究综述

随着深度神经网络在各个领域受到广泛应用,对其进行测试评估并确保其安全性显得尤为重要。测试输入选择方法可以帮助在测试数据集规模较大且标注成本较高的情况下,对测试样本进行选择与排序,以提高测试效率和测试覆盖率。为了深入了解深度神经网络测试输入选择领域的研究进展,对近5年来91篇相关领域的学术论文进行了系统梳理。介绍了深度神经网络测试的基本概念和流程,包括深度学习系统的构建、测试输入的选择和测试结果的评估;概括分析了各种度量标准和测试输入选择方法的适用场景与不足之处,以及彼此之间的相互联系。最后,指出了当前深度神经网络测试输入选择与评估工作面临的挑战和机遇。     

组合测试:原理与方法

组合测试能够在保证错误检出率的前提下采用较少的测试用例测试系统.但是,组合测试用例集的构造问题的复杂度是NP完全的.组合测试方法的有效性和复杂性吸引了组合数学领域和软件工程领域的学者们对其进行深入的研究.总结了近年来在组合测试方面的研究进展,主要内容包括:组合测试准则的研究、组合测试生成问题与其他NP完全问题的联系、组合测试用例的数学构造方法、采用计算机搜索的组合测试生成方法以及基于组合测试的错误定位技术.     

自动驾驶智能系统测试研究综述

随着人工智能技术的深入发展,自动驾驶已成为人工智能技术的典型应用,近十年来得到了长足的发展,作为一类非确定性系统,自动驾驶车辆的质量和安全性得到越来越多的关注.对自动驾驶系统,特别是自动驾驶智能系统(如感知模块、决策模块、综合功能及整车)的测试技术得到了业界和学界的深入研究.调研了56篇相关领域的学术论文,分别就感知模...     

模糊测试技术研究综述

软件中的安全漏洞可能导致非常严重的后果,因此漏洞挖掘已成为网络与信息安全领域的重大课题和研究热点。目前常用的漏洞挖掘技术包括静态分析、动态分析、二进制比对、模糊测试等。随着软件的规模和复杂度不断增大,模糊测试具有其它漏洞挖掘技术无法比拟的优势。首先介绍和分析了各种漏洞挖掘技术的优点和缺点;然后分别详细描述了模糊测试的研究进展、模糊测试的过程、测试用例的生成技术;最后介绍了模糊测试在各个领域的应用,并对其发展方向进行了展望。     

REST API自动化测试综述

REST API已经成为访问和使用云服务、Web、移动应用程序的重要途径,如何对这些API进行自动化测试以保证服务的安全性和可靠性是亟待解决的问题。目前虽然关于REST API自动化测试的研究成果众多,但仍缺少对测试技术全面的分析和总结。梳理了该领域近10年的代表性成果,首先总结了REST API自动化测试的发展历程;然后结合REST API自动化测试特征,提炼了测试的通用流程;接着分别从预处理、测试用例生成、测试用例执行与监测、结果分析四个环节阐述现有成果的技术特征,对比分析其优缺点;最后论述当前研究存在的不足,讨论可能的解决思路,展望了下一步研究方向。     

动态学习深度神经网络综述

深度神经网络是一种非常有效的机器学习方法,然而传统的算法均无法处理动态问题.因此,介绍了一种最近提出的能够动态学习的深度神经网络永续学习机算法.该算法能够实现对新增数据的动态学习,并且算法执行速度较快.通过对文献的分析表明,该算法是一种拥有非常广泛应用价值的深度学习算法.     

深度卷积神经网络的目标检测算法综述

目标检测是计算机视觉中的核心任务之一,在智能视频监控、自动化监测、工业检测等领域应用广泛。近些年来,随着深度学习的快速发展,基于深度卷积神经网络的目标检测算法逐渐替代了传统的目标检测算法,成为了该领域的主流算法。介绍了目标检测算法的常用数据集和性能评价指标,介绍了卷积神经网络的发展,重点分析比较了两阶段目标检测算法和单阶段目标检测算法,展望了基于深度卷积神经网络的目标检测算法未来的发展。     

深层神经网络中间层可见化建模

深层神经网络的中间层是隐含的、未知的,这使得深层网络的学习过程不可追踪,学习结果无法解释,在一 定程度上制约了深度学习的发展.本文通过引入先验知识使深层网络的中间层具有明确的含义与显性的影响 关系,即中间层可见化,从而部分人工干预深层网络的内部结构,约束网络学习的方向.基于深层堆叠网 络 (Deep stacking network, DSN),提出两种中间层部分可见的深层神经网络:输入层部分可见的深层堆叠网络(Input-layer visible DSN, IVDSN)和隐含层部分可见的深层堆叠网络(Hidden-layer visible DSN, HVDSN),部分可见是为了保留对未知信息的提取能力和一定的容错能力.以基于文本的言语情 感计算为例测试所提网络的有效性,结果表明先验知识的引入有助于提升深层神经网络的 性能;所提两种网络均可实现中间层的部分可见化,其中HVDSN结构更精简,性能也更优.     

深度神经网络图像语义分割方法综述

图像语义分割是计算机视觉领域近年来的热点研究课题,随着深度学习技术的兴起,图像语义分割与深度学习技术进行融合发展,取得了显著的进步,在无人驾驶、智能安防、智能机器人、人机交互等真实场景中应用广泛。首先对应用于图像语义分割的几种深度神经网络模型进行简单介绍,接着详细阐述了现有主流的基于深度神经网络的图像语义分割方法,依据实现技术的区别对图像语义分割方法进行分类,并对每类方法中代表性算法的技术特点、优势和不足进行分析与总结。之后归纳了图像语义分割常用的大规模公共数据集和性能评价指标,并在此基础上对经典的语义分割方法的实验结果进行了对比,最后对语义分割领域未来可行的研究方向进行展望。     

面向深度卷积网络的多目标神经演化算法

传统的深度卷积神经网络设计方法依赖于人工设计以及反复试错,只能采用形式单一的网络结构,导致其参数过分冗余,乘法次数巨大.为了自动化地设计出结构灵活多变,网络规模及计算量较小的深度卷积神经网络,本文提出了一种面向深度卷积网络的多目标神经演化算法.该算法将深度神经网络表达成有向图,使用神经演化和多目标优化算法实现了深度、计算量和识别率下的多目标同时优化,同时还引入了线性规划用于将基因编码翻译为卷积层的配置参数,使得演化算法可以自动调整各个网络层的具体配置.演化得到的模型其最深路径上含有36个卷积层,CIFAR-100上Top5精度为86.1%,Top1精度为60.2%,与识别率相近的网络相比,具有结构新颖,乘法次数低等特点.综上,本文提出的方法能够自动生成一系列各具特色的深度神经网络,可根据在深度、计算量和识别率3个指标上的不同应用需求选择适合的深度神经网络,为深度神经网络部署于资源受限的无线传感器网络上提供了一种快速、经济、自动化的设计方法.     

基于深度神经网络的对抗样本技术综述

深度学习在完成一些难度极高的任务中展现了惊人的能力,但深度神经网络难以避免对刻意添加了扰动的样本（称为“对抗样本”）进行错误的分类。“对抗样本”逐渐成为深度学习安全领域的研究热点。研究对抗样本产生的原因和作用机理,有助于从安全性和鲁棒性方面优化模型。在掌握对抗样本原理的基础上,对经典对抗样本攻击方法进行分类总结,根据不同的攻击原理将攻击方法分为白盒攻击与黑盒攻击两个大类,并引入非特定目标攻击、特定目标攻击、全像素添加扰动攻击和部分像素添加扰动攻击等细类。在ImageNet数据集上对几种典型攻击方法进行复现,通过实验结果,比较几种生成方法的优缺点,分析对抗样本生成过程中的突出问题。并对对抗样本的应用和发展作了展望。     

深度卷积神经网络在图像美学评价的应用综述

随着近年来深度学习的日益发展,图像美学评价逐渐成为一个新的热门研究课题,深度卷积神经网络在图像美学评价的应用成功地取得了可观的发展成果,并引起了广泛的关注。为了解决现有综述存在的文献概括不全、对该技术的发展情况认识不足的问题,先后从全局感知和局部感知、个性化查询、手工特征提取与深度卷积神经网络结合等角度对其发展情况进行了详细地阐述,对图像美学评价、图像裁剪、工具应用等应用情况作了分析,并从充分结合多场景、巧用构图规则、提前建立美学图像数据集等角度进行了未来工作展望。     

深度神经网络修复策略综述

随着智能信息时代的发展,深度神经网络在人类社会众多领域中的应用,尤其是在自动驾驶、军事国防等安全攸关系统中的部署,引起了学术界和工业界对神经网络模型可能表现出的错误行为的担忧.虽然神经网络验证和神经网络测试可以提供关于错误行为的定性或者定量结论,但这种事后分析并不能防止错误行为的发生,如何修复表现出错误行为的预训练神经网络模型依然是极具挑战性的问题.为此,深度神经网络修复这一领域应运而生,旨在消除有缺陷的神经网络产生的错误预测,使得神经网络满足特定的规约性质.目前为止,典型的神经网络修复范式有3种:重训练、无错误定位的微调和包含错误定位的微调.介绍深度神经网络的发展和神经网络修复的必要性;厘清相近概念;明确神经网络修复的挑战;详尽地调研目前已有的神经网络修复策略,并对内在联系与区别进行分析和比较;调研整理神经网络修复策略常用的评价指标和基准测试;展望未来神经网络修复领域研究中需要重点关注的可行方向.     

基于深层神经网络的多特征关联声学建模方法

针对不同声学特征之间的信息互补性以及声学建模中各任务间的关联性,提出了一种多特征关联的深层神经网络声学建模方法,该方法首先借鉴深层神经网络(deep neural network, DNN)多模态以及多任务学习思想,通过共享DNN部分隐含层为不同特征声学模型间建立关联,从而挖掘不同学习任务间隐含的共同解释性因素,实现知识迁移以及性能的相互促进;其次利用低秩矩阵分解方法减少模型估计参数的数量,加快模型训练速度,并对不同特征的识别结果采用ROVER(recognizer output voting error reduction)融合算法进行融合,进一步提高系统识别性能.基于TIMIT的连续语音识别实验表明,采用关联声学建模方法,不同特征的识别性能均要优于独立建模时的识别性能.在音素错误率(phone error rates, PER)指标上,关联声学建模下的ROVER融合结果要比独立建模下的ROVER融合结果相对降低约4.6%.     

深度神经网络图像目标检测算法综述

随着深度卷积神经网络优异的特征提取能力被发掘, 目标检测的进程开始以一种势不可挡的姿态向前推进, 同时, 和深度学习结合的目标检测技术取得了显著的成果, 在自动驾驶、智能化交通系统、无人机场景、军事目标检测和医学导航等现实场景中得到了广泛的应用. 本文回顾了传统目标检测算法的缺点, 介绍了常用的检测数据集以及性能评估指标, 综述了基于深度学习的目标检测经典算法, 阐述了当前目标检测的以及存在的困难与挑战, 对目标检测的未来可行的研究方向进行了展望.