自动驾驶软件测试技术研究综述

自动驾驶系统（autonomous driving system,ADS）是一种集成高精度传感器、人工智能和地图导航系统等模块的信息—物理融合系统。该类系统中的自动驾驶软件完成了从高级辅助驾驶到无人驾驶任务中关键的感知、定位、预测、规划和控制任务。随着深度学习和强化学习等人工智能技术的发展和车载硬件设备的不断升级,高级别的自动驾驶软件已经逐渐应用于多种安全攸关的场景中,保障其运行稳定性与可靠性的测试技术逐渐成为学术界和产业界的研究重点。本文在广泛调研国内外文献基础上,对自动驾驶软件测试技术进行了深入分析与梳理。结合自动驾驶软件的架构特点及系统特征,讨论了面向自动驾驶系统的仿真测试和实景测试,以及面向组件的测试技术。其中,在仿真方法方面,分析了软件仿真、半实体仿真和在环仿真等技术;在仿真对象方面,讨论了静态环境仿真、动态场景仿真、传感器仿真和车辆动力学仿真等。同时,本文介绍了当前实景测试的进展与情况,重点分析了实景测试案例中的得失优劣。在面向自动驾驶软件组件的测试技术方面,重点讨论了当前数据驱动技术在感知组件、决策规划组件,以及控制组件测试方面的进展。最后,本文总结分析了自动驾驶软件测试当前面临的挑战,并对未来自动驾驶软件测试技术的研究方向和研究重点进行了展望。     

深度神经网络测试研究综述

随着深度神经网络技术的快速发展、大数据的涌现和计算能力的显著提升,深度神经网络被越来越多地应用到各个安全攸关领域,例如自动驾驶、人脸识别、飞机碰撞检测等.传统的软件系统通常由开发人员手工编写代码实现其内部的决策逻辑,并依据相应的测试覆盖准则设计测试用例来测试系统代码.与传统的软件系统不同,深度学习定义了一种新的数据驱动的编程范式,开发人员仅编写代码来规定深度学习系统的网络结构,其内部逻辑则由训练过程获得的神经元连接权值所决定.因此,针对传统软件的测试方法及度量指标无法直接被移植到深度神经网络系统上.近年来,越来越多的研究致力于解决深度神经网络的测试问题,例如提出新的测试评估标准、测试用例生成方法等.调研了92篇相关领域的学术论文,从深度神经网络测试度量指标、测试输入生成、测试预言这3个角度对目前已有的研究成果进行了系统梳理.同时,分析了深度神经网络测试在图像处理、语音处理以及自然语言处理上的已有成果,并介绍了深度神经网络测试中应用到的数据集及工具.最后,对深度神经网络测试的未来工作进行了展望,以期为该领域的研究人员提供参考.     

基于平行测试的认知自动驾驶智能架构研究

在大数据、云计算和机器学习等新一代人工智能技术的推动下, 自动驾驶的感知智能在近年来得到显著的提升与发展. 然而, 与人类驾驶过程中隐含的以自我目的实现为引导的自探索性和自主性相比, 现阶段自动驾驶技术主要以辅助驾驶功能为主, 还停留在以被动感知、规划与控制为主的初级智能自动驾驶阶段. 为实现车辆智能从数据驱动的环境感知、辅助决策、被动规划到知识驱动的场景认知、推理决策、主动规划的提升, 亟需增强车辆自身对复杂外界信息归纳提炼、推理决策、评价估计等类人能力. 首先回顾自动驾驶关键技术演化及其应用发展历程; 随后分析测试对车辆智能评估的效用; 然后基于平行测试理论, 提出自动驾驶车辆认知智能训练、测试与评估空间的构建方法, 并设计基于平行测试的认知自动驾驶智能训练框架. 该项研究工作预期能为推动自动驾驶从感知智能向认知智能的升级提供可行的技术支撑与实现路径.     

TTCN-3类型系统测试用例集自动生成

针对编译器测试中最为重要的测试用例集构造问题,提出了针对TTCN-3语言类型系统的编译器测试用例集层次化、结构化的自动生成方案。语法方面,严格遵从语言规格说明中的扩展巴科斯-瑙尔范式(EBNF); 语义正确性上,采用定义“元素定义偏序文件”、建立抽象语法树等多种方法加以保证。实验表明新方案极大提高了测试用例集的生成效率,对TTCN-3类型系统语法、语义两方面都达到很好的测试覆盖,增强了发现编译器缺陷的能力。该方案对于其他语言的编译器测试也具有参考价值。     

自动驾驶地图的数据标准比较研究

作为实现汽车自动驾驶的关键基础设施,自动驾驶地图能够提供大量准确且语义丰富的数据来帮助用户以更精细的尺度了解周边环境状况,辅助感知、定位、驾驶规划与决策控制,满足智能时代多种高层次的应用需求,进而切实推动我国自动驾驶相关领域的发展与商业化应用。自动驾驶地图的数据标准作为自动驾驶地图生产应用的指导性规范之一,是自动驾驶地图数据标准化的基准。当前我国自动驾驶相关领域对自动驾驶地图标准化的需求迫切,地图数据标准化已成为业界共同关注的热点问题。为解决自动驾驶地图数据标准化问题,切实推动自动驾驶地图的高效发展,本文对自动驾驶地图的数据标准进行比较研究。首先介绍国内外主流的自动驾驶地图数据标准,然后针对其中4种：导航数据标准（navigation data standard,NDS）、OpenDrive、智能运输系统智能驾驶电子地图数据模型与交换格式和道路高精度电子导航地图数据规范进行分析比较研究,主要从数据结构、数据模型、地图渲染和协同应用4个维度展开,并在各个维度上给出数据标准编制时建议遵循的原则。基于分析比较研究的结果,总结出自动驾驶地图数据标准编制时建议遵循的原则。通过对自动驾驶地图的数据标准进行分析比较研究,归纳总结出数据标准编制时建议遵循的原则,这些建议遵循的编制原则对我国相应规格标准的制定具有借鉴意义。     

自动驾驶安全关键场景生成技术综述

安全关键场景生成是自动驾驶的重要方向,在自动驾驶测试、汽车安全性评估和汽车安全标准构建等领域都有着很高的应用价值,是关系自动驾驶应用落地的关键。现有研究缺乏重点围绕安全关键场景生成技术的综述,因此本文对安全关键场景生成技术进行了系统性综述。首先,分析了安全关键场景生成技术的综述相关研究;其次,对安全关键场景生成模型进行了对比分析;再次,分类总结了基于聚类、贝叶斯网络和对抗网络的安全关键场景生成方法的进展;最后,对安全关键场景生成方法研究趋势进行了展望。     

自动驾驶安全关键场景生成技术综述

安全关键场景生成是自动驾驶的重要方向,在自动驾驶测试、汽车安全性评估和汽车安全标准构建等领域都有着很高的应用价值,是关系自动驾驶应用落地的关键。现有研究缺乏重点围绕安全关键场景生成技术的综述,因此本文对安全关键场景生成技术进行了系统性综述。首先,分析了安全关键场景生成技术的综述相关研究;其次,对安全关键场景生成模型进行了对比分析;再次,分类总结了基于聚类、贝叶斯网络和对抗网络的安全关键场景生成方法的进展;最后,对安全关键场景生成方法研究趋势进行了展望。     

基路径覆盖测试用例自动生成方法研究

传统基路径覆盖测试用例生成方法通过程序图求出圈复杂度,然后再得出程序的一组基路径,最后分别针对基路径组中的每条路径求出相应的测试用例,不仅繁琐,而且忽视了代码的语义相关性,导致存在路径不可达问题,也就无法生成对应的测试用例.提出了一种新的方法,利用遗传算法动态运行程序,逐渐逼近被测程序的真实逻辑圈复杂度,直接生成满足基路径覆盖测试用例的最小集合,不存在路径不可达问题.实验结果表明,该算法能够有效地生成满足基路径覆盖的测试用例.     

自动驾驶发展与关键技术综述

随着汽车电子化和高级辅助驾驶技术的快速发展,自动驾驶作为辅助驾驶技术的高级阶段,俨然成为未来解决交通出行的重要方式,已成为全球范围内的一个新的技术研究热点和重点。尤其近年来,自动驾驶在人类交通发展史上取得了里程碑式的进步。简述了自动驾驶的发展和关键技术的相关内容,在此基础上回顾了自动驾驶通过传感器进行环境感知的研究水平以及前沿人工智能技术在自动驾驶中的使用情况,涉及环境智能感知、传感器融合、高级规划、控制等关键技术的相关陈述,最后综述了自动驾驶系统当前所存在的问题,并展望了自动驾驶技术的未来发展方向。     

REST API自动化测试综述

REST API已经成为访问和使用云服务、Web、移动应用程序的重要途径,如何对这些API进行自动化测试以保证服务的安全性和可靠性是亟待解决的问题。目前虽然关于REST API自动化测试的研究成果众多,但仍缺少对测试技术全面的分析和总结。梳理了该领域近10年的代表性成果,首先总结了REST API自动化测试的发展历程;然后结合REST API自动化测试特征,提炼了测试的通用流程;接着分别从预处理、测试用例生成、测试用例执行与监测、结果分析四个环节阐述现有成果的技术特征,对比分析其优缺点;最后论述当前研究存在的不足,讨论可能的解决思路,展望了下一步研究方向。     

Automatic test case generation for structural testing of function block diagrams

ContextFunction Block Diagram (FBD) is increasingly used in safety-critical applications. Test coverage issues for FBDs are frequently raised by regulators and users. However, there is little work at this aspect on testing FBD at model level. Our previous study has designed a new data-flow test coverage criterion, FB-Path Complete Condition Test Coverage (FPCC), that can directly test FBD structures and effectively detect function mutation errors. Nevertheless, because FPCC scheme involves several data-flow concepts and thus it is somewhat complicated to comprehend and to generate FPCC-complied test cases. An automatic test suite generator for FPCC is highly desirable.ObjectiveThis study designs an automatic test case generator, FPCCTestGen, for FPCC so as to enhance the practicability and acceptance of the FPCC approach.MethodFirst, a supporting infrastructure for performing automatic FBD-to-UPPAAL-for-FPCC transformation is designed. The supporting infrastructure includes templates, declarations, and functions as building blocks for transformation. Then, for each input FBD, represented in PLCopen XML format, FPCCTestGen performs parsing and converts FBD components into corresponding UPPAAL model components using aforementioned building blocks. After that, queries related to FPCC characteristics are submitted to UPPAAL model checker for verification. Finally, the verification traces are analyzed to obtain a FPCC-complied test suite.ResultsA safety injection system is used as a case study. Preliminary results show that the generated test suite achieves the highest FPCC percentage with a near optimal number of test cases.ConclusionThis automatic test case generation tool is effective and thus, can promote the use of the new test coverage criterion. Methodology used in FPCCTestGen is generic and can be applied to test suite generation for other test criteria on data-flow programs.     

Coverage-guided test generation for continuous and hybrid systems

In this paper, we describe a formal framework for conformance testing of continuous and hybrid systems, using the international standard ‘Formal Methods in Conformance Testing’ FMCT. We propose a novel test coverage measure for these systems, which is defined using the star discrepancy notion. This coverage measure is used to quantify the validation ‘completeness’. It is also used to guide input stimulus generation by identifying the portions of the system behaviors that are not adequately examined. We then propose a test generation method, which is based on a robotic motion planning algorithm and is guided by the coverage measure. This method was implemented in a prototype tool that can handle high dimensional systems (up to 100 dimensions).     

一个面向对象软件自动测试框架的设计和实现

介绍了一个测试用例驱动的面向对象软件自动化测试框架(简称为TCDA).TCDA使用UML作为形式化的分析和设计规格说明,从UML的体系结构视图中自动获取测试用例,并以XML的形式保存这些测试用例.TCDA可以根据具体编程语言,将测试用例翻译成由一系列源文件组成的测试脚本.测试执行过程中,测试脚本首先会被编译和链接,生成可执行文件,接着这些可执行文件将被运行,同时测试结果将被记录和分析,并最终生成一个结果分析报告.TCDA的原型系统使用Java实现.该系统包括测试配置、测试用例生成、测试脚本生成、测试执行和结果分析五个模块,分别支持以上描述的过程.     

基于符号零压缩二叉决策图的组合测试用例生成方法

组合测试是系统测试中一种非常有效的方法,能够在保证错误检出率的前提下采用较少的测试用例来测试系统。但是,组合测试用例集构造问题的复杂度是NP完全的。给出了一种基于符号零压缩二叉决策图(Zero-suppressed Binary Decision Diagram,ZBDD)的组合测试用例生成方法。该方法首先利用ZBDD的结构特性,对测试系统进行紧凑的符号表示。然后利用ZBDD的隐式操作,结合贪心算法的思想,不断地覆盖更多的组合并缩小未覆盖组合集合,生成2～4维覆盖强度的较小测试用例集。实验证明,所提方法不仅可行而且节点开销小。     

基于方法序列规范的测试用例生成

1 引言面向对象软件测试技术的研究是最近几年才引起重视的一个新领域。OO程序由于引入了封装、继承、多态等概念和机制,在程序的组织结构和运行机制上与传统的程序有很大差别,因而也对软件测试技术提出了新要求。无论是传统程序还是OO程序,测试活动通常分4个步骤进行:(1)确定测试准则;(2)基于测试准则构造     

Mutation Testing in the Refinement Calculus

This article discusses mutation testing strategies in the context of refinement. Here, a novel generalisation of mutation testing techniques is presented to be applied to contracts ranging from formal specifications to programs. It is demonstrated that refinement and its dual abstraction are the key notions leading to a precise and yet simple theory of mutation testing. The refinement calculus of Back and von Wright is used to express concepts like contracts, useful mutations, test cases and test coverage.     

IVVI: Intelligent vehicle based on visual information

Human errors are the cause of most traffic accidents, with drivers’ inattention and wrong driving decisions being the two main sources. These errors can be reduced, but not completely eliminated. That is why Advanced Driver Assistance Systems (ADAS) can reduce the number, danger and severity of traffic accidents. Several ADAS, which nowadays are being researched for Intelligent vehicles, are based on Artificial Intelligence and Robotics technologies. In this article a research platform for the implementation of systems based on computer vision is presented, and different visual perception modules useful for some ADAS such as Line Keeping System, Adaptive Cruise Control, Pedestrian Protector, or Speed Supervisor, are described.     

基于UML的软件测试用例自动生成技术研究

测试用例自动生成是软件自动化测试的基础与关键。随着UML的广泛应用,基于UML模型的测试用例自动生成技术日益受到关注。本文提出了通过对UML Sequence Diagram进行形式化分析产生测试场景的技术,定义了相应的测试覆盖准则,分析了测试数据的生成。并探讨了将测试工具和建模工具相结合的具体实现方法。     

两两组合覆盖测试数据自动生成集成工具的设计与实现

两两组合覆盖测试方法是一种科学有效的软件测试方法,相应的测试数据生成算法是人们研究的一个重点问题,本文在人们已有的研究基础上,结合我们在这个方面的研究成果,设计实现了一个两两组合覆盖测试数据自动生成工具,所产生的测试数据集与同类工具相比具有一定的特点和优势。