覆盖率驱动的随机测试生成技术综述

随机测试生成技术是当今大规模集成电路仿真验证流程中的一项重要支撑技术.覆盖率驱动的随机测试生成方法是目前该领域研究的热点之一,其目标是通过覆盖率指导测试向量生成,减少重复测试向量,加速验证的收敛过程,提高验证的自动化程度和效率.文中全面综述了覆盖率驱动的随机测试生成技术的发展历程、研究现状和技术分类,并结合具体实例对各种方法及其面临的主要问题进行了讨论、评价和总结.     

一种基于Messy GA的结构测试数据自动生成方法

结构性测试是标识测试用例的基本方法之一.由于程序语言的复杂性以及被测程序的多样性,自动生成结构测试数据的一种有效方法是根据程序运行结果指导生成过程,通过不断迭代,生成符合要求的测试数据集.提出一种基于Messy GA的结构测试数据自动生成方法,将测试覆盖率表示为测试输入集X的函数F(X),并利用Messy GA不需要染色体模式排列的先验知识即可进行优化求解的性质对F(X)进行迭代寻优,进一步提高了搜索的并行性,并最终提高测试覆盖率.对一组标准测试程序和若干实际应用程序的实验结果表明,较之现有基于遗传算法的生成方法,该方法能够以更高的效率生成更高质量的测试数据,并适用于较大规模的程序.     

通过分析代码覆盖提高功能覆盖率的验证输入自动生成方法

覆盖率驱动的验证是功能验证的重要方法,但功能覆盖定义的主观性和手工调整验证输入的冗长过程都极大地影响了覆盖率驱动验证的效率.文中分析了代码行覆盖次数与功能覆盖率的内在联系,建立了基于代码行覆盖次数的概率模型,提出一种新的通过分析代码覆盖提高功能覆盖率的验证输入自动生成方法--FOCDGAG.通过代码行覆盖次数计算验证输入序列的适应度,选取对提高功能覆盖率贡献较高的输入序列,使用遗传算法自动生成新的输入序列组.实验结果表明,采用FOCDGAG时不需要功能覆盖信息,可以将全随机输入生成的功能覆盖率收敛速度提高10倍以上,将约束随机输入生成的功能覆盖率收敛速度提高20倍以上.     

贝叶斯网络在SoC事务级验证平台中的应用

在越来越复杂的SoC芯片设计过程中,功能验证已成为芯片设计周期中最主要的瓶颈;采用人工智能算法在功能覆盖率指导下自动生成随机激励的方法已成为该领域的研究热点;针对贝叶斯网络强大的不确定性概率推理和数据分析能力以及事务级验证平台的特点,采用贝叶斯网络来自动分析验证平台中的事务配置参数和功能覆盖率统计数据之问的不确定关系,提出了一种改进的功能覆盖率驱动验证平台;与传统的约束随机验证平台相比,能快速达到覆盖率目标,缩短验证周期.     

基于模型驱动的Web应用自动化测试平台设计与应用

为了提高Web应用的测试效率和测试覆盖率,保证Web应用软件的质量,设计了基于模型驱动的Web应用自动化测试平台。该平台结合了基于UML模型的测试用例生成、基于关键字驱动思想的框架设计和复杂多层的自动化测试框架,实现了测试用例自动设计生成及测试自动化执行,增加了测试脚本的复用性,显著提高了测试效率和测试覆盖率。最后,给出应用实例,并与现有的测试方法和平台进行对比,突出本平台的可行性和应用价值。     

基于接口语义契约的Web服务测试数据生成

测试是Web 服务质量保证的主要手段之一,测试自动化是降低测试代价的有效途径,测试数据生成是测试自动化研究的一个重要内容.提出采用本体及规则的知识描述语言,建立服务接口的语义契约模型(interface semantic contract,简称ISC),并探讨了基于ISC 的测试数据生成技术,给出了分区生成算法以及测试数据生成的模拟退火算法.实验结果表明,与随机测试相比,该方法能够采用10%的测试用例数量达到同样的测试覆盖率;在同样的测试用例数量上,最高可提高50%的测试覆盖率.     

规则驱动的Android应用DFS测试技术

GUI自动化测试是Android应用研究领域的重要组成部分,针对Android应用的GUI测试技术得到了广泛的研究。其中,基于DFS算法的GUI遍历测试技术得到了广泛的应用。然而,现有的DFS测试技术却仍然具有效率低下、覆盖率较低的问题。文中提出了结合外部预定义规则来驱动DFS自动化遍历的改进方法,以提高DFS自动化遍历的效率和覆盖率;基于规则驱动的改进方法实现了RDTA测试工具,进行了与Monkey以及无规则驱动下的DFS的对比实验,验证了该方法的有效性。     

一种Cache一致性协议验证中覆盖率驱动的随机验证方法

随机验证技术是当今大规模集成电路仿真验证流程中的一项重要支撑技术,覆盖率驱动的随机测试生成方法是目前该领域研究的热点之一。针对Cache一致性协议的验证目标,介绍一种引入基于朴素贝叶斯模型的机器学习来完善基于覆盖率驱动的随机验证的方法,并结合相关的实际验证过程对该方法进行了分析和讨论。     

DeepRanger:覆盖制导的深度森林测试方法

深度学习软件的结构特征与传统软件存在明显差异,因此即使展开了大量测试,依然无法有效衡量测试数据对深度学习软件的覆盖情况和测试充分性,并造成后续使用过程中依然可能存在大量未知错误.深度森林是一种新型深度学习模型,其克服了深度神经网络存在的一些缺点,例如:需要大量训练数据、需要高算力平台、需要大量超参数.但目前还没有相关工作对深度森林的测试方法进行研究.针对深度森林的结构特点,制定了一组由随机森林结点覆盖率RFNC、随机森林叶子覆盖率RFLC、级联森林类型覆盖率CFCC和级联森林输出覆盖率CFOC组成的测试覆盖率评价指标.在此基础上,基于遗传算法设计了覆盖制导的测试数据自动生成方法DeepRanger,可自动生成能有效提高模型覆盖率的测试数据集.为对所提出覆盖指标的有效性进行验证,在深度森林开源项目gcForest和MNIST数据集上设计并进行了一组实验.实验结果表明,所提出的4种覆盖指标均能有效评价测试数据集对深度森林模型的测试充分性.此外,与基于随机选择的遗传算法相比,使用覆盖信息制导的测试数据生成方法 DeepRanger能达到更高的模型覆盖率.     

基于覆盖率驱动的高性能DSP指令集验证方法

针对传统定向测试效率较低且容易遗漏边界条件,以及测试平台扩展性、移植性差等问题,利用SystemVerilog的面向对象特性、随机约束求解机制以及覆盖率统计机制,提出一种快速搭建覆盖率驱动的随机测试平台的方法。采用面向对象方法对指令集建模,同时定义功能覆盖点和交叉覆盖率,并对随机约束规则进行描述,利用SystemVerilog的约束求解机制在覆盖率驱动下生成大量的测试指令码。对"银河飞腾"高性能DSP芯片指令集进行验证,结果表明,与定向测试相比,随机测试的寄存器和数据通路覆盖率提高50%,操作数覆盖率提高90%以上,交叉覆盖率提高75%以上,同时功能覆盖率能在较短的时间内达到预期值,从而缩短验证周期。     

一种基于贝叶斯网络的随机测试方法在Cache一致性验证中的设计与实现

随着集成电路设计复杂度指数级增长,功能验证已经越来越成为大规模芯片设计的瓶颈,而在多核处理器中,Cache一致性协议十分复杂,验证难度大。针对Cache一致性协议验证提出基于模拟验证的一种基于贝叶斯网络的随机测试生成方法,解决Cache一致性协议状态空间爆炸的问题。首先分析了Cache一致性协议及基于贝叶斯网络推理的CDG方法,并将CDG方法应用于Cache一致性的验证。以FT处理器中的Cache一致性协议验证为例,对比伪随机测试,使用CDG方法将覆盖率提高近30%。     

寄存器传输级测试用例生成算法

基于控制流图／数据流图层次模型,以分支覆盖、位功能覆盖以及语句可观测覆盖为目标,给出一个高层次测试用例生成算法,并最终实现一种可行的RTL级测试生成算法．实验结果表明,在较少的测试生成时间下,该算法可生成相对短的测试序列,得到与其他方法相当或略差的测试效果．此外,该算法因采用了测试用例技术而具有良好的灵活性．     

Automatic test case generation for structural testing of function block diagrams

ContextFunction Block Diagram (FBD) is increasingly used in safety-critical applications. Test coverage issues for FBDs are frequently raised by regulators and users. However, there is little work at this aspect on testing FBD at model level. Our previous study has designed a new data-flow test coverage criterion, FB-Path Complete Condition Test Coverage (FPCC), that can directly test FBD structures and effectively detect function mutation errors. Nevertheless, because FPCC scheme involves several data-flow concepts and thus it is somewhat complicated to comprehend and to generate FPCC-complied test cases. An automatic test suite generator for FPCC is highly desirable.ObjectiveThis study designs an automatic test case generator, FPCCTestGen, for FPCC so as to enhance the practicability and acceptance of the FPCC approach.MethodFirst, a supporting infrastructure for performing automatic FBD-to-UPPAAL-for-FPCC transformation is designed. The supporting infrastructure includes templates, declarations, and functions as building blocks for transformation. Then, for each input FBD, represented in PLCopen XML format, FPCCTestGen performs parsing and converts FBD components into corresponding UPPAAL model components using aforementioned building blocks. After that, queries related to FPCC characteristics are submitted to UPPAAL model checker for verification. Finally, the verification traces are analyzed to obtain a FPCC-complied test suite.ResultsA safety injection system is used as a case study. Preliminary results show that the generated test suite achieves the highest FPCC percentage with a near optimal number of test cases.ConclusionThis automatic test case generation tool is effective and thus, can promote the use of the new test coverage criterion. Methodology used in FPCCTestGen is generic and can be applied to test suite generation for other test criteria on data-flow programs.     

一种结构测试数据自动生成的框架

针对结构测试中控制流和数据流覆盖测试数据的生成都可以归结为面向路径的测试数据生成的问题,提出了一个通用的基于控制流和数据流的结构测试数据自动生成的框架。该框架根据控制流和数据流测试中所采用的覆盖标准优化选取测试路径,并以改进后的迭代松弛法为核心,对所选取的路径生成测试数据。以基于路径覆盖、分支覆盖和数据流覆盖测试数据自动生成这3种算法为核心,开发了一个测试数据自动生成的框架原型。实验结果表明该框架是可行的。     

基于断言的模拟矢量自动生成方法

VLSI模拟验证的一个关键问题是需要大量的模拟矢量来验证各种可能情况下设计的正确性.采用断言作为模拟验证的功能模型,提出和实现了一种基于断言的模拟矢量自动生成方法.针对要触发的断言,首先对设计进行化简,通过决策图模型将初始输入传播到断言,并将传播过程和断言条件一起转化成CLP约束,最后求解CLP约束生成模拟矢量.该方法的优势在于运用了字级(word-level)约束求解技术,能统一处理控制电路和数据通路间的数据传播,求解效率高;基于功能模型的模拟矢量生成技术,模拟矢量生成目标更明确;与动态加速技术相结合,使搜索过程效率更高;设计化简技术的运用使搜索过程计算复杂度只与断言有关.实验结果表明,该方法能快速找到并定位设计中的错误,生成模拟矢量效率更高.     

一种带偏置的基于相关性分析的Cache一致性协议验证方法

Cache一致性协议作为CC-NUMA系统的硬件基础,在CC-NUMA系统的设计过程中占有举足轻重的地位。对于复杂的CC-NUMA系统,由于其Cache一致性协议十分复杂,通常难以进行形式化验证,而常规的伪随机模拟又存在验证效率低下的问题。本文提出了一种对复杂CC-NUMA系统中Cache一致性协议进行模拟验证的方法。该方法通过对验证覆盖目标进行相关性分析,使用偏置技术对传统伪随机模拟验证方法进行了改进。实际验证结果表明,改进后的方法使得模拟验证覆盖率的增长速率有了明显提高。     

面向路径的测试数据自动生成工具的设计

设计了一个通用的基于控制流和数据流的结构测试数据自动生成的工具。该工具根据控制流和数据流测试中所采用的覆盖标准来选取测试路径,并以改进后的迭代松弛法为核心,对所选取的路径生成测试数据。同时工具采用Fibonacci法优化选取路径,对不可达路径进行处理,并对测试数据的分支覆盖率、DCP覆盖率等进行了统计。实验结果表明该工具是可行的。     

组合测试用例生成技术

组合测试是一种科学有效的软件测试方法,该方法旨在使用较少的测试用例有效地检测软件系统中各个因素以及它们之间的相互作用对系统产生的影响,实践证明其具有较高的错误检测能力。当前组合测试研究的热点之一是组合测试用例生成问题,即如何针对具体待测软件,在满足给定组合覆盖要求的前提下,生成规模尽可能小的测试用例集,以便在保证错误检测能力的前提下尽可能降低测试成本。从N维组合覆盖和变力度组合覆盖等两类不同的组合覆盖标准出发,简要介绍了迄今为止人们在组合测试用例生成领域所取得的研究成果,对现有的组合用例生成方法进行了分类和总结。此外,还对优先级、组合约束、错误定位等条件和应用场景下的组合测试用例生成技术进行了介绍。最后,分析了现有成果中存在的问题,并对该领域未来的研究方向进行了分析和讨论。     

一种Web服务的测试数据自动生成方法

软件测试是保证Web服务质量的重要技术手段.测试数据生成是Web服务测试的重要内容.测试数据的质量将直接影响Web服务测试的效率和成本.文章基于合约式设计的 Web服务测试技术,提出一种 Web服务的测试数据自动生成方法.首先根据WSDL文档采用随机法自动生成初始测试数据,然后使用合约变异技术进行测试数据的选择,据此可以生成一组达到一定合约变异充分度的有效测试数据,从而提高 Web服务的测试质量和效率.最后实现了一个Web服务的测试数据自动生成工具原型,并通过实验验证了方法的有效性.