组合测试用例生成技术

组合测试是一种科学有效的软件测试方法,该方法旨在使用较少的测试用例有效地检测软件系统中各个因素以及它们之间的相互作用对系统产生的影响,实践证明其具有较高的错误检测能力。当前组合测试研究的热点之一是组合测试用例生成问题,即如何针对具体待测软件,在满足给定组合覆盖要求的前提下,生成规模尽可能小的测试用例集,以便在保证错误检测能力的前提下尽可能降低测试成本。从N维组合覆盖和变力度组合覆盖等两类不同的组合覆盖标准出发,简要介绍了迄今为止人们在组合测试用例生成领域所取得的研究成果,对现有的组合用例生成方法进行了分类和总结。此外,还对优先级、组合约束、错误定位等条件和应用场景下的组合测试用例生成技术进行了介绍。最后,分析了现有成果中存在的问题,并对该领域未来的研究方向进行了分析和讨论。     

组合测试:原理与方法

组合测试能够在保证错误检出率的前提下采用较少的测试用例测试系统.但是,组合测试用例集的构造问题的复杂度是NP完全的.组合测试方法的有效性和复杂性吸引了组合数学领域和软件工程领域的学者们对其进行深入的研究.总结了近年来在组合测试方面的研究进展,主要内容包括:组合测试准则的研究、组合测试生成问题与其他NP完全问题的联系、组合测试用例的数学构造方法、采用计算机搜索的组合测试生成方法以及基于组合测试的错误定位技术.     

一种基于正交表的功能组合测试设计方法

软件测试在目前的软件开发过程中的地位日益重要。特别是目前的软件功能愈来愈多,必须保证各功能组合之间不产生冲突。如果以无条件地测试所有功能组合,则测试项目数会呈指数级增长而使得实际测试不可能。为了抑制这种组合的发散,利用正交表来设计测试是一种有效的方法。本文阐述了一种基于正交表的功能组合测试设计方法和应用,并开发了相应的测试用例生成工具,基于正交表原理,对测试对象程序的各功能项进行组合,确保用较少的测试用例达到较大的测试覆盖率。实验表明,与传统手工测试用例设计方法相比,利用该方法生成的测试用例覆盖率提高2倍,Bug发现率增加3倍,测试用例设计工时压缩为1/6。     

基于输入输出关系的局部组合测试技术

主要针对软件测试中黑盒测试时测试用例集过大,以及测试效率低的问题,提出了一种有用有效的测试用例集生成设计方法.该方法根据待测系统参数的输入输出关系,对输入参数进行分组生成输入参数的组合关系集,再仅对组合关系集中每组输入变量生成两两组合覆盖测试用例集合,然后进行水平拼接生成最终的用于待测系统测试的测试用例集合.实验结果表明,该方法不仅能有效地减少了测试用例数目,而且还能够保持了原来测试检错能力,从而提高测试效率.     

求解组合测试用例集的差分进化蚁群算法

针对组合测试中测试用例集生成这一关键问题,通过构建组合空间的搜索模型,提出了一种用于求解最小测试用例集的差分进化蚁群算法(DEACA)。该算法将差分进化融入到蚁群算法中,并在搜索过程中动态更新启发信息,有效克服了标准蚁群算法在求解组合用例时出现的早熟现象。实验表明该方法优于标准蚁群算法,与其他方法相比也具有一定优势和特点。     

基于符号零压缩二叉决策图的组合测试用例生成方法

组合测试是系统测试中一种非常有效的方法,能够在保证错误检出率的前提下采用较少的测试用例来测试系统。但是,组合测试用例集构造问题的复杂度是NP完全的。给出了一种基于符号零压缩二叉决策图(Zero-suppressed Binary Decision Diagram,ZBDD)的组合测试用例生成方法。该方法首先利用ZBDD的结构特性,对测试系统进行紧凑的符号表示。然后利用ZBDD的隐式操作,结合贪心算法的思想,不断地覆盖更多的组合并缩小未覆盖组合集合,生成2～4维覆盖强度的较小测试用例集。实验证明,所提方法不仅可行而且节点开销小。     

组合测试技术在防汛辅助决策支持系统中的应用

组合测试是一种重要的软件测试方法,能够有效地检测软件系统中各种因素间的组合可能促发的故障。防汛辅助决策支持系统需要输入多个查询条件实现相关信息的查询,影响系统正常工作的因素众多,可使用组合测试技术检测防汛辅助决策支持系统中各种参数及其相互作用对系统各种功能的影响。选择水雨情信息模块,重点探讨对水雨情信息模块建立组合测试建模,以及使用高级组合测试系统(ACTS)对该模块进行组合测试用例集的生成,再用测试用例集对系统进行测试。测试结果表明,两两组合测试仅需要执行35个测试用例,而全覆盖测试需要执行140个测试用例。     

一种基于粒子群优化的成对组合测试算法框架

提出一种基于粒子群优化的成对组合测试用例集生成算法框架.在生成测试用例时,该框架采用粒子群优化尝试生成强组合覆盖能力的测试用例,并研究了搜索空间、适应值函数和启发式的合理设定;在构造组合测试用例集时,以上述测试用例生成算法为基础,提出两种策略:一种基于one-test-at-a-time,另一种基于类IPO.编程实现该算法框架,并通过实证研究分析了算法框架中不同设定对组合测试用例集规模的影响;最后,与现有的经典方法在组合测试用例集生成规模和算法执行时间上进行了比较.最终结果表明,该算法具有竞争力.     

基于自适应遗传算法的测试用例生成工具

提出一种“对组合”测试用例生成算法。给出“对组合”索引表的概念。在索引表的基础上,实现一种自适应遗传算法生成测试用例集合。介绍使用该方法开发的测试用例自动生成工具GATG。实验证明,该方法基本达到国际同类工具的平均水平,具有较好的使用价值和应用前景。     

软件边界组合测试的典型案例分析

介绍了软件系统测试中功能组合测试与边界测试的概念和技术要求。针对我国目前军用型号软件测试的主要过程与方法,总结了在测试用例设计方面存在的不足。结合一个型号软件系统测试中未暴露的典型软件缺陷案例,分析了测试用例设计上的原因,说明了将功能组合测试与边界测试结合实施的必要性。提出了一种基于因果图的边界组合测试方法。经系统测试验证了该方法的可行性和有效性。     

Static test case prioritization using topic models

Software development teams use test suites to test changes to their source code. In many situations, the test suites are so large that executing every test for every source code change is infeasible, due to time and resource constraints. Development teams need to prioritize their test suite so that as many distinct faults as possible are detected early in the execution of the test suite. We consider the problem of static black-box test case prioritization (TCP), where test suites are prioritized without the availability of the source code of the system under test (SUT). We propose a new static black-box TCP technique that represents test cases using a previously unused data source in the test suite: the linguistic data of the test cases, i.e., their identifier names, comments, and string literals. Our technique applies a text analysis algorithm called topic modeling to the linguistic data to approximate the functionality of each test case, allowing our technique to give high priority to test cases that test different functionalities of the SUT. We compare our proposed technique with existing static black-box TCP techniques in a case study of multiple real-world open source systems: several versions of Apache Ant and Apache Derby. We find that our static black-box TCP technique outperforms existing static black-box TCP techniques, and has comparable or better performance than two existing execution-based TCP techniques. Static black-box TCP methods are widely applicable because the only input they require is the source code of the test cases themselves. This contrasts with other TCP techniques which require access to the SUT runtime behavior, to the SUT specification models, or to the SUT source code.     

网络中继系统的抽象测试方法研究

抽象测试方法为测试集设计者提供在不同条件下最合适的方法 .目前现有的测试方法主要为端系统设计 ,很少有关于中继系统的测试研究 .该文讨论中继系统的抽象测试方法 .首先引入被测中继系统模型 R-SUT,然后给出中继系统测试的概念结构 ,在此基础上提出几种中继系统抽象测试方法 .最后给出用该文提出的方法对因特网路由器、SMTP电子邮件服务器和分组装 /拆设备 PAD等中继系统的测试实践经验 .这些方法还可以用于 ATM交换机的测试 .     

Exhaustive property oriented model-based testing with symbolic finite state machines

We advocate a fusion of property-oriented testing (POT) and model-based testing (MBT). The existence of a symbolic finite state machine (SFSM) model fulfilling the properties of interest is exploited for property-directed test data generation and to create a test oracle. A new test generation strategy is presented for verifying that the system under test (SUT) satisfies the same LTL safety conditions over a given set of atomic propositions as the model. We prove that this strategy is exhaustive in the sense that any SUT violating at least one of these formulae will fail at least one test case of the generated suite. It is shown that the existence of a model allows for significantly smaller exhaustive test suites as would be necessary for POT without reference models. As a corollary, the main theorem also generalises a known result about SFSM-based conformance testing for language equivalence. Our approach fits well to industrial development processes for (potentially safety-critical) cyber-physical systems, where both models and properties representing system requirements are elaborated for development, verification, and validation.     

Testing from a stochastic timed system with a fault model

In this paper we present a method for testing a system against a non-deterministic stochastic finite state machine. As usual, we assume that the functional behaviour of the system under test (SUT) is deterministic but we allow the timing to be non-deterministic. We extend the state counting method of deriving tests, adapting it to the presence of temporal requirements represented by means of random variables. The notion of conformance is introduced using an implementation relation considering temporal aspects and the limitations imposed by a black-box framework. We propose a new group of implementation relations and an algorithm for generating a test suite that determines the conformance of a deterministic SUT with respect to a non-deterministic specification. We show how previous work on testing from stochastic systems can be encoded into the framework presented in this paper as an instantiation of our parameterized implementation relation. In this setting, we use a notion of conformance up to a given confidence level.     

测试用例集约简问题研究及其进展

测试用例集约简问题是软件测试中的关键问题之一,其目的是使用尽可能少的测试用例充分满足给定的测试目标,从而提高测试效率、降低测试成本。在简要介绍了测试用例集约简问题基本概念的基础上,总结了求解该问题的几种主要方法,分析比较了这些方法的效率和特性。随后探讨了与测试用例集约简问题强相关的测试用例集错误检测效率的问题,并研究了测试用例优先级技术。最后指出了测试用例集约简问题的下一步研究方向。     

A formal method to real-time protocol interoperability testing

Interoperability testing is an important technique to ensure the quality of implementations of network communication protocol. In the next generation Internet protocol, real-time applications should be supported effectively. However, time constraints were not considered in the related studies of protocol interoperability testing, so existing interoperability testing methods are difficult to be applied in real-time protocol interoperability testing. In this paper, a formal method to real-time protocol interoperability testing is proposed. Firstly, a formal model CMpTIOA （communicating multi-port timed input output automata） is defined to specify the system under test （SUT） in real-time protocol interoperability testing; based on this model, timed interoperability relation is then defined. In order to check this relation, a test generation method is presented to generate a parameterized test behavior tree from SUT model; a mechanism of executability pre-determination is also integrated in the test generation method to alleviate state space explosion problem to some extent. The proposed theory and method are then applied in interoperability testing of IPv6 neighbor discovery protocol to show the feasibility of this method.     

基于程序分析的通信软件模型驱动测试研究

针对通信软件的模型驱动测试框架中出现的测试生成问题,对MSC测试模型的测试生成方法进行改进,获得有效的系统测试集。采用符号执行和程序分析相结合的方法,收集生成的约束、测试脚本变量与被测系统变量之间的映射关系,据此生成测试模型,进一步进行模型验证和测试生成。这种方法可以对原有的测试集合进行半自动的扩展,对关心的程序路径进行测试覆盖,从而提高测试集合的有效性和完备性。     

基于树模型和输入参数关系的组合测试集精简方法*

提出了一种精简组合测试用例集的方法,该方法基于解空间树模型,利用输入参数之间的依赖关系来剪裁解空间树中的枝叶,从而获得精简的组合测试用例集。该方法采用回溯算法来实现,在遍历树的同时,剪裁解空间树并输出组合测试用例。在算法的实现过程中,采用了一些策略以便提高算法的效率并节省空间。实验结果证明该方法是可行和有效的,对于一些输入参数依赖关系明确的被测系统,该方法能够较大幅度地精简全组合测试用例集。     

基于两两覆盖准则的遗传算法测试用例生成

软件参数的组合测试是发现参数组合问题的重要方法,但是参数组合测试面临着组合爆炸问题,成对测试可以有效降低测试成本。提出了一种基于遗传算法的成对测试生成方法,该方法用于选择当前局部优化覆盖的测试用例,在此基础上构建满足成对测试基准的测试用例套,结果表明该方法能在不降低测试覆盖精度的情况下有效降低了测试用例数量。