组合测试用例生成技术

组合测试是一种科学有效的软件测试方法,该方法旨在使用较少的测试用例有效地检测软件系统中各个因素以及它们之间的相互作用对系统产生的影响,实践证明其具有较高的错误检测能力。当前组合测试研究的热点之一是组合测试用例生成问题,即如何针对具体待测软件,在满足给定组合覆盖要求的前提下,生成规模尽可能小的测试用例集,以便在保证错误检测能力的前提下尽可能降低测试成本。从N维组合覆盖和变力度组合覆盖等两类不同的组合覆盖标准出发,简要介绍了迄今为止人们在组合测试用例生成领域所取得的研究成果,对现有的组合用例生成方法进行了分类和总结。此外,还对优先级、组合约束、错误定位等条件和应用场景下的组合测试用例生成技术进行了介绍。最后,分析了现有成果中存在的问题,并对该领域未来的研究方向进行了分析和讨论。     

成对测试中的测试生成策略研究

测试用例生成是软件测试的关键,成对测试是根据特定的测试原则研究测试用例的产生方法。基于这一原则分别构造了IPO-H算法和IPO-V算法的测试以产生整个测试用例,具有产生的测试用例少,时间消耗小等优点。并与另一个成对测试的测试生成工具AETG(高效自动测试生成器)进行了比较、分析,证明了改进的IPO策略便于构造自动测试工具。     

相邻因素组合测试用例集的最优生成方法

软件系统是一个复杂的逻辑系统,有很多因素可能影响系统的正常运行,组合测试可以对这些因素及其相互作用可能对系统产生的影响进行检测.针对一类只在相邻因素间存在相互作用的系统,文中提出了相邻因素组合测试的概念,分别给出了相邻因素两两(二维)组合覆盖表、相邻因素N(N＞2)维组合覆盖表和多重维数相邻因素组合覆盖表的生成算法,并证明了3个算法均可以生成数量最优的相邻因素组合测试用例集.最后通过实际应用场景,分析了相邻因素组合测试的应用价值.     

基于One-test-at-a-time策略的可变力度组合测试用例生成方法

组合测试可以有效地检测软件系统中由各个因素间交互作用所引发的软件故障.但传统的组合测试方法对系统中各因素之间的实际交互关系考虑不足,难以有效处理交互力度不统一的情况,进而可能导致测试用例的冗余和检错能力的降低.针对该问题,应在充分考虑因素间实际交互关系的基础上,使用可变力度组合测试方法,从而实现对于因素间实际交互关系的覆盖.为此,文中针对一种新的可变力度组合测试模型,提出了两种基于one-test-at-a-time策略的可变力度组合测试用例集生成算法.实验表明,相对于已有的具备类似功能的测试用例生成算法和工具,文中提出的算法在测试用例集规模和算法运行时间上均具备一定优势,并可适用于固定力度组合测试、可变力度组合测试等不同测试模型.     

基于模拟退火遗传算法的测试数据生成研究

在软件测试中,如何才能生成高效的测试用例一直是人们研究的热点.提出了一种基于模拟退火的遗传算法,用于测试数据的生成.该算法有效克服了传统GA局部搜索能力差和早熟现象.同时也有效改善了SA全局搜索能力差的问题.随后提出了一个基于模拟退火遗传算法的测试数据自动生成的系统框架结构.并重点介绍了如适应度函数选取问题、编码问题和遗传算子改进问题等关键技术.实验结果表明.该苒法运用在测试数据自动生成领域.其效率和效果都优于传统的遗传算法.     

一种组合测试用例生成的可配置混合算法

组合测试是一种经过实践证明的科学有效的测试方法,其研究重点之一是组合测试用例集的生成算法。基于参数顺序渐进扩充策略IPO(In-Parameter-Order)是其中一种具有代表性的通用算法,其优势在于水平扩充算法的可选择性和测试用例集的可扩展性。算法在提取影响IPO策略效果的参数的基础上,给出可配置的IPO策略;采用遗传算法(Genctic-Algorithm)配置IPO策略中的水平扩充,得到新的混合算法IPO_GA。通过实验对可配置IPO策略中各个参数对算法的影响进行了对比分析;将IPO_ GA与部分已有算法进行了比较,结果表明在水平扩充过程中染色体较短时,IPO_GA效果较好;在解空间规模过大而导致染色体较长时,IPO_GA效果略差。     

融合变异测试的路径覆盖测试数据进化生成方法

针对检测缺陷的测试数据生成效率低下问题,提出变异测试和路径覆盖测试技术结合的测试数据生成方法。首先,采用变异测试技术生成的变异分支融入程序,生成新的被测程序;然后,在原路径集中挑选目标路径,通过分析变异分支与路径关联关系,将变异分支融入路径。最后,基于遗传算法生成覆盖路径的测试数据。实验结果表明,多种群遗传算法生成测试数据的时间,比单种群遗传算法节约了41.15%。由此可见,对于覆盖多路径测试数据生成,多种群遗传算法的效率比单种群遗传算法高。     

基于故障树分析与组合测试的测试用例生成方法

随着软件的日益复杂,如何从巨大的可用测试用例空间中选择少量的测试用例进行有效的测试,成为了软件测试的重要课题之一。给出了一种易于自动化实现的软件测试用例生成方法。首先运用故障树分析原理,获取待测软件故障树的最小割集;然后利用等价类划分法、边界值分析法等经典黑盒测试方法,获取各最小割集中每个元素的典型取值集合;最后利用组合测试技术,在充分考虑各元素两两之间关系的基础上生成测试用例集。该方法对传统的故障树分析方法进行了改造,具有更大的适用范围;综合利用组合覆盖技术与黑盒测试方法,能有效保障测试充分性并减少测试用例数目。工程实践表明,该方法能够大幅提高测试效率。     

一种改进的两两组合测试用例生成方法

本文针对多因素二水平系统提出:将所有的测试数据表示为一棵二叉解空间树,用回溯法对二叉解空间树进行路径搜索来生成测试用例,然后使用贪心算法生成补充的测试用例,以满足两两组合覆盖标准。使用这种方法生成的测试数据集具有很高的覆盖率。     

基于遗传算法的DM-GA组合测试数据生成方法

测试数据生成是组合软件测试的重要部分,生成高质量的测试数据对于软件测试具有重要意义.针对两两组合测试数据生成问题,结合传统遗传算法,加入了精英策略和自适应变异概率,提出了DM-GA( dynamic mutation rates-genetic algorithm)算法,改善了传统遗传算法容易陷入局部最优以及收敛速度慢等不足,并取得了良好的效果.实验结果表明DM-GA算法可以作为一种较理想的两两组合测试数据生成方法.     

回归测试中测试用例集优化方法的研究

回归测试是软件演化过程中频繁进行的且开销巨大的一项任务,测试用例集的优化程度直接影响着测试的成本和效率。针对回归测试过程的特点,提出一种对测试用例集优化的新方法,即通过对测试用例集进行必要的消除冗余和调整排序,完成了对初始测试用例集的精简以及执行顺序的确定过程,使得有限的测试资源得到科学合理的分配。实验结果表明,相对于以往的测试用例集优化方法,新方法的效率和资源分配的合理性均有了显著的提高。     

关于两两测试的研究

在软件开发过程中软件测试的成本是很高的。但是，在许多情况下两两测试可用于减少测试的成本，并对于许多软件系统在实践中证明是实用和有效的。它要求对于系统的每一对输入参数，这两个参数有效值的每一个组合至少要被一个测试用例覆盖。介绍了两两测试的概念以及生成测试用例的两个算法。最后，对应用两两测试时应注意的一些问题进行了讨论．两两测试的许多思想可以扩展到t路测试．     

组合测试中用例集的选择策略

组合测试用例众多,软件测试人员都希望用最少的测试用例集达到最好的测试覆盖。研究了组合测试的常规算法,比较了配对测试法和正交表测试法的特点,并借助于PICT测试工具重点研究了2因子模型的配对组合测试,在此基础上,总结出在组合测试中测试用例集的选择策略,进而达到满意的测试覆盖。     

基于解空间树的组合测试数据生成

在组合覆盖测试模型的基础上提出：将所有的可用测试数据表示为一棵解空间树,利用回溯法对解空间树进行路径搜索来生成测试数据,然后使用贪心算法补充生成测试数据,以满足两两组合覆盖标准.并且实现了基于该方法的测试数据生成工具,所生成的测试数据集与同类工具相比具有一定的特点和优势.     

两两组合测试数据自动生成算法的改进

为实现测试用例的全覆盖,给出一种改进的两两组合测试数据自动生成算法。利用矩阵方法自动生成初始测试数据集,在此基础上通过组合匹配思想对初始测试数据集进行测试数据增补。实验结果表明,该算法简单高效,且具有产生测试数据少、时间消耗小的特点。     

Generating combinatorial test suite using combinatorial optimization

Combinatorial testing (CT) is an effective technique to test software with multiple configurable parameters. It is used to detect interaction faults caused by the combination effect of parameters. CT test generation aims at generating covering arrays that cover all t-way parameter combinations, where t is a given covering strength. In practical CT usage scenarios, there are usually constraints between parameters, and the performance of existing constraint-handling methods degrades fast when the number of constraints increases.The contributions of this paper are (1) we propose a new one-test-at-a-time algorithm for CT test generation, which uses pseudo-Boolean optimization to generate each new test case; (2) we have found that pursuing the maximum coverage for each test case is uneconomic, and a possible balance point is to keep the approximation ratio in [0.8,0.9]; (3) we propose a new self-adaptive mechanism to stop the optimization process at a proper time when generating each test case; (4) extensive experimental results show that our algorithm works fine on existing benchmarks, and the constraint-handling ability is better than existing approaches when the number of constraints is large; and (5) we propose a method to translate shielding parameters (a common type of constraints) into normal constraints.     

参数配对及n-way组合覆盖算法研究

组合测试是软件测试数据生成研究的一个重要领域,其中参数配对组合测试的应用最为广泛.对常用的参数配对组合覆盖方法进行了综述分析.目前主流的配对覆盖算法AETG和IPO所存在的主要问题是在确定水平取值时,具有盲目性和随机性,从而难以控制测试用例的规模.为此提出了改进的AETG算法和IPO算法,改进算法通过对参数进行预处理以及综合考虑各因素的水平组合等手段,对测试用例的规模进行控制,采用更加完备的方法尽早确定水平取值.为验证新算法的有效性,进行了仿真实验和实际测试,结果表明,改进算法所生成的测试用例数量要少于原算法,测试用例约减效果更为明显;测试用例数与配对数之间、测试用例数与因素水平数之间存在着某些规律性的联系,分析得出了一系列相关的结论.在配对覆盖的基础上,提出了遗传算法与AETG算法相结合的n-way组合覆盖算法,证明了其时间复杂性较已有算法得到了改善.     

软件测试用例自动生成算法综述*

按照测试用例自动生成技术的不同,将测试用例自动生成算法分为随机、遗传、蚁群、粒子群四类,对上述各类算法的现状和进展进行介绍、分析和探讨。最后,对软件测试用例自动生成的研究进行了总结。