软件可靠性测试充分性研究

在阐述了软件测试充分性的定义和软件测试充分性准则的定义、分类和作用的基础上，形式化分析了软件正确性测试充分性和软件可靠性测试充分性的目的和实质，重点研究了软件可靠性测试的充分性，将软件可靠性测试充分性准则分为软件可靠性增长测试充分性准则和软件可靠性验证测试充分性准则，给出将测试充分性准则用于可靠性测试流程的模型。     

对逻辑覆盖软件测试准则的公理化评估

由于形式规格说明采用一种精确、一致、容易被机器自动处理的符号系统来描述软件需求,因而形式规格说明为测试用例的自动生成和软件功能的验证提供了基础.在基于形式规格说明的测试过程中逻辑覆盖测试准则是一组常用的测试准则,如何选择和使用其中的每个测试准则是应用这组测试准则时面临的主要问题.因此分析和比较这组测试准则中每个测试准则的性质将为测试工程师选择测试准则提供指导和帮助.对测试充分性准则的公理化评估是一种比较测试准则的方式,这种方式将对理想的测试准则的直觉需求定义为一组公理,然后通过检查测试准则是否满足该组公理来分析和比较相应的测试准则.描述了一组理想的逻辑覆盖测试准则应该具有的性质和用来确定一个测试充分性准则是否完全的生成算法.这组性质被形式化地定义为一组公理.利用这种形式化的定义,用定理的形式精确地给出了这些性质之间的关系.最后通过这组公理系统来评估现有的逻辑覆盖测试准则.评估的结果为测试人员在实际过程中选择逻辑覆盖测试准则提供了指导.     

线性独立路径覆盖率的软件测试充分性判别方法

软件测试充分性判别准则是决定一个软件系统是否已经被充分测试的停止准则,而充分性判别准则的关键是它的揭错能力。对充分性判别准则进行了形式化描述,并且讨论了充分性判别准则的性质及准则之间的比较方法。为了给保障软件测试充分性提供理论依据,提出了一个软件测试充分性的度量准则。     

基于测试充分性准则的教育软件内容测试

教育软件内容测试是对教育软件根本性目标进行测试的需要,也是教育信息技术和教育软件工程研究的重点内容之一。基于测试充分性准则提出了教育软件内容测试,通过测试充分性准则来指导确定测试数据集,保障遵循学习特征的教育软件所包含的教育思想内容的正确性测试。     

关于可应用测试数据充分性准则复杂性的注记

软件测试充分性准则的复杂性分析对于测试效率的分析和比较具有重要意义,对于测试充分性准则使用具有指导意义,Ｗｅｙｕｋｅｒ于１９８４年提出了Ｒａｐｐｓ－Ｗｅｙｕｋｅｒ的ａｌｌ－ｕｓｅｓ,ａｌｌ－ｐ－ｕｓｅｓ／ｓｏｍｅ－ｃ－ｕｓｅｓ,ａｌｌ－ｃ－ｕｓｅｓ．ｓｏｍｅ－ｐ－ｕｓｅｓ和ａｌｌ－ｐ－ｕｓｅｓ准则的复杂性上界,于１９８８年又提出可应用数据流测试准则。我们发现原有测试复杂度在可应用家族中应用出现问题     

软件测试充分性研究

软件测试充分性准则是决定一个软件系统能否被充分测试的规则,而测试充分性的关键问题是其检测故障的能力。该文首先给出测试充分性准则的形式化描述,然后讨论了软件测试充分性的性质,最后给出了两种理想的测试数据生成方案,并提出了测试充分性度量方法。     

基于UML状态图的软件测试充分性准则研究

文中详细讨论了一组基于UML状态图的软件测试充分性准则。在软件测试时,还没有测试充分性准则明确定义循环应该被执行多少次,而循环只被执行一次是很不充分的。针对这种情况,在现有测试准则的基础上提出了两种扩展的基于UML状态图测试的充分性准则：ZOT-R循环覆盖准则和全ZOT-R路径覆盖准则,丰富并完善了现有的测试准则体系。并且通过结合一个具体实例给出了这些覆盖准则在具体测试实践中的应用方法,探讨了这些覆盖准则之间的包含关系。     

常用的基于控制流的测试充分性准则

本文介绍了几种在软件测试中常用的基于控制流的测试充分性评价准则。这些测试充分性准则适用于用过程式语言、面向对象语言编写的程序。测试人员可用这些准则判断究竟测试了多少代码,还有多少代码未测试到。     

基于可靠性增长模型的软件可靠性增长测试充分性准则

结合软件可靠性增长模型,扩充了基于可信度度量的软件可靠性增长测试充分性问题度量准则,提出了关于可靠性增长测试充分性问题新的度量准则：可靠性测试只有同时满足可靠性增量指标要求、可信度要求和每单位测试资源发现的故障数要求方可终止。然后,以一个真实数据集为例,应用所提出度量准则求出了测试应该停止的时间。实验证明,这样的度量准则,使得终止条件更加严格,可靠性测试更加充分,为可靠性测试充分性问题的解决提供了新的思路。     

基于测试充分性准则的非死锁并发缺陷定位方法

并发程序的非确定性使得其调试工作异常困难。基于程序谱的软件缺陷定位方法虽然能够缓解该情况,但其定位结果依赖于调试信息。针对在此过程中难以获得调试信息及如何选择利用调试信息的问题,提出了一种基于测试充分性准则的缺陷定位方法,该方法包括3个部分:预测满足测试充分性准则的条件;制定相应的测试方案;将收集到的调试信息用于缺陷定位分析。依据此方法,用C#语言实现了缺陷定位工具——ConFinder。在含有实际并发缺陷的程序上进行实验,结果表明该方法可以有效找出引起程序失效的原因并且所得结果具有很好的稳定性。     

软件测试质量的度量

该文在详细分析了软件测试充分性和揭错能力度量理论后,根据软件质量的本质特性,提出一种更全面的软件测试质量度量方法———通过度量软件测试方法减低软件残留风险程度的能力来度量测试质量的新方法。     

浮力调节软件的单元测试技术研究

为了提高嵌入式软件的单元测试效率,同时能达到很好的测试效果,针对嵌入式软件制定单元测试充分性准则和单元测试策略,并使用测试工具对嵌入式软件进行单元测试具有实际意义;以浮力调节软件为例,通过研究基于控制流的单元测试充分性准则,结合浮力调节软件的单元测试需求,提出了针对浮力调节软件的单元测试充分性准则;同时,考虑到圈复杂度和函数节点数对函数正确实现的影响,制定了基于优先级的单元测试策略;利用自动化单元测试工具Testbed搭建了浮力调节软件动态测试环境,通过代码覆盖率分析,帮助创建测试用例以达到单元测试充分性要求,从而实现了浮力调节软件单元测试自动化;在自动化测试工具的帮助下,结合单元测试充分性准则和单元测试策略,最终实现严格而高效的单元测试。     

DeepRanger:覆盖制导的深度森林测试方法

深度学习软件的结构特征与传统软件存在明显差异,因此即使展开了大量测试,依然无法有效衡量测试数据对深度学习软件的覆盖情况和测试充分性,并造成后续使用过程中依然可能存在大量未知错误.深度森林是一种新型深度学习模型,其克服了深度神经网络存在的一些缺点,例如:需要大量训练数据、需要高算力平台、需要大量超参数.但目前还没有相关工作对深度森林的测试方法进行研究.针对深度森林的结构特点,制定了一组由随机森林结点覆盖率RFNC、随机森林叶子覆盖率RFLC、级联森林类型覆盖率CFCC和级联森林输出覆盖率CFOC组成的测试覆盖率评价指标.在此基础上,基于遗传算法设计了覆盖制导的测试数据自动生成方法DeepRanger,可自动生成能有效提高模型覆盖率的测试数据集.为对所提出覆盖指标的有效性进行验证,在深度森林开源项目gcForest和MNIST数据集上设计并进行了一组实验.实验结果表明,所提出的4种覆盖指标均能有效评价测试数据集对深度森林模型的测试充分性.此外,与基于随机选择的遗传算法相比,使用覆盖信息制导的测试数据生成方法 DeepRanger能达到更高的模型覆盖率.     

A formal analysis of the subsume relation between software testadequacy criteria

Software test adequacy criteria are rules to determine whether a software system has been adequately tested. A central question in the study of test adequacy criteria is how they relate to fault detecting ability. We identify two idealized software testing scenarios. In the first scenario, which we call prior testing scenario, software testers are provided with an adequacy criterion in addition to the software under test. The knowledge of the adequacy criterion is used to generate test cases. In the second scenario, which we call posterior testing scenario, software testers are not provided with the knowledge of adequacy criterion. The criterion is only used to decide when to stop the generation of test cases. In 1993, Frankl and Weyuker proved that the subsume relation between software test adequacy criteria does not guarantee better fault detecting ability in the prior testing scenario. We investigate the posterior testing scenario and prove that in this scenario the subsume relation does guarantee a better fault detecting ability. Two measures of fault detecting ability will be used, the probability of detecting faults and the expected number of exposed errors     

变异测试:原理、优化和应用

变异测试是一种基于缺陷的软件测试技术,在近四十年得到国内外学者的广泛关注,并取得了一些研究成果。对已有的研究工作进行总结,将其分为变异测试原理、优化和应用三个模块。其中在变异测试原理模块中,给出变异测试的基本假设,对变异测试分析流程进行介绍,并对其中的重要概念依次给出定义,从静态检测和动态检测两个角度对等价变异体检测技术进行总结。在变异测试优化模块中,从变异体选择优化和变异体执行优化两个角度对已有研究工作进行总结。在变异测试应用模块中,选择了测试用例集充分性评估、测试用例生成和回归测试三个应用领域,对研究工作进行分类总结。最后对变异测试的未来研究方向进行了展望。     

Towards the Integration of Visual and Formal Models for GUI Testing

This paper presents an approach to diminish the effort required in GUI modelling and test coverage analysis within a model-based GUI testing process. A familiar visual notation a subset of UML with minor extensions is used to model the structure, behaviour and usage of GUIs at a high level of abstraction and to describe test adequacy criteria. The GUI visual model is translated automatically to a model-based formal specification language (e.g., Spec), hiding formal details from the testers. Then, additional behaviour may be added to the formal model to be used as a test oracle. The adequacy of the test cases generated automatically from the formal model is accessed based on the structural coverage of the UML behavioural diagrams.