服务接口测试自动化工具的研究

在面向服务的架构中,软件功能通常被封装为服务,并以开放可编程接口的方式提供应用.因此,服务接口的正确性和可靠性对于服务理解、重用和集成至关重要.随着软件即服务的思想被广为认可,互联网上越来越多的软件应用以服务接口方式提供开放式访问.面对众多的服务接口,如何进行高效且有效的测试是一个亟待解决的问题.为此,提出了一种基于模型驱动的自动化测试方法,首先采用接口语义契约模型对被测服务接口建模,然后基于接口模型和测试覆盖率需求为单个服务和组合服务生成测试数据和测试用例.在此基础上,设计并实现了AutoTest自动化测试工具,该工具采用多种算法用于优化测试用例生成,且支持图形化测试计划编排和跨语言测试代码生成.实验结果表明,AutoTest能够有效支持大批量测试用例的设计和生成,根据OED(正交实验设计)算法生成的测试用例与IPO组合算法得到的用例相比,具有更为理想的测试覆盖率.     

基于UML顺序图的测试用例生成

为生成覆盖测试需求的测试用例集,提出一种基于UML顺序图自动生成测试用例的方法。通过分析待测系统的功能用例,对其进行顺序图建模。在基于该顺序图生成测试用例的过程中,对顺序图添加规约条件,解析顺序图,得到场景测试树,再遍历该树,得到场景的输入、预期输出、约束条件以及场景环境,这4部分组成了测试用例,同时对如何处理复杂的顺序图及如何满足测试用例充分性等问题进行分析总结,提出有效的解决策略。     

基于功能点分析测试设计充分性模糊评判建模

提出了一种基于软件功能点分析结果设计测试用例的观点,通过分析功能点指标和测试设计之间的关系,以度量数据为基础,运用模糊数学方法建立了测试设计充分性综合评判模型,有效地解决了测试设计充分性难以定量评价问题,同时也为软件测试设计提供了一种新的思路和方法,并以一个实例验证了该模型的可行性。     

基于通信协议的接口测试用例自动生成框架

为了实现对软件配置项和软件系统的接口测试的测试用例自动生成,建立了基于通信协议的接口测试用例自动生成框架,对该生成框架的输入模型和算法集合进行研究。提出了基于通信协议的接口测试用例生成框架的输入模型,并在输入模型中建立数据帧之间的一级关联矩阵和数据帧内字段间的二级关联矩阵。以输入模型为基础,说明发送端和接收端的接口测试用例自动生成算法。结合实际项目中的通信协议,介绍了如何将通信协议信息转换至输入模型,如何通过算法集合自动生成测试用例集。实验结果表明：基于通信协议的接口测试用例自动生成框架生成的接口测试用例可以替代人工生成的接口测试用例,极大地提高了软件接口测试工作的效率。     

基于关联模式的回归测试用例约简模型

针对回归测试过程中测试需求不断变更造成的测试用例数量大、测试效率低等问题,提出一种基于关联模式的回归测试用例约简模型。该模型对模块、测试需求及测试用例三者间的关联性进行纵向分析,对测试需求间的关联关系进行横向分析并约简测试需求,进而生成并约简测试用例,实现对修改后的软件进行有效的回归测试。     

一种基于事件处理函数的GUI测试方法

事件处理函数响应用户GUI(graphic user interface)操作并完成软件预定义功能,事件处理函数以及事件处理函数之间的关系实现是否与规约一致,是GUI 测试的重点.针对现有的基于模型GUI 测试用例自动生成过程中面临的测试用例规模庞大以及生成的测试用例无效问题,从分析事件处理函数的角度出发,提出了一种GUI 测试模型EHG.针对此模型,结合事件处理函数及其代码结构,提出了两个测试覆盖准则：完整最短路径覆盖准则和完整最短路径定义-引用对覆盖准则;利用基于反馈的测试用例生成技术生成测试用例.实验结果表明,针对较为复杂的应用,该方法不仅能够有效控制测试用例规模,消除无效测试用例,而且生成的测试用例能有效提高事件处理函数的代码结构覆盖率.     

基于遗传算法测试用例集极小化研究

提出了一种应用于软件回归测试过程中的基于遗传算法的最小化测试用例集算法模型。该算法针对在软件回归测试过程中,测试套间内的测试用例间往往存在着重复覆盖测试需求的情况,因而测试套间中将存在着大量的冗余测试用例,将测试用例与测试需求之间的覆盖关系模型转化为集覆盖模型。然后利用遗传算法强大的全局搜索能力,优化在极小化的测试用例空间,较低的测试成本条件下,覆盖回归测试需求。并通过对算法的仿真结果进行分析表明,该算法较一般的优优化算法具有更高算法性能与效率。     

对逻辑覆盖软件测试准则的公理化评估

由于形式规格说明采用一种精确、一致、容易被机器自动处理的符号系统来描述软件需求,因而形式规格说明为测试用例的自动生成和软件功能的验证提供了基础.在基于形式规格说明的测试过程中逻辑覆盖测试准则是一组常用的测试准则,如何选择和使用其中的每个测试准则是应用这组测试准则时面临的主要问题.因此分析和比较这组测试准则中每个测试准则的性质将为测试工程师选择测试准则提供指导和帮助.对测试充分性准则的公理化评估是一种比较测试准则的方式,这种方式将对理想的测试准则的直觉需求定义为一组公理,然后通过检查测试准则是否满足该组公理来分析和比较相应的测试准则.描述了一组理想的逻辑覆盖测试准则应该具有的性质和用来确定一个测试充分性准则是否完全的生成算法.这组性质被形式化地定义为一组公理.利用这种形式化的定义,用定理的形式精确地给出了这些性质之间的关系.最后通过这组公理系统来评估现有的逻辑覆盖测试准则.评估的结果为测试人员在实际过程中选择逻辑覆盖测试准则提供了指导.     

一种基于Web软件集成测试的建模方法

本文给出了一种Web软件集成测试的建模方法。该方法通过分析Web应用程序体系结构,对Web应用划分,用分层的有限状态机对Web应用进行行为建模,通过采用基于有限状态机的导航模型来指导测试人员进行Web集成测试;采用UML扩展的模型对Web应用组件间的交互建模,通过建立基于UML的组件依赖模型并提供相应的测试用例生成规则来提取Web应用的测试用例。     

协议一致性冒烟测试系统的设计

协议一致性冒烟测试是在协议软件开发过程中进行的突显功能测试．冒烟测试系统需要解决测试功能选择、测试用例设计、测试系统实现以及二次开发接口等问题，本文在协议形式化描述模型上使用贪心算法进行测试功能选择，将测试需求转换成测试目的后自动生成测试用例，设计并实现了一个测试系统和一套完整的二次开发接口，并使用该系统对IP协议栈的一些协议进行了测试。     

Experiments with test case prioritization using relevant slices

Software testing and retesting occurs continuously during the software development lifecycle to detect errors as early as possible and to gain confidence that changes to software do not introduce defects. Once developed, test suites are reused and updated frequently, and their sizes grow as software evolves. Due to time and resource constraints, an important goal during regression testing of software is to prioritize the execution of test cases in a suite so as to improve the chances of increasing the rate of fault detection. Prior techniques for test case prioritization are based on the total number of coverage requirements exercised by the test cases. In this paper, we present a new approach to prioritize test cases that takes into account the coverage requirements present in the relevant slices of the outputs of test cases. We have implemented three different heuristics based on our relevant slicing based approach to prioritize test cases and conducted experiments to compare the effectiveness of our techniques with those of the traditional techniques that only account for the total requirement coverage. Our detailed experimental study and results provide interesting insights into the effectiveness of using relevant slices for test case prioritization in terms of ability to achieve high rate of fault detection.     

航天嵌入式软件测试用例典型设计缺陷研究

作为动态测试充分性的基本评价指标,覆盖率分析只能帮助修正因输入不足而导致的测试用例设计缺陷。针对航天嵌入式软件测试过程中不影响覆盖率统计结果的用例设计缺陷,从测试步骤和预期结果两大测试用例核心要素开展研究,提出十个典型缺陷,分别予以分析,并进行缺陷修正。工程实践证明,这些缺陷的发生率高,具有典型性;修正这些缺陷后,可以有效检出软件设计缺陷;与用例执行后的覆盖率统计数据分析相结合,可以有效提高测试充分性。     

软件测试充分性研究

软件测试充分性准则是决定一个软件系统能否被充分测试的规则,而测试充分性的关键问题是其检测故障的能力。该文首先给出测试充分性准则的形式化描述,然后讨论了软件测试充分性的性质,最后给出了两种理想的测试数据生成方案,并提出了测试充分性度量方法。     

GA-based multiple paths test data generator

Developers have learned over time that software testing costs a considerable amount of a software project budget. Hence, software quality managers have been looking for solutions to reduce testing costs and time. Considering path coverage as the test adequacy criterion, we propose using genetic algorithms (GA) for automating the generation of test data for white-box testing. There are evidences that GA has been already successful in generating test data. However, existing GA-based test data generators suffer from some problems. This paper presents our approach to overcome one of these problems; that is the inefficiency in covering multiple target paths. We have designed a GA-based test data generator that is, in one run, able to synthesize multiple test data to cover multiple target paths. Moreover, we have implemented a set of variations of the generator. Experimental results show that our test data generator is more efficient and more effective than others.     

An approach to testing commercial embedded systems

A wide range of commercial consumer devices such as mobile phones and smart televisions rely on embedded systems software to provide their functionality. Testing is one of the most commonly used methods for validating this software, and improved testing approaches could increase these devices’ dependability. In this article we present an approach for performing such testing. Our approach is composed of two techniques. The first technique involves the selection of test data; it utilizes test adequacy criteria that rely on dataflow analysis to distinguish points of interaction between specific layers in embedded systems and between individual software components within those layers, while also tracking interactions between tasks. The second technique involves the observation of failures: it utilizes a family of test oracles that rely on instrumentation to record various aspects of a system's execution behavior, and compare observed behavior to certain intended system properties that can be derived through program analysis. Empirical studies of our approach show that our adequacy criteria can be effective at guiding the creation of test cases that detect faults, and our oracles can help expose faults that cannot easily be found using typical output-based oracles. Moreover, the use of our criteria accentuates the fault-detection effectiveness of our oracles.     

基于复杂系统遗传算法的多路径覆盖测试用例生成方法

针对目前复杂系统多路径覆盖测试用例生成方法较少的问题,提出一种新的基于复杂系统的多路径覆盖测试用例生成方法。首先改进遗传算法,在种群进化中对父代选择、个体进化的学习能力和种群的自适应更新方法进行改进,以有效避免算法收敛过慢或者"早熟"现象。然后根据多路径覆盖测试的特点与要求,设计基于路径匹配的适应度函数,使得运行一次算法便可生成覆盖多条目标路径的多个测试用例。最后将该方法用于几个基准程序。实验结果表明,与已有方法比较,此方法的测试用例生成效率显著提高。     

基于测试需求的互操作性测试用例生成方法

网络化应用将成为未来软件技术发展的主导模式。为了保证网络化应用之间能够有效地协同工作,必须对其进行互操作性测试。互操作性测试具有测试需求复杂易变、测试用例设计困难的特点,因而需要消耗大量成本。为此,提出一种基于测试需求的互操作性测试用例生成方法。该方法采用模型驱动的测试思想,以测试需求模型描述互操作性测试需求,以状态图描述各被测应用的规格说明,通过两者的结合生成满足测试需求的测试用例。     

An approach for experimentally evaluating effectiveness and efficiency of coverage criteria for software testing

Experimental work in software testing has generally focused on evaluating the effectiveness and effort requirements of various coverage criteria. The important issue of testing efficiency has not been sufficiently addressed. In this paper, we describe an approach for comparing the effectiveness and efficiency of test coverage criteria using mutation analysis. For each coverage criterion under study, we generate multiple coverage-adequate minimal test suites for a test-program from a test-pool, which are then executed on a set of systematically generated program mutants to obtain the fault data. We demonstrate the applicability of the proposed approach by describing the results of an experiment comparing the three code-based testing criteria, namely, block coverage, branch coverage, and predicate coverage. Our results suggest that there is a trade-off between effectiveness and efficiency of a coverage criterion. Specifically, the predicate coverage criterion was found to be most effective but least efficient whereas the block coverage criterion was most efficient but least effective. We observed high variability in the performance of block test suites whereas branch and predicate test suites were relatively consistent. Overall results suggest that the branch coverage criterion performs consistently with good efficiency and effectiveness, and it appears to be the most viable option for code-based control flow testing.     

嵌入式软件的覆盖测试

覆盖测试是检验嵌入式软件功能结构正确性以及查找问题的重要方法和手段。纯粹的人工测试工作量大、操作不方便、周期长,需要借助一定的工具才能取得较好的效果。使用测试工具LDRA Testbed进行了覆盖率测试,达到了一定的语句、分支以及LCSAJ覆盖率。测试过程说明了该工具能够有效获取被测软件的动态覆盖率信息,评价测试用例的完整性,并有针对性地补充测试用例,进而提高软件测试的覆盖率,帮助决定何时终止软件测试。