测试用例集启发式约简算法分析与评价

在软件开发和维护过程中,为了提高对源程序变更部分的信心并且保证源程序变更部分没有对未变更部分造成负面影响,需要对软件系统进行回归测试。回归测试是一个昂贵的测试过程。测试用例集约简算法是在仍然满足测试准则的前提下,通过删除所有冗余测试用例得到测试用例集的最小约简测试用例集,用以优化回归测试过程。综述了文献中主要的测试用例集启发式约简算法,通过统一的框架和术语定义了这些算法,分析和比较了这些算法的效率和优劣,指出了未来进一步研究的方向。     

基于变异分析的测试用例约简方法

针对回归测试过程中由于测试需求的变更导致测试用例规模不断扩大、测试成本不断增加的问题,提出一种基于变异分析的测试用例约简方法（RTM）。首先,以测试用例能否检测到指定变异体为依据,对测试用例进行划分并创建二进制数值形式的变异体事务集矩阵;然后,应用改进的关联挖掘算法获取测试用例间的关联关系;最后,根据这些关联关系有效约简测试用例。6个经典程序仿真实验结果表明,RTM能够使约简后的测试用例约简率达到37%,与传统贪心算法和启发式算法相比,测试用例约简率提高了6%,且在提高测试用例约简率的同时,保证了测试覆盖率,单个测试用例的测试覆盖率平均提高了11%。所提方法能够利用尽可能少的测试用例满足更多的测试需求,有效提高了测试效率,降低了测试成本。     

改进型程序切片方法的测试需求约简技术研究

传统的测试用例集约简技术大多采用由测试需求集直接生成测试用例集的方法.该方法虽然能够约简测试用例集,但出现测试需求冗余,约简后的测试用例集不够精准等问题.针对这些问题,提出了一种基于六元结构表的程序切片方法.利用程序切片精简测试代码,省去构造程序依赖图的复杂步骤;根据代码间的相互关系和模块间的耦合度,利用启发式算法约简测试需求;在约简后的测试需求上,精简测试用例集.将该方法应用到当前主流的Android平台上比较约简前后G,GRE的用例集.实验结果表明:约简后的测试需求集能够在获得较少的测试用例集的前提下保证较高的覆盖率.     

基于DBSCAN算法的测试用例优化方法

在软件测试研究领域,测试用例约简一直以来都是研究的重点,目前的一些研究利用测试需求之间复杂的相互关系得到约简的测试需求集,在此基础上可以优化对应的测试用例集,但单个测试需求所对应的测试用例集可能是一个密度分布且数量较大的集合.对单个测试需求所对应的测试用例集合进行合理优化约简,本文在这个方面做了深入的研究和探索,提出了两种基于黑盒测试的类等价划分和类边界值分析策略.基于DBSCAN算法提出了科学合理的参数取值方法,提高了算法的适应问题程度和效率,结合优化的算法和两种策略从而得到优化约简的测试用例集.     

一种基于测试需求约简的测试用例集优化方法

测试用例集优化的目标是用尽可能少的测试用例充分满足给定的测试目标.针对给定的测试目标,获得精简的测试需求集有助于提高测试用例集优化的效率和效果.从测试需求约简的角度考虑测试用例集优化,首先给出可以精确描述测试需求间相互关系的测试需求约简模型;基于此模型,提出一种测试需求约简方法,可以获得精简测试需求集,作为测试用例集生成和约简的基础,从而实现测试用例集优化.实验结果表明,测试需求约简有助于获得规模较小的测试用例集,实现系统、科学、有效的测试.     

探究关于测试需求集的测试用例集极小化方法

软件测试是软件生产厂商在软件开发过程中非常重要的一个阶段。本文围绕着测试用例集约简技术展开研究。首先阐述了测试用例集的约简技术的含义与作用,分析了测试用例集的约简技术能够降低软件测试成本以及提高软件测试效率的方法。本文结合几种常用的测试用例集的约简技术,提出一种关于测试需求集的测试用例集极小化方法,该方法基于测试需求集的最小测试用例集的形成算法,从而得到优化的代表测试用例集,为测试用例集约简技术提供很好的理论基础和测试技术的依据。     

基于方法切片及入口依赖的回归测试研究

为了提高大型软件回归测试效率,将程序切片思想应用于回归测试用例选择过程,提出了方法切片及入口依赖的概念。切片算法MethodSlice以方法为基本单元进行切片,提取软件变化影响点,仅选择那些受源程序修改部分影响的测试用例进行回归测试。实验结果表明:与传统的程序切片相比,方法切片更易用于大型软件的回归测试过程中,其实现简单,不易出错,在一定程度上提高了软件回归测试效率。     

基于多优化目标的软件测试用例约简方法研究

软件测试是软件工程的一个重要组成部分,其目标是能够及时发现软件中的错误,确保软件高质量。测试用例是软件测试的基础,覆盖度较高且精简的测试用例集可以提高测试效率和降低成本。软件测试覆盖标准较多,一个好的测试用例评价指标也存在多种,为了能够在约简测试用例集规模的同时获取较高的测试能力,本文提出了一种基于多优化目标的测试用例集约简算法,该算法旨在根据测试用例需求,构建多优化目标的测试用例模型,使用该模型获取一个最优解的测试用例子集,使用最小化用例集方法最小化测试用例,迭代执行直到测试用例集覆盖所有的测试需求,实验结果表明该算法可以约简测试用例集,获取较高的综合测试效果。     

基于矩阵行列变换的测试用例约简算法

针对测试用例约简问题,定义了一种不会改变测试需求与测试用例覆盖关系的布尔运算。应用此运算,辅以不同的测试需求、用例集优先策略,经矩阵的列变换得到精简的测试需求集,然后使用行变换对测试用例集进行约简。该方法不受测试用例输入顺序的影响。实验表明,与一些常用的约简算法相比,提出的算法在有序树生成程序测试用例约简的几个实例上都能得到较优的用例集。     

基于关联模式的回归测试用例约简模型

针对回归测试过程中测试需求不断变更造成的测试用例数量大、测试效率低等问题,提出一种基于关联模式的回归测试用例约简模型。该模型对模块、测试需求及测试用例三者间的关联性进行纵向分析,对测试需求间的关联关系进行横向分析并约简测试需求,进而生成并约简测试用例,实现对修改后的软件进行有效的回归测试。     

基于覆盖测试的嵌入式软件自动裁剪

针对软件移植嵌入式平台时的裁剪问题,提出一个通用的、自动化的裁剪方案。该方案基于覆盖测试思想,利用源代码静态分析技术,在每个函数的首尾插入桩代码,通过执行已插桩的程序,动态地获得函数的覆盖信息。根据函数的覆盖信息,能对软件进行自动化的裁剪。该裁剪方案可以将软件体积减少30%左右。     

嵌入式软件测试工具中间结构的设计与实现

实现一种实时嵌入式软件测试工具的中间结构,描述中间结构的生成、存储、转换过程,给出生成类继承图、生成控制流图的实现代码。设计一个针对C/C++的解析器,对源码进行预处理,以实现由源码生成中间结构,并利用XSLT技术实现中间结构为后端应用提供的接口。     

嵌入式API测试套生成方法和技术

随着嵌入式计算机系统应用的不断扩展,嵌入式系统的可靠性引起了学术界和工业界的广泛关注,也提出了很多增进可靠性的方法和技术.然而,现有的方法和技术在测试套生成方面论述不多,所以在处理大批量嵌入式系统测试工作中遇到了挑战.讨论抽象测试套生成方法和适配技术,提出了LTS(labeled transition system)到BT(behavior tree)的转换算法,从而使TTCN(test and testing control notation)测试套可以通过转换嵌入式软件的LTS描述产生.还介绍了基于上述转换算法的嵌入式软件测试工具包,以及一个嵌入式物联网识读器测试案例研究.     

A learning algorithm for optimizing continuous integration development and testing practice

Continuous integration, at its core, includes a set of practices that aim to prevent and reduce the cost of software integration issues by merging working software copies often. Regression testing is considered a good practice in software development with continuous integration, which ensures that code changes are not negatively affecting software functionality. As, nowadays, software development is carried out iteratively, with small code increments continuously developed and regression tested, it is of critical importance that continuous regression testing is time efficient. However, in practice, regression testing is often long lasting and faces scalability problems as software grows larger or as software changes are made more frequently. One contributing factor to these issues is test redundancy, which causes the same software functionality being tested multiple times across a test suite. In large-scale software, especially highly configurable software, redundancy in continuous regression testing can significantly grow the size of test suites and negatively affect the cost effectiveness of continuous integration. This paper presents a practical learning algorithm for optimizing continuous integration testing by reducing ineffective test redundancy in regression suites. The novelty of the algorithm lies in learning and predicting the fault-detection effectiveness of continuous integration tests using historical test records and combining this information with coverage-based redundancy metrics. The goal is to identify ineffective redundancy, which is maximally reduced in the resulting regression test suite, thus reducing test time and improving the performance of continuous integration. We apply and evaluate the algorithm in two industrial projects of continuous integration. The results show that the proposed algorithm can improve the efficiency of continuous integration practice in terms of decreasing test execution time by 38% on average compared to the industry practice of our case study and by 40% on average compared to the retest-all approach. The results further demonstrate no significant reduction in fault-detection effectiveness of continuous regression testing. This suggests that the proposed algorithm contributes to the state of the practice in the continuous integration development and testing of highly configurable systems.     

基于仿真的嵌入式软件白盒覆盖测试系统设计

随着软件系统变得越来越复杂和庞大,如何对它进行快速有效的测试已经成为一大热点。该系统实现了基于仿真的嵌入式软件覆盖测试系统。系统通过对源程序进行词法语法分析、自动插装、测试用例的生成和加入、动态仿真运行及覆盖率报告分析等得到测试结果,有效地解决了传统的基于目标测试带来的一些问题,基本满足了国内用户对嵌入式软件测试的需求。     

嵌入式操作系统的PCTS设计与实现

嵌入式系统应用广泛,种类繁多,应用程序移植困难.基于对PCTS(POSIX标准一致性测试套件)的理论和现有实现的分析,设计了嵌入式操作系统的PCTS的结构,测试报告和测试工具,讨论了良好的PCTS的结构的特点,并最终实现了一个PCTS.对我国自主知识产权的Hopen嵌入式操作系统进行了测试,并根据测试,报告改进了API(应用程序编程接口),提高了应用程序可移植性.     

嵌入式软件覆盖测试工具的研究

随着嵌入式系统的复杂性不断提高,嵌入式软件测试变得越来越重要;通过对ARM系统软件进行深入的研究,提出了一种应用于ARM嵌入式软件系统的覆盖测试工具的设计原理、系统模型及组成模块,分别就各个模块的具体设计进行了详细说明,着重探讨了词法语法分析和插装方式,提出了一种新的词法语法分析和插装方式;该工具能够实现ARM系列嵌入式软件的自动测试,测试了代码执行的覆盖情况,检查出代码死区,从而提高了测试效率,使嵌入式软件质量得到保证.     

航天嵌入式软件代码逻辑分析

为提高航天嵌入式软件的测试质量、确保航天型号任务的圆满完成,对航天嵌入式软件代码审查重要内容之一的代码逻辑分析进行了研究.通过对软件缺陷的机理、缺陷查找过程、缺陷暴露过程、以及缺陷引发后果的分析,结合多年软件测试工程实践经验的总结,提出了场景分析法、时序分析法、假想故障追源法等10种主要的代码逻辑分析方法.开展了代码逻辑分析方法的应用分析、代码审查与其它测试手段之间的对比分析,通过分析,给出了代码审查的工程适用性说明.研究成果已在航天型号软件第三方评测中全面推广应用,实践数据表明,应用效果良好,使代码审查的缺陷发现率由业界公认的30％～70％提升至90％以上.相关分析方法和分析思路对动态测试设计以及软件缺陷自动化检测工具的研发均具有一定的参考作用.     

Connectivity Testing

This paper presents a new approach, connectivity testing, for testing embedded systems. Instead of testing the conformance of a system against its specification, which often turns out to be infeasible, we suggest to test only the composition of the software and the hardware. We assume the software to be correct so only the hardware component may be erroneous. Our framework is based on the notion of a (single fault) fault model, that is a model which formally captures errors in the interface between the hardware and the software. Output and input fault models are considered. An exhaustive test suite for a fault model is a test suite that detects the faults of the model with 100% coverage. We prove the problem of computing a smallest exhaustive test suite to be NP-hard and devise heuristic polynomial time algorithms computing minimal exhaustive test suites. We have carried out experiments with the algorithms implemented using Binary Decision Diagrams. Test generation from specifications containing more than 4.98 × 10¹⁰ states have been carried out.     

嵌入式软件自动化测试及管理系统研究

随着嵌入式软件技术的发展,嵌入式软件规模日益扩大、复杂程度越来越高,给软件测试提出了挑战。针对复杂嵌入式软件,设计一种软件自动化测试及管理系统,融入软件工程化管理过程,将自动化测试与测试管理过程相结合,打造一个无缝连接的系统。自动化测试及管理系统包括：接口设计、测试策划、测试设计、测试执行、测试结果显示与记录、缺陷管理和回归测试,以及数据分析和知识库等。在此基础上,设计并实现了自动化测试及管理系统,并在某测试项目中进行了应用。实践证明,使用自动化测试及管理系统开展嵌入式软件测试可以有效提高测试效率和质量。