回归测试用例选择技术研究综述

回归测试用例选择(Regression Test Case Selection,RTS)问题是回归测试研究中的一个热点,旨在从已有测试用例集中选择出所有可检测代码修改的测试用例.但迄今为止,国内研究人员并未对RTS问题的已有研究成果进行系统总结和比较.首先在回归测试活动和测试用例划分基础上,引出RTS问题和相关假设.随后从源代码和模型角度对已有RTS技术进行分类,从源代码角度出发,又进一步将其细分为线性规划法、数据流分析法、图遍历法、程序切片法和防火墙法等.接着对常见评测数据集和评测指标进行总结,最后对该问题的未来研究方向进行了展望.     

回归测试中的测试用例优先排序技术述评

测试用例优先排序(test case prioritization,简称TCP)问题是回归测试研究中的一个热点.通过设定特定排序准则,对测试用例进行排序以优化其执行次序,旨在最大化排序目标,例如最大化测试用例集的早期缺陷检测速率.TCP问题尤其适用于因测试预算不足以致不能执行完所有测试用例的测试场景.首先对TCP问题进行描述,并依次从源代码、需求和模型这3个角度出发对已有的TCP技术进行分类;然后对一类特殊的TCP问题(即测试资源感知的TCP问题)的已有研究成果进行总结;随后依次总结实证研究中常用的评测指标、评测数据集和缺陷类型对实证研究结论的影响;接着依次介绍TCP技术在一些特定测试领域中的应用,包括组合测试、事件驱动型应用测试、Web服务测试和缺陷定位等;最后对下一步工作进行展望.     

回归测试中测试用例集缩减问题的研究

测试用例集缩减(Test Suite Minimization,TSM)问题作为回归测试的研究热点和难点,在满足对指定测试需求的覆盖前提下,通过识别并移除冗余测试用例来降低回归测试成本。对国内外已有的TSM研究成果进行综述。首先分别从源代码和模型两个角度出发,总结已有的TSM方法:从源代码角度出发,重点分析与总结传统TSM方法和考虑缺陷检测能力的TSM方法;从模型角度出发,重点分析与总结基于扩展有限状态自动机的TSM方法。然后对实证研究中采用的评测程序、评测指标和实证结论进行总结。随后总结了TSM方法在特定测试领域的应用,包括GUI应用测试、Web应用测试和缺陷定位等。最后展望了未来的可能发展趋势。     

深度神经网络测试研究综述

随着深度神经网络技术的快速发展、大数据的涌现和计算能力的显著提升，深度神经网络被越来越多地应用到各个安全攸关领域，例如自动驾驶、人脸识别、飞机碰撞检测等.传统的软件系统通常由开发人员手工编写代码实现其内部的决策逻辑，并依据相应的测试覆盖准则设计测试用例来测试系统代码.与传统的软件系统不同，深度学习定义了一种新的数据驱动的编程范式，开发人员仅编写代码来规定深度学习系统的网络结构，其内部逻辑则由训练过程获得的神经元连接权值所决定.因此，针对传统软件的测试方法及度量指标无法直接被移植到深度神经网络之上的问题，近年来，越来越多的研究致力于解决深度神经网络的测试问题，例如提出新的测试评估标准、测试用例生成方法等.调研了92篇相关领域的学术论文，从深度神经网络测试度量指标、测试输入生成、测试预言这3个角度对目前已有的研究成果进行了系统梳理.同时，分析了深度神经网络测试在图像处理、语音处理以及自然语言处理上的已有成果，并介绍了深度神经网络测试中应用到的数据集及工具.最后，对深度神经网络测试的未来工作进行了展望，以期为该领域的研究人员提供参考.     

基于日志的Web系统互操作测试用例扩充方法

随着Web的发展,多应用Web系统成为一种主流形式,它能够为用户提供综合便捷的服务。Web系统中各应用间的交互直接影响着Web系统的功能性和可靠性,互操作性已经成为Web系统的主要特性之一。相较于传统软件系统,Web系统更新升级更为频繁,回归测试是保障Web系统质量的重要手段。针对以上问题,提出了一种基于访问日志的Web系统互操作性测试用例集扩充方法,利用Web系统独有的日志信息,在回归测试阶段对测试用例集进行扩充。该方法采用模型驱动测试的思想,使用顺序图对测试目标进行建模,转化成基础测试序列,然后将Web系统日志信息进行筛选、合并、解析,进而得到用户访问序列,将两种序列按照一定规则进行匹配,并结合相应的扩充规则对当前测试用例集进行扩充。     

持续集成测试用例集优化综述研究

基于互联网的软件开发要求产品快速迭代,同时保持产品的质量,其关键的环节就是持续集成.持续集成通过自动化测试来保证集成到主干的代码质量.持续集成时的测试用例选择是一个非常有挑战性的问题.如果运行所有的测试用例,需要消耗大量的计算资源,并造成测试反馈周期过长.如果选择的测试用例集不合适,又不足以覆盖必要的测试代码以保证待集成代码的质量.持续集成测试用例集优化的目的是平衡测试资源和测试质量,在尽可能不影响测试质量的情况下,减少持续集成的资源需求.对近年来国内外学者在该领域的研究工作进行了系统的分析、提炼和总结.为此,首先从研究主题、影响因子、研究方法、研究对象以及性能评价等方面提出5个研究问题;然后从电子文献数据库搜索最近10年的研究工作,经过仔细审查和筛选后选择39篇文献作为研究对象;最后,从选择文献中收集数据,通过定量分析和可视化展示来回答提出的研究问题.总的来说,回顾了持续集成测试用例集优化的研究进展,为该领域的研究者提供了一些有用的发现,并总结了面临的问题和挑战.     

面向回归测试的代码变更影响度量模型

软件待测版本相对上一个版本的代码变更,会对已有特性带来潜在的质量风险,这一风险水平直接与回归测试用例的优先级相关联.回归测试设计过程中的一个重要问题是如何衡量代码变更对回归测试用例优先级的影响.本文在回归测试用例优先级评估模型的基础上,从测试覆盖的角度建立起回归测试用例与代码变更的直接关联,从代码整体耦合性的角度建立起回归测试用例与代码变更的间接关联,分析了代码变更对回归测试的显性影响和隐性影响,进而结合回归测试用例优先级的评估要求提出了一个新的度量模型.实验结果显示,使用该模型度量代码变更对回归测试用例优先级的影响水平,可以得到比较全面和客观的定量结果,从而为回归测试用例优先级的评估提供有效的支持.     

面向深度学习系统的模糊测试技术研究进展

深度学习系统具有强大的学习与推理能力, 在无人驾驶、语音识别和机器人等领域应用广泛. 由于数据集的限制以及依赖人工标签数据, 深度学习系统易于出现非预期的行为. 近年来, 深度学习系统的质量问题受到广泛的关注, 特别是在安全攸关的领域. 由于模糊测试具有较强的故障揭示能力, 运用模糊测试技术对深度学习系统进行测试成为研究热点. 从测试用例生成(包括种子队列构建、种子选择和种子变异)、测试结果判定、覆盖分析3个方面对已有的深度学习系统的模糊测试技术进行总结, 并介绍常用的数据集以及度量指标, 最后对其发展方向进行展望.     

用遗传算法的测试用例最小化

回归测试就是验证对程序的修改是否迭到了预期的目的，同时检查修改是否损害了程序原有的正常功能。随着程序新版本的不断推出，测试用例集不断扩大，回归测试成本越来越高。测试用例最小化就是从已有的用例集中，找到一个测试运行代价最小的用例子集用于回归测试，并保持原来的测试覆盖率。本文主要研究用遗传算法解决测试用例最小化问题：基于测试历史数据，设计基因编码并构建初始种群；利用测试覆盖率和测试运行代价设计适应度函数；通过遗传算子完成进化过程并找到最优或近似最优解。最后本文给出了对算法进行实例研究的结果。结果表明，本文提出的用例最小化技术能有效缩减回归测试用例集，大幅度降低回归测试费用。     

最小测试用例集生成方法改进及应用

软件测试是保证软件质量和可靠性的重要手段,如何对软件进行全面且高效的测试一直是备受关注的问题.分析了白盒测试与黑盒测试的优缺点;具体分析了最小测试用例生成算法,接着对生成最小测试用例集的方法提出改进:首先消除掉测试需求中存在的冗余,再对由该测试需求生成的测试用例集使用简化算法,得到一组无冗余的测试用例集.这种先对测试需求进行精简的方法,使得测试用例集中测试用例的数量大为减少,提高了简化算法的使用效率.将上述最小测试用例集生成方法运用到Apla到delphi生成器系统的测试中,提高了测试效率.     

基于系统功能测试的软件自动化测试可行性分析

本文基于软件自动化测试的特点和项目的实际需要，比较传统的手工测试和自动测试两种方法，介绍了如何进行软件自动化测试可行性分析。重点基于项目的系统功能测试，讨论软件自动化测试的收益问题，最终得出影响软件自动测试可行性程度的因素。     

基于测试需求的互操作性测试用例生成方法

网络化应用将成为未来软件技术发展的主导模式。为了保证网络化应用之间能够有效地协同工作,必须对其进行互操作性测试。互操作性测试具有测试需求复杂易变、测试用例设计困难的特点,因而需要消耗大量成本。为此,提出一种基于测试需求的互操作性测试用例生成方法。该方法采用模型驱动的测试思想,以测试需求模型描述互操作性测试需求,以状态图描述各被测应用的规格说明,通过两者的结合生成满足测试需求的测试用例。     

一种基于模型的测试充分性评估方法

测试充分性评估通常采用覆盖率的方法来评估测试对软件特征的覆盖充分程度。如今,传统的充分性评估方法难以满足复杂软件的测试评估需求。首先,代码覆盖准则难以准确验证软件需求;其次,软件测试还需考虑软件不同特征对系统测试充分性的不同影响。对此,提出一种基于接口的建模方法和基于该模型的综合覆盖充分性评估方法。该方法根据软件接口说明,对系统功能进行特征抽取、建模,并对接口模型的测试用例进行不同层级的充分性评估,对评佑结果进行归一化处理,得到系统的综合测试充分性。通过案例表明,这种评佑方法能够反映功能的测试充分性,对测试用例的设计和优化有一定指导意义。     

测试自动机的测试驱动器设计与实现技术

介绍了测试自动机的测试驱动器设计与实现技术,给出了测试驱动器接口的测试用例、测试输出的形式化定义,提出了一种通用的“客户／服务”测试驱动模型及其实现技术。     

N因素S水平的配对测试集生成算法研究

在分析配对测试及其有效性的基础上,给出了一种新的关于n因素s(s≥2)水平的配对测试集生成算法。实验表明该算法与以往一些算法相比具有一定的优越性,最后将该算法运用于一个具体实例,并较详细地介绍了该实例的测试集生成过程。     

A language-independent approach to black-box testing using Erlang as test specification language

Integration of reused, well-designed components and subsystems is a common practice in software development. Hence, testing integration interfaces is a key activity, and a whole range of technical challenges arise from the complexity and versatility of such components.     

支持共享和复用的测试用例库系统的设计

测试用例的共享和复用对于提高测试工作的效率极为重要，本文提出了一个支持共享和复用的测试用例库系统，文章首先时测试用例的管理属性和测试用例体进行建模，然后描述了系统的版本管理、导出导入和统计等多项功能。     

成对测试中的测试生成策略研究

测试用例生成是软件测试的关键，成对测试是根据特定的测试原则研究测试用例的产生方法。基于这一原则分别构造了IPO-H算法和IPO-V算法的测试以产生整个测试用例，具有产生的测试用例少，时间消耗小等优点。并与另一个成对测试的测试生成工具AETG(高效自动测试生成器)进行了比较、分析，证明了改进的IPO策略便于构造自动测试工具。     

Coverage-guided test generation for continuous and hybrid systems

In this paper, we describe a formal framework for conformance testing of continuous and hybrid systems, using the international standard ‘Formal Methods in Conformance Testing’ FMCT. We propose a novel test coverage measure for these systems, which is defined using the star discrepancy notion. This coverage measure is used to quantify the validation ‘completeness’. It is also used to guide input stimulus generation by identifying the portions of the system behaviors that are not adequately examined. We then propose a test generation method, which is based on a robotic motion planning algorithm and is guided by the coverage measure. This method was implemented in a prototype tool that can handle high dimensional systems (up to 100 dimensions).     

Test suite reduction methods that decrease regression testing costs by identifying irreplaceable tests

ContextIn software development and maintenance, a software system may frequently be updated to meet rapidly changing user requirements. New test cases will be designed to ensure the correctness of new or modified functions, thus gradually increasing the test suite’s size. Test suite reduction techniques aim to decrease the cost of regression testing by removing the redundant test cases from the test suite and then obtaining a representative set of test cases that still yield a high level of code coverage.ObjectiveMost of the existing reduction algorithms focus on decreasing the test suite’s size. Yet, the differences in execution costs among test cases are usually significant and it may take a lot of execution time to run a test suite consisting of a few long-running test cases. This paper presents and empirically evaluates cost-aware algorithms that can produce the representative sets with lower execution costs.MethodWe first use a cost-aware test case metric, called Irreplaceability, and its enhanced version, called EIrreplaceability, to evaluate the possibility that each test case can be replaced by others during test suite reduction. Furthermore, we construct a cost-aware framework that incorporates the concept of test irreplaceability into some well-known test suite reduction algorithms.ResultsThe effectiveness of the cost-aware framework is evaluated via the subject programs and test suites collected from the Software-artifact Infrastructure Repository — frequently chosen benchmarks for experimentally evaluating test suite reduction methods. The empirical results reveal that the presented algorithms produce representative sets that normally incur a low cost to yield a high level of test coverage.ConclusionThe presented techniques indeed enhance the capability of the traditional reduction algorithms to reduce the execution cost of a test suite. Especially for the additional Greedy algorithm, the presented techniques decrease the costs of the representative sets by 8.10–46.57%.