基于自学习控制算法优化软件测试用例的研究

研究了软件参数变化条件下,在回归测试中以最快速度修复软件缺陷为目标的软件优化问题,将软件测试过程转化为一个时变系统控制过程,给出了软件测试状态转移矩阵模型。运用学习控制方法,通过二维变因子自学习策略获得软件测试最优测试用例,优化软件测试。仿真结果表明,给出的学习策略优于随机测试和马尔可夫控制策略,对应地检测与排除同样软件缺陷,该控制策略能显著减少回归测试次数,降低测试成本。     

基于蚁群算法优化软件测试策略

提高软件测试的缺陷检测能力,有效降低测试成本是软件测试优化研究中的关键问题。基于软件测试的Markov决策模型,以降低软件测试成本,提高测试的缺陷检测能力为目标,运用蚁群算法给出一种优化测试剖面的学习策略,将所得到的最优测试剖面用于优化软件测试。实验结果表明运用蚁群算法的学习策略要远优于随机测试策略,能显著降低测试成本和提高缺陷检测能力,是软件测试优化启发式方法的一个重要补充。     

测试资源受约束的安全关键软件加速测试方法

基于马尔可夫链使用模型提出了一种针对安全关键软件测试资源受约束的启发式加速测试方法.该方法利用一种新的随机优化技术--交叉熵方法,以软件投放后软件失效风险损失最小为目标,基于失效风险损失通过修正操作剖面,自动生成测试数据集.实验结果表明该方法能有效地降低软件失效风险,提高测试效率,是一种快速有效的加速测试方法.     

基于马尔科夫决策过程的软件测试仿真与计算

提出了一个改进的马尔科夫决策过程的软件测试模型,应用交叉熵方法计算求解改进后的测试模型下的软件测试优化策略,得到最优测试剖面,使得平均测试费用最小.并对采用随机软件测试策略,原始的MDP模型软件测试策略和改进后的MDP模型软件测试策略的软件测试过程进了仿真.仿真结果表明,改进后的软件测试策略不仅能够大大降低期望测试费用,而且也减少了测试用例的使用数量,提高了软件测试的效率和有效性.     

基于多属性决策和交叉熵优化多维测试覆盖

随着软件规模和复杂性越来越高,人们对软件质量保证意识也就逐步增强。如何展开测试、优化测试、选择测试方案及提高测试效率成为目前软件工程中面临的现实问题。利用测试覆盖的多维度量指标,提出综合测试覆盖率、测试覆盖率满意度及测试效率作为优化测试方案选择的效用属性,将综合测试覆盖方案应用于马尔可夫测试模型中进行优化,获得了较优的覆盖测试剖面,优化了测试流程。实验结果表明优化的测试覆盖剖面比随机测试能够减少测试用例数,提高缺陷检测效率。     

构件软件的自适应测试

在受控马尔可夫链方法的框架内讨论了具有测试用例限制的构件软件的自适应测试.介绍了自适应软件测试,并针对构件软件内部不可知的特点对其软件系统建模,选择测试决策,仿真研究了自适应软件测试,以及采用递归的最小二乘法进行参数估计部分的算法改进.     

基于多维度覆盖率的软件测试动态评价方法

随着关键领域应用软件规模和复杂性的不断提高,软件测试成本也不断增加.如何动态、定量地评价软件测试情况,提高测试效率是软件测试领域面临的现实问题.提出了一种基于多维度测试覆盖率的软件测试动态评价方法,并从测试监测信息、动态分析和评价模型、测试优化策略几个方面展开讨论.给出了综合测试覆盖率的定义和经验公式.实例显示,该方法有助于软件项目评测人员动态跟踪和定量监控软件测试效果,提高软件测试过程的可观察性和可控制性.     

改进的J-M模型及其在软件安全性评估中的应用

分析了软件可靠性和安全性之间的关系;针对安全软件测试剖面和操作剖面有不同的故障检测率,以及软件故障剔除时有引入新故障的可能,通过改变Jelinski-Moranda(J-M)可靠性模型相关假设及参数,提出了一个既能描述安全软件测试剖面与操作剖面不同,又能描述故障引入率的软件安全性评估模型;并给出了该安全性评估模型的性能度量.最后,对同一组铁路信号控制安全软件的失效数据进行分析,结果表明改进后的J-M评估模型比原J-M模型有着更好的拟合能力和预测能力.     

并发软件适应性随机测试方法

测试用例选择是软件测试中的关键问题之一.目前,测试用例选择在并发软件测试方面鲜有涉及.以多线程并发程序为研究对象,提出面向并发软件的适应性随机测试方法,通过优化测试用例选择,来提高并发软件测试的效率和错误发现能力.根据实验结果,我们提出的并发软件适应性随机测试方法比随机测试方法的测试效率更高,错误发现能力也更强.     

从集合表达式产生测试数据的方法

软件测试保证和提高了软件质量,因此成为软件界最为关心的问题之一.测试数据的好坏直接影响软件测试的效果.形式规格说明中的前置条件可用来产生测试数据.而前置条件是基于关系操作符的谓词表达式.给出了一个针对集合关系表达式的测试准则和产生符合测试准则的测试数据的算法,根据该测试准则产生的测试数据对于集合条件表达式有比较好的错误检测能力.从给出的数据库查询的例子说明了该方法对于检测代码错误的有效性.     

Optimal and adaptive testing for software reliability assessment

Optimal software testing is concerned with how to test software such that the underlying testing goal is achieved in an optimal manner. Our previous work shows that the optimal testing problem for software reliability growth can be treated as closed-loop or feedback control problem, where the software under test serves as a controlled object and the software testing strategy serves as the corresponding controller. More specifically, the software under test is modeled as controlled Markov chains (CMCs) and the control theory of Markov chains is used to synthesize the required optimal testing strategy. In this paper, we show that software reliability assessment can be treated as a feedback control problem and the CMC approach is also applicable to dealing with the optimal testing problem for software reliability assessment. In this problem, the code of the software under test is frozen and the software testing process is optimized in the sense that the variance of the software reliability estimator is minimized. An adaptive software testing strategy is proposed that uses the testing data collected on-line to estimate the required parameters and selects next test cases. Simulation results show that the proposed adaptive software testing strategy can really work in the sense that the resulting variance of the software reliability estimate is much smaller than that resulting from the random testing strategies. The work presented in this paper is a contribution to the new area of software cybernetics that explores the interplay between software and control.     

基于受控Markov链的软件自适应测试策略

基于简化的受控Markov链软件自适应测试模型大多是研究如何以最小的期望成本检测并移除所有的缺陷,并在构建模型时对部分条件进行特殊化和理想化处理.针对受控Markov链软件测试模型适用范围小、效率低的缺陷,在软件控制论思想基础上,对制约条件进行了一系列新的转换,提出一种改进的、资源约束的受控Markov链模型,该模型能够在高效性、复杂性和适用性3方面达到一个平衡.根据该模型设计一种新的软件缺陷优化测试策略,再通过参数估计对优化测试策略进行在线调整的方法,以构造软件自适应测试策略.为了证明其有效,利用该模型得到的新的软件自适应测试策略进行仿真实验,进一步得到了有效结果.     

An experimental study of adaptive testing for software reliability assessment

Adaptive testing is a new form of software testing that is based on the feedback and adaptive control principle and can be treated as the software testing counterpart of adaptive control. Our previous work has shown that adaptive testing can be formulated and guided in theory to minimize the variance of an unbiased software reliability estimator and to achieve optimal software reliability assessment. In this paper, we present an experimental study of adaptive testing for software reliability assessment, where the adaptive testing strategy, the random testing strategy and the operational profile based testing strategy were applied to the Space program in four experiments. The experimental results demonstrate that the adaptive testing strategy can really work in practice and may noticeably outperform the other two. Therefore, the adaptive testing strategy can serve as a preferable alternative to the random testing strategy and the operational profile based testing strategy if high confidence in the reliability estimates is required or the real-world operational profile of the software under test cannot be accurately identified.     

考虑测试剖面时随机测试与划分测试的比较

随机测试与划分测试的有效性问题一直是人们争论的焦点，人们从不同的角度和标准出发，对二者的有效性以及决定各自有效性的条件进行了分析和比较，并得出不同的结论，该文与他们不同，在无失效发生时，考虑了测试剖面，即在测试剖面与操作剖面不完全一致的情况下，提出分别以失效概率的置信上限，置信度和测试用例总数为标准，评价这两种测试策略的有效性。     

Optimal stopping of multi-project software testing in the context of software cybernetics

Software cybernetics explores the interplay between control theory/engineering and software theory/engineering. The controlled Markov chains (CMC) approach to software testing follows the idea of software cybernetics and treats software testing as a control problem. The software under test serves as a controlled object and the software testing strategy serves as the corresponding controller. The software under test and the software testing strategy make up a closed-loop feedback control system, and the theory of controlled Markov chains can be used to design and optimize software testing strategies in accordance with testing/reliability goals given a priori. In this paper we apply the CMC approach to the optimal stopping problem of multi-project software testing. The problem under consideration assumes that a single stopping action can stop testing of all the software systems under test simultaneously. The theoretical results presented in this paper describe how to test multiple software systems and whe     

基于强化学习的Web服务众测任务分派方法

如何将众包测试任务分派给合适的众测工人,以较低的成本获得更好的测试结果,是一个重要问题。文中将CWS众测任务分派问题建模为一个基于马尔可夫决策过程的问题,且使用Deep Q Network进行学习和实时在线测试任务分派。该基于强化学习的方法被命名为WTA-C。此外,文中根据众测工人执行任务的历史时间,通过统计条件概率计算测试工人在任务期限内完成任务的概率,将其作为工人信誉值来反映工人质量,并在每次分派完成后对工人信誉值进行更新。实验结果显示,WTA-C在控制测试任务的“质量-成本”权衡和保证工人可靠度方面优于其他基于启发式策略的实时分派方法,并在分派效果上高于各启发式策略18%以上,从而证明了其可以更好地适应CWS的结构和众测环境的特点。     

基于受控马尔科夫链的软件缺陷优化测试策略

目前许多文献都讨论的受控马尔科夫链软件测试模型,是通过对部分假设条件进行特殊化处理后得到的,这将导致模型的适用范围较小且偏离实际应用。依据软件控制论思想,通过一系列新的制约条件的转换,提出一种改善的、测试资源约束下的受控马尔科夫链模型来消除已有模型的缺陷。同时,该模型能够在高效性、复杂性和适用性3方面达到一个平衡点。为了证明其有效,根据该模型设计了一种新的软件缺陷优化测试策略,并对该策略进行了仿真实验,将其与传统的随机测试策略进行了比较。实验结果表明,该模型具有较高的实用性和有效性。     

软件可靠性评估的重要抽样方法

基于统计测试的马尔可夫使用模型对软件可靠性评估提出了一种有效的估计方法.该方法利用重要抽样技术在保证可靠性估计无偏性的条件下,利用交叉熵度量操作剖面与零方差抽样分布之间的差异,通过启发式迭代过程调整各个状态之间的转移概率来修正测试剖面.从理论上证明了利用修正测试剖面测试估计的可靠性是方差为0的无偏估计.最后给出了软件可靠性估计的最优测试剖面生成的启发式迭代算法.仿真结果表明,该方法与模拟退火算法相比,能够明显降低估计的方差,在提高估计精度的同时加快统计测试速度.