嵌入式软件的可靠性测试及评估

软件可靠性是衡量软件质量的重要指标之一,软件可靠性测试和评估是提高软件可靠性的有效手段。针对嵌入式软件,研究了软件可靠性测试关键技术及统计方案,并将软件可靠性测试评估技术首次应用在某产品的嵌入式软件中,通过验证软件是否满足可靠性指标要求,为评价软件可靠性提供依据。     

软件可靠性测试的理论分析

目前软件可靠性测试没有真正开展起来,即使重要的军用软件也没有进行软件可靠性测试。软件可靠性模型的不一致性以及软件可靠性测试时间长、费用高、资源消耗大是造成这种局面的两个主要问题。而这两个问题很大程度是由传统基于随机系统假设的软件可靠性理论导致的。因此,在该理论下对可靠性测试方法及可靠性模型的修补与改善工作很难从根本上解决问题。只有从软件可靠性理论本身入手,提出新的研究思路,才有可能摆脱目前软件可靠性测试的困境。首先介绍了软件可靠性测试的现状,然后重点对现有可靠性理论进行了分析和总结,在此基础上,提出了软件可靠性测试研究的一些新思路。     

软件可靠性测试充分性研究

在阐述了软件测试充分性的定义和软件测试充分性准则的定义、分类和作用的基础上，形式化分析了软件正确性测试充分性和软件可靠性测试充分性的目的和实质，重点研究了软件可靠性测试的充分性，将软件可靠性测试充分性准则分为软件可靠性增长测试充分性准则和软件可靠性验证测试充分性准则，给出将测试充分性准则用于可靠性测试流程的模型。     

电子政务软件可靠性评测方法初探

电子政务已经成为政府工作自动化和智能化的重要手段。近年来,中国电子政务软件市场获得了前所未有的发展机遇。随着电子政务软件的飞速发展,软件可靠性成为了建设电子政务的重要指标。软件可靠性测试是保证软件可靠性的有效方法。目前,国内对于电子政务的可靠性研究才刚刚起步,其可靠性测试一般都交给第三方机构。分析当前电子政务软件的可靠性测试特点,基于Musa和Nelson两种可靠性模型提出了一种电子政务软件的可靠性评测方法,从可靠性的评估测试和验证测试两方面具体分析阐述了方法的流程,并使用工具实现。最后用具体案例对方法进行了分析说明。     

基于可靠性增长模型的软件可靠性增长测试充分性准则

结合软件可靠性增长模型,扩充了基于可信度度量的软件可靠性增长测试充分性问题度量准则,提出了关于可靠性增长测试充分性问题新的度量准则：可靠性测试只有同时满足可靠性增量指标要求、可信度要求和每单位测试资源发现的故障数要求方可终止。然后,以一个真实数据集为例,应用所提出度量准则求出了测试应该停止的时间。实验证明,这样的度量准则,使得终止条件更加严格,可靠性测试更加充分,为可靠性测试充分性问题的解决提供了新的思路。     

面向通信协议故障的分布式软件可靠性测试技术研究

分析了分布式软件系统中的典型通信协议故障,研究了基于API Hook的分布式软件可靠性测试方法,提出了基于通信协议故障注入的应用软件可靠性测试方法,并设计、实现了工具原型,为基于故障注入的分布式软件可靠性测试提供了技术手段.     

软件可靠性及其测试分析

系统分析了软件的可靠性以及目前软件可靠性测试的完整流程,重点介绍了软件可靠性评估的方法和步骤。随着信息技术的发展,软件产品在社会生活的各个领域应用越来越广泛,其质量好坏所产生的潜在影响也越来越大。     

基于面向对象技术的实时软件可靠性测试数据生成方法研究

软件可靠性测试是为了满足软件可靠性要求、评价软件可靠性水平及验证软件产品是否达到可靠性要求的一个有效途径。为生成软件可靠性测试用例,需要分析目标软件输入变量的各种特性、约束条件和取值方法等行为。本文试图从分析实时软件输入变量的行为着手,利用面向对象技术,分析输入变量对象的各种属性和行为,建立起输入变量对象模型,并给出根据这种模型生成实时软件可靠性测试用例的框架。     

基于测试覆盖的NHPP模型

软件可靠性工程是对软件的质量进行管理和控制的实用性学科,而软件可靠性模型又是软件可靠性工程的基础之一,为了保证可靠性模型的估测精度,好的软件可靠性模型必须包括对软件可测试性及测试覆盖等的说明功能。     

基于执行时间模型的航天飞控软件可靠性测试

航天飞行控制软件是一种具有高可靠性要求的软件系统,但是目前对航天飞控软件的可靠性还没有进行定量的度量和管理.尝试将软件可靠性的定量模型应用于航天飞控软件系统的测试过程.介绍了基本执行时间可靠性模型,提出了基于历史失效数据拟合的模型校准方法,讨论了基于基本执行时间可靠性模型的软件可靠性增长测试和可靠性检定测试.     

面向全生命周期的装备软件可靠性管理模型

针对装备软件的全生命周期,提出一种软件可靠性管理模型。详细讨论在不同阶段军方的管理活动及所需要的管理方法。这些方法涵盖了装备软件研制过程中的主要可靠性管理活动,同时对支持这些活动所必须的预计、评估模型给出参考建议。所提出的管理模型为军方实施装备软件的可靠性管理提供了有益参考。     

A mathematical modeling framework for software reliability testing†

Software reliability testing refers to various software testing activities that are driven to achieve a quantitative reliability goal given a priori or lead to a quantitative reliability assessment for the software under test. In this paper we develop a modeling framework for the software reliability testing process, comprising a simplifying model and a generalized model. In both models the software testing action selection process and the defect removal mechanism are explicitly described. Both the discrete-time domain and the continuous-time domain are involved. The generalized model is more accurate or realistic than the simplifying model since the former avoids the assumption that defects are equally detectable and the assumption that defects are removed upon being detected. However simulation examples show that the simplifying model really captures some of essential features of the software testing process after a short initial testing stage. The modeling framework is practically realistic, mathematically rigorous, and quantitatively precise. It demonstrates that the relationship between software testing and delivered software reliability, which was poor understood, can well be formulated and quantified. Rigorous examinations show that several common assumptions adopted in software reliability modeling, including the independence assumption, the exponentiality assumption, and the NHPP assumption, are theoretically false in general. This paper sets a good starting point to further formalize and quantify the software testing process and its relation to delivered software reliability.     

Stretching the paradigm for software reliability assurance

Reliability of a software product is best assured by the same means as reliability of any other product is assured: by a systematic, end-to-end, design for reliability process that begins at product concept and follows through to customer service after delivery. Steps in this process are coordinated with the phases of the product realization (software development) process and include specific reliability improvement activities that complement each phase. This represents a new approach to software reliability assurance needs, contrasted with the traditional inspection and rework approach commonly taken to software reliability assurance via reliability growth testing and modelling. The program we describe draws on contemporary principles of quality management and reliability engineering for its overall structure. Also, several important and promising new areas of software reliability research devolving from this expanded paradigm are sketched.     

软件可靠性估计的经验贝叶斯扩展

首先讨论理论模型参数的物理意义，使之与具体软件开发及测试过程建立联系，并以此为依据建立参数的经验估计公式，从而得到参数的先验值。一方面这些参数是软件及软件开发过程的度量值，可用于对软件开发过程的控制、优化和管理；另一方面，有了先验值后，就可对理论模型进行经验贝叶斯扩展，以使人们的软件实践经验融入到理论模型中。     

软件可靠性模型应用中的不一致性与软件可靠性专家系统

关于软件系统故障行为的统计假设,是软件可靠性模型的理论基础 。由此产生应用中的不一致性,使用户对这些估测结果迷惑不解,“谁的结果最可信”？我们以“故障数据是软件可靠性分析的基础”为原则,采用人工智能技术,建立软件可靠性专家系统（SRES：Software Reliability Expert System),以解决软件可靠性模型应用中的不一致性难题。最后,报告该系统的使用及与国外一些软件可靠性量测工具的比较。     

On deterministic chaos in software reliability growth models

Software reliability growth models attempt to forecast the future reliability of a software system, based on observations of the historical occurrences of failures. This allows management to estimate the failure rate of the system in field use, and to set release criteria based on these forecasts. However, the current software reliability growth models have never proven to be accurate enough for widespread industry use. One possible reason is that the model forms themselves may not accurately capture the underlying process of fault injection in software; it has been suggested that fault injection is better modeled as a chaotic process rather than a random one. This possibility, while intriguing, has not yet been evaluated in large-scale, modern software reliability growth datasets.We report on an analysis of four software reliability growth datasets, including ones drawn from the Android and Mozilla open-source software communities. These are the four largest software reliability growth datasets we are aware of in the public domain, ranging from 1200 to over 86,000 observations. We employ the methods of nonlinear time series analysis to test for chaotic behavior in these time series; we find that three of the four do show evidence of such behavior (specifically, a multifractal attractor). Finally, we compare a deterministic time series forecasting algorithm against a statistical one on both datasets, to evaluate whether exploiting the apparent chaotic behavior might lead to more accurate reliability forecasts.     

基于使用模型的软件测试路径选择及其性能分析

基于有向图理论对程序正文进行解析，同时对软件的使用模型做了初步的探讨，分析了具有Markov随机性质的软件使用过程和软件测试中的测试路径的选择策略，并对测试结果做出评价，给出软件的可靠性。     

软件可靠性综合模型的分析和研究

软件可靠性是系统可信性的重要属性之一.首先讨论了传统软件可靠性模型的主要弱点,接着提出了一种新的软件可靠性估算模型.当前,传统的软件可靠性度量模型中并未涉及大多数软件的复杂性及测试用例的有效性,从而使得在评估软件可靠性时不够精确,甚至是错误的.因此,提出了一些改进软件可靠性度量的方法.这些方法的主要思想是将影响软件复杂性的因素和测试用例的有效性并入软件可靠性模型中,以便使得该模型能更精确地反映实际情况.最后,大量的实验结果也表明了该模型的合理性及有用性.     

考虑排错过程引进故障的开源软件可靠性模型研究

近年来,开源软件在软件行业很受欢迎。但是,开源软件的可靠性却受到人们的广泛质疑。如何评估开源软件的可靠性是一个重要的问题。与传统的闭源软件相比,在建立开源软件可靠性模型时,必须考虑故障引入和故障检测与排错之间的延迟时间这两个因素。本文考虑了排错过程和不完美调试现象,提出了相应的开源软件可靠性模型。并且我们用两个开源软件故障数据集实来验证提出模型的拟合性能与预测性能。实验结果表明,提出的模型在开源软件可靠性评估中具有良好的拟合和预测性能。提出的模型可以用于开源软件在实际的开发过程中的可靠性评估。