基于日志分析的超级计算机错误预测方法研究*

大量的错误严重影响了超级计算机系统的稳定性,错误预测对于提高其稳定性有重要作用,日志分析是进行错误预测的有效方法.建立了错误预测的基本框架,包括日志的预处理、基础预测器和联合预测器,其中基础预测器包括时间预测器和关联预测器.在BlueGene/L日志上进行的实验结果显示联合预测器的预测效果比基础预测器好.这表明错误预测...     

融合DOM树结构向量的行为类别标签预测模型

针对传统的校园网络行为日志分析仅考虑文本内容而忽视结构信息的问题,提出了融合压缩DOM树结构向量的行为类别标签预测模型。模型通过融合网页文本特征向量和DOM树结构向量并使用分类器进行分类,对于网页文本特征向量,利用TF-IDF方法,计算每个词的权重,然后进行加权平均,最终表示整段文本的特征向量。对于DOM树结构向量,提取网页中的全部DOM树结构并进行压缩,降低向量冗杂度,提高向量的表达能力。实验结果显示,与现有方法相比,行为类别标签预测模型能有效提升类别预测准确率。     

面向Lustre集群存储的错误日志分析及系统优化

集群存储系统的错误日志信息有助于优化存储系统的可用性和稳定性。现有存储系统错误探究主要针对单机存储系统或集群存储系统的部分功能进行分析评估,缺乏在实际应用场景下,同一生产环境中,长时间、多视角的探究工作。新型功能模块的不断融入,使得集群存储系统日益庞杂,集群存储系统自身引发的错误层出不穷,给各类研发人员带来了困扰与挑战。针对以上问题,提出了面向Lustre集群存储的错误日志分析及系统优化策略,通过收集连续1 673天的错误日志,研究了近2.26 GB的Lustre错误日志,分析了多个版本Lustre错误的特点与问题,揭示了集群存储系统各方面的不足与错误,研究了不同Lustre版本错误的影响因素,总结了Lustre集群在实际生产环境中的常见错误,并给出了相应的解决方案。对Lustre系统研发有了许多新的见解,并总结了14个发现,最后通过采集333天的新增错误记录对14个发现进行了相关验证,给出了一些系统错误优化实例。相关测试表明,优化实例可以显著减少错误数量,提高系统的可用性和稳定性,研究结果和建议对集群存储系统本身的发展以及集群存储系统的运行和维护都有一定的参考价值。     

基于用户行为的超级计算机作业失败预测方法

超级计算机的规模不断扩大,与此同时,科学应用的复杂性也在不断增加,这导致了超级计算机上许多作业失败。作业失败会造成资源浪费,排队作业等待时间延长,严重影响系统的执行效率。提前预测作业失败,就可以采取必要的措施提升系统资源利用率和系统执行效率,这对未来的E级超级计算机至关重要。为此,尝试研究从已知的传统特征和构建特征中预测作业失败,发现能够反映用户工作行为模式和提交行为模式的特征及处理方式。通过结合行为特征和传统特征,提出基于树结构模型的综合框架来预测作业失败。实验结果表明,预测效果优于其他相关方法。     

软件错误探测技术

静态代码分析和动态错误注入是检测和验证软件健壮性的两种常用方法,本文讨论了这两种技术功能上的优势和弱点,提出了提高每种类型工具功能的可能性,同时给出了将二者有效结合的一种方式。     

软件错误注入测试技术研究

软件错误注入测试(software fault injection testing,简称SFIT)技术经过近30年的发展,一直是软件测试领域最活跃的研究内容之一.作为一种非传统的测试技术,在提高软件质量、减少软件危害及改进软件开发过程等方面起着重要作用.对软件错误注入测试的研究现状及动态进行了调研,对该领域相关技术进行了归类及介绍,并对当前较为有效的测试框架和原型工具进行了总结,同时介绍了正在研发的基于SFIT技术的构件安全性测试系统CSTS.在认真分析现有技术的基础上,总结了当前软件错误注入测试存在的问     

木马引起的应用程序关联错误

现象：开机后，可进入Windows的窗口界面．但只要启动任何一个应用程序，就会出现“无法找到Windows.exe文件．该程序用于打开‘应用程序’类型的文件”的提示。     

基于关联规则的日志分析系统的研究与设计

日志文件作为系统和网络用户行为的记录管理工具,对保护系统安全,方便调查系统故障,监控系统运行状况起着极其重要的作用。该文提出了一个基于关联规则的日志分析系统,将数据挖掘技术运用在日志分析中,并针对挖掘的数据特点对Apriori算法进行了改进。日志分析系统可以利用关联规则对日志进行分析获取其中所蕴合的重要信息。     

基于错误的表达式测试研究

由于表达式LRAUC错误对程序中各类错误的广泛覆盖性,本文以表达式LRAUC错误为检测对象,研究了表达式测试方法。本文首先阐述了当前表达式测试方法理论研究的局限性;然后,为了解决处于程序上下文中的一般表达式测试问题,研究了表达式错误／失效过程,并对影响该过程复杂性的因素进行了简化,提出了表达式LRAUC单路测试方法;阐述了此方法的具体实现,给出了表达式LRAUC单路测试约束集构造算法。     

基于马尔可夫模型的软件错误定位方法

软件调试是软件开发的重要环节.统计错误定位技术通过分析程序执行频谱来估计程序中错误所在的位置.针对不同类型的程序频谱,此类技术建立不同的启发式模型描述程序行为.已有研究表明,其准确度同目标错误和程序类型相关,且不存在某种普遍有效的技术.文中从单元测试的特性出发,探讨预测错误类型的可行性,并采用马尔可夫过程对错误类型进行预测,从错误定位技术备选集中选择适合的技术来实施.实验表明文中方法能够更快地定位程序错误.     

A detailed analysis of communication load balance on BlueGene supercomputer

We have developed several models that abstract applications as demand matrices and computer networks as supply matrices for minimizing the time to complete an application on a given computer by mapping. The mappings generated by our models improve the BlueGene/L performance of several engineering applications by up to 22% compared to the standard approach. Such improvements result mainly from balancing the communication loads among the network links.     

A hybrid financial analysis model for business failure prediction

Accounting frauds have continuously happened all over the world. This leads to the need of predicting business failures. Statistical methods and machine learning techniques have been widely used to deal with this issue. In general, financial ratios are one of the main inputs to develop the prediction models. This paper presents a hybrid financial analysis model including static and trend analysis models to construct and train a back-propagation neural network (BPN) model. Further, the experiments employ four datasets of Taiwan enterprises which support that the proposed model not only provides a high predication rate but also outperforms other models including discriminant analysis, decision trees, and the back-propagation neural network alone.     

基于MFCC特征提取的故障预测与评价方法

针对渐变故障的准确预测问题,提出了一种基于Mel频率倒谱系数(Mel frequency cestrum coefficient,MFCC)特征提取的故障预测方法.首先通过监测对象上安装的声传感器获得机器当前运行的声音信号;然后声音信号经过预处理后,将其进行Mel变换,获得其MFCC特征向量;最后经SVM分析器对机器运行时的测试数据和所存机器正常运行样本数据进行聚类分析,给出机器的健康评价.测试了海马M3发动机存在撞击声、轻敲声、轰鸣声时的健康度以及分析了采集的声信号存在噪声时的抗噪性能.实验结果表明,MFCC特征值能够作为机器健康预测的特征向量,且方法在预测的准确性和鲁棒性方面具有优势.     

A boosting approach for corporate failure prediction

Predicting corporate failure is an important management science problem. This is a typical classification question where the objective is to determine which indicators are involved in the failure/success of a corporation. Despite the importance of this problem, until now only classical machine learning tools have been considered to tackle this classification task. The objective of this paper is twofold. On the one hand, we introduce novel discerning measures to rank independent variables in a generic classification task. On the other hand, we apply boosting techniques to improve the accuracy of a classification tree. We apply this methodology to a set of European firms, considering the usual predicting variables such as financial ratios, as well as including novel variables rarely used before in corporate failure prediction, such as firm size, activity and legal structure. We show that our approach decreases the generalization error about thirty percent with respect to the error produced with a classification tree. In addition, the most important ratios deal with profitability and indebtedness, as is usual in failure prediction studies. E. A. Cortés · M. G. Martínez · N. G. Rubio. The authors teach Statistics at the Faculty of Economic and Business Sciences in the University of Castilla-La Mancha. Esteban Alfaro completed his degree in Business in 1999 and got his Ph.D. in Economics in 2005, both in the University of Castilla-La Mancha. His thesis dealt with the application of ensemble classifiers to corporate failure prediction. Matías Gámez got his degree in Mathematics at the University of Granada in 1991 and finished a Master in Applied Statistics a year after. He completed his Ph.D. in Economics at the University of Castilla-La Mancha in 1998 on the application of geo-statistical techniques to the estimation of housing prices. Noelia García got her degree in Economics at the University of Madrid (UAM) in 1996 and completed her Ph.D. in Economics in 2004 on the construction of an intelligent and automated system for property valuation through the combination of neural nets and a geographic information system (GIS). Current research deals with spatial statistics and the combination of classifiers (decision trees and neural nets) for solving heated topics in the Economics.     

面向磁盘故障预测的机器学习方法比较

磁盘是保存数据的重要载体,提高磁盘的可靠性和数据可用性具有重要意义。现代磁盘普遍支持SMART协议,用来监控磁盘的内部工作状态。采用机器学习方法,分析磁盘的SMART信息,实现对磁盘故障的预测。所采用的机器学习方法包括反向神经网络、决策树、支持向量机以及简单贝叶斯,并采用实际磁盘SMART数据进行验证与分析。基于上述数据,对不同机器学习方法的有效性及其效果进行了对比。结果表明,决策树方法的预测率最好,支持向量机方法的误报率最低。     

基于知识图谱嵌入和补全的电梯故障预测

为及早预测电梯发生的常见故障,提高电梯设备的维保质量和效率,提出基于规则推理、知识图谱嵌入技术和知识图谱补全技术实现电梯故障预测的方法,在构建电梯故障知识图谱后,通过改进的组合模型将三元组中的实体和关系训练为连续的低维向量空间,实现三元组对于故障预测相关运算的兼容,通过组合模型实现电梯实体、关系和故障实体三元组的预测....     

基于消息延迟预测的自适应失效检测模型

失效检测是实现高可用性的一个关键技术,通常采用超时机制判断进程是否失效的方法实现。然而,由于网络状况的不断变化,缺乏自适应机制的失效检测器难以满足应用对QoS的需求。自适应失效检测要求失效检测器能够根据实际应用和网络负载变化而动态地改变检测的质量。在对现有自适应失效检测算法研究、分析的基础上提出一种基于消息延迟预测的失效检测模型,采用基于历史消息延迟预测下一个消息延迟的方法,实现了一种PA-AFD自适应失效检测算法。实验及分析表明该算法在保证检测准确性和完整性的同时缓解了网络延迟对失效检测的影响。     

基于预测的Web缓存替换算法

为了提高Web缓存的性能,在缓存替换算法GDSF的基础上引入了预测机制,提出了基于预测的缓存替换算法PGDSF.先利用Web日志构造预测模型,再用预测模型对当前的用户访问序列进行预测,形成用户可能要访问的预测对象集.当缓存空间不能满足新请求对像时,则利用替换策略GDSF,将权值最小的且不属于预测对象集的对像进行替换.该算法综合考虑了各项因素对Web对象的影响,仿真实验结果表明,在一定的缓存空间内相对于GDSF替换算法有较高的文档命中率和字节命中率.