改进的基于日志聚类的异常检测方法

针对基于日志聚类的异常检测方法(LogCluster)处理的日志类型单一的问题,提出一种改进的基于LogCluster的日志异常检测方法,SW-LogCluster。通过使用滑动窗口(sliding window)的方式将日志划分为日志序列,将划分后的日志序列向量化来进行特征提取,使其既能检测带标记符的日志,也能检测不带标记符的日志,扩展原始方法的应用范围。实验结果表明,SW-LogCluster方法能对所有类型的非结构化日志进行检测,有效扩展了LogCluster方法的适用性。     

基于日志多特征融合的无监督异常检测算法

日志是一种记录系统运行过程中重要信息的文本文件,而有效的日志异常检测可以帮助运维人员快速定位并解决问题,保证系统的快速恢复,从而减少经济损失.系统日志内容通常包含着丰富的系统信息(时间,序列,参数等),本文提出了一种基于预训练的日志多特征融合的异常检测方法Log Multi-Feature Fusion(LMFF).首先,基于预训练模型对日志的事件模板进行语义信息提取,将系统日志建模为自然语言序列;然后,利用特征提取器分别对日志的事件序列,计数序列和时间序列进行特征提取融合,通过Tranformer和LSTM神经网络学习正常日志的特征信息.最后,对日志进行分析,并能够检测出潜在模式偏离正常日志序列的异常.通过在Hadoop日志文件系统(HDFS)数据的F1值达到约96%和在OpenStack数据的F1值达到约99%的结果表明,本文所提的异常检测方法与其它的日志异常检测算法Deeplog、LogAnomaly和基于主成分分析(PCA)的方法相比有较好的表现.     

TRGATLog:基于日志时间图注意力网络的日志异常检测方法

为解决现有日志异常检测方法往往只关注定量关系模式或顺序模式的单一特征,忽略了日志时间结构关系和不同特征之间的相互联系,导致较高的异常漏检率和误报率问题,提出基于日志时间图注意力网络的日志异常检测方法。首先,通过设计日志语义和时间结构联合特征提取模块构建日志时间图,有效整合日志的时间结构关系和语义信息。然后,构造时间关系图注意力网络,利用图结构描述日志间的时间结构关系,自适应学习不同日志之间的重要性,进行异常检测。最后,使用三个公共数据集验证模型的有效性。大量实验结果表明,所提方法能够有效捕获日志时间结构关系,提高异常检测精度。     

基于CNN和Bi-LSTM的无监督日志异常检测模型

日志能记录系统运行时的具体状态,而自动化的日志异常检测对网络安全至关重要。针对日志语句随时间演变导致异常检测准确率低的问题,提出一种无监督日志异常检测模型LogCL。首先,通过日志解析技术将半结构化的日志数据转换为结构化的日志模板;其次,使用会话和固定窗口将日志事件划分为日志序列;再次,提取日志序列的数量特征,使用自然语言处理技术对日志模板进行语义特征提取,并利用词频-词语逆频率（TF-IWF）算法生成加权的句嵌入向量;最后,将特征向量输入一个并列的基于卷积神经网络（CNN）和双向长短期记忆（Bi-LSTM）网络的模型中进行检测。在两个公开的真实数据集上的实验结果表明,所提模型较基准模型LogAnomaly在异常检测的F1-score上分别提高了3.6和2.3个百分点。因此LogCL能够对日志数据进行有效的异常检测。     

基于日志数据的分布式软件系统故障诊断综述

基于日志数据的故障诊断指通过智能化手段分析系统运行时产生的日志数据以自动化地发现系统异常、诊断系统故障.随着智能运维（Artificial Intelligence for IT Operations,AIOps）的快速发展,该技术正成为学术界和工业界的研究热点.本文首先总结了基于日志数据的分布式软件系统故障诊断研究框架,然后就日志处理与特征提取、基于日志数据的异常检测、基于日志数据的故障预测和基于日志数据分析的故障根因诊断等关键技术对近年来国内外相关工作进行了深入地分析,最后以本文提出的研究框架为指导总结相关研究工作,并对未来研究可能面临的挑战进行了展望.     

日志多维度无监督异常检测算法

在大规模的系统运维中,及时有效地发现系统事件中的异常行为,对于维护系统稳定运行有着重要作用.有效的异常检测方法可以使得系统的运维和开发人员快速定位问题并解决,保证系统快速恢复.系统日志作为记录系统运行信息的重要资料,是对系统进行异常检测的主要数据来源,因此基于日志的异常检测是当前智能运维的重要研究方向之一.本文提出了一种基于无监督的日志多维度异常检测算法,可在无需标注数据的前提下针对日志系统进行自动的数据解析和异常检测.通过使用基于频繁模板树的日志解析获取日志模板后,分别使用3种方法进行异常检测：以基于概率分布使用3-Sigma法判断单指标数值型异常,以基于主成分分析方法使用SPE统计量判断日志组异常,以基于有限自动机的方法判断日志序列异常.通过对超级计算机(Blue Gene/L)和Hadoop分布式文件系统(HDFS)的日志数据以及腾讯内部系统数据进行实验评估,结果表明本文提出算法在5个测试数据集上均有较好的表现.     

多节点系统异常日志流量模式检测方法

随着国家高性能计算环境各个节点产生日志数量的不断增加,采用传统的人工方式进行异常日志分析已不能满足日常的分析需求.提出一种异常日志流量模式的定义方法：同一节点相同时间片内日志类型的有序排列代表了一种日志流量模式,并以该方法为出发点,实现了一个异常日志流量模式检测方法,用来自动挖掘异常日志流量模式.该方法从系统日志入手,根据日志内容的文本相似度进行自动分类.然后将相同时间片内日志各个类型出现的次数作为输入特征,基于主成分分析的异常检测方法对该输入进行异常检测,得到大量异常的日志类型序列.之后,使用基于最长公共子序列的距离度量对这些序列进行层次聚类,并将聚类结果进行自适应K项集算法,以得出不同异常日志流量模式的序列代表.将国家高性能计算环境半年产生的日志根据不同时间段（早、晚、夜）使用上述方法进行分析,得出了不同时间段的异常日志流量模式和相互关系.该方法也可以推广到其他分布式系统的系统日志中.     

基于日志的异常检测技术综述

日志信息是信息系统快速发展中产生的重要信息资源,通过日志的分析,可以进行异常检测、故障诊断和性能诊断等。研究基于日志的异常检测技术,首先对主要使用的基于日志的异常检测框架进行介绍,然后对日志解析、日志异常检测等关键技术进行详细介绍。最后对当前技术进行总结,并对未来研究方向给出建议。     

云计算系统中基于伴随状态追踪的故障检测机制

在运行时检测分布式系统内所产生的故障需要事先获得故障特征模型.构造故障特征模型的常见做法为将故障注入系统并根据随后系统内所产生的特征症状(如异常事件日志)建模.已有建模方法通常使用从故障发生到给定时间窗口之内的特征症状.然而,根据真实系统观察,不同故障的传播影响时间相差很大,且故障特征会在故障传播过程中发生改变.因此,已有方法对检测时间窗口之后发的故障特征症状不能识别或会产生大量错误报警.为了解决此问题,文中提出一种基于故障注入测试的故障特征提取方法,该方法主要由3步组成:(1)过滤噪声日志;(2)构造1个故障识别器识别不同故障的早期特征;(3)为每类故障构造限状态追踪器追踪该故障的后期传播状态,从而在故障被识别出来后持续跟踪故障传播状态.通过在企业级云计算系统中进行实验验证,与已有方法相比该文方法具备更高的故障检测精确度.     

用于神经网络异常检测模型的日志处理方法研究

针对在神经网络异常检测模型中日志分析处理存在的效率较低等问题,提出了一种基于词嵌入与word-level编码、charlevel编码相结合的日志数据处理方法,来实现提高异常检测模型日志数据处理效率。本文首先介绍了用于异常检测模型的日志预处理的基本流程;其次提出了词嵌入与两种编码相结合的日志向量化的表示方法,最后通过实验结果表明,提出的日志处理方法能够较好地提高异常检测模型中的日志分析处理效率。     

云工作流中基于多任务时序卷积网络的异常检测方法

云计算数据中心在日常部署和运行过程中产生的大量日志可以帮助系统运维人员进行异常分析。路径异常和时延异常是云工作流中常见的异常。针对传统的异常检测方法分别对两种异常检测任务训练相应的学习模型,而忽略了两种异常检测任务之间的关联性,导致异常检测准确率下降的问题,提出了一种基于多任务时序卷积网络的日志异常检测方法。首先,基于日志流的事件模板,生成事件序列和时间序列;然后,训练基于多任务时序卷积网络的深度学习模型,该模型通过共享时序卷积网络中的浅层部分来从系统正常执行的流程中并行地学习事件和时间特征;最后,对云计算工作流中的异常进行分析,并设计了相关异常检测逻辑。在OpenStack数据集上的实验结果表明,与日志异常检测的领先算法DeepLog和基于主成分分析（PCA）的方法比较,所提方法的异常检测准确率至少提升了7.7个百分点。     

一种融合变量的日志异常检测方法北大核心CSCD

为了充分挖掘日志中变量的潜能,优化日志异常检测效果,文章提出一种融合变量的日志异常检测方法SiEv。首先,该方法可以识别主体变量,并根据主体变量将日志划分为不同片段;然后,SiEv以这些日志片段为输入,基于长短期记忆网络(Long Short-Term Memory,LSTM)训练或检测异常,从而避免不同主体的日志序列特征相互干扰;最后,根据日志片段将SiEv划分为多个类别,从不同角度检测日志。为了验证文章所提方法的有效性,SiEv对Loghub所提供的日志数据集进行测试。实验结果表明,SiEv能够发现多种类型日志中存在的异常,识别同一主体的活动行为模式和变化趋势。     

基于日志模板主题特征的日志异常检测

在系统安全领域,通过日志来检测软件或者系统异常是一种常用的安全防护手段。随着软件和硬件的快速发展,在大规模的日志记录上进行人工标记变得十分困难,目前已有大量的日志异常检测的相关研究。现有的自动化日志检测模型均使用日志模板作为分类,这些模型的性能以及实用性很容易受到日志模板变化的影响。因此,基于日志模板主题特征的日志异常检测模型LTTFAD被提出,LTTFAD首次引入了LDA主题模型以提取日志模板的主题特征并且通过循环神经网络LSTM实现异常检测。实验结果表明,在HDFS和OpenStack数据集上基于日志模板主题特征的日志异常检测模型LTTFAD的查准率、查全率和调和分数等性能指标均明显优于现有基于日志模板的日志异常检测模型。此外,对于新日志模板的注入,LTTFAD模型依然具有较高的稳定性。     

基于深度学习的系统日志异常检测研究

系统日志反映了系统运行状态,记录着系统中特定事件的活动信息,快速准确地检测出系统异常日志,对维护系统安全稳定具有重要意义。提出了一种基于GRU神经网络的日志异常检测算法,基于log key技术实现日志解析,利用执行路径的异常检测模型和参数值的异常检测模型实现日志异常检测,具有参数少、训练快的优点,在取得较高检测精度的同时提升了运行速度,适用于大型信息系统的日志分析。     

主机日志分析及其在入侵检测中的应用

主机日志在入侵检测中有着不可替代的作用,通过深入分析主机日志可以发现系统的异常行为。该文分析了主机日志的构成,主机日志在计算机安全领域中的应用,并给出了常用的主机日志和基于主机日志的入侵检测系统。主机日志的分析方法有很多,文章对这些方法进行了分类并对它们进行了详细的讨论。最后,给出了一种基于主机日志分析的入侵检测通用模型。     

基于Clark-Wilson完整性策略的安全监视模型

传统的计算机设计系统的安全监视功能存在日志数据冗余和异常线索检测时延过长等固有问题.由于安全监视功能的日志数据项主要是由系统实施的安全策略所决定,所以采用关系模式,通过形式地描述、分析著名的Clark-Wilson完整性策略,从而精确确定了与各条策略相关的最小日志项集,然后将其应用于基于Clark-Wilson完整性策略的形式化安全监视模型(CW-SMM).该模型不但可以有效解决Clark-Wilson安全策略适用系统的日志数据冗余问题,而且也可以彻底解决异常线索检测中的时延问题.     

基于Fork/Join的事务日志伴随模式挖掘方法

信息系统产生的大量事务日志数据蕴含着潜在的伴随模式,伴随模式是指在时空上频繁共现的一组对象.由于传统的滑动窗口算法和FP-Growth算法只能调用单一线程进行计算,随着数据规模的扩张,会导致挖掘伴随模式的时间急剧增加.为此本文提出了一种基于Fork/Join并行技术的伴随模式挖掘框架,其能够实现从单线程到多线程的迁移,充分利用多核配置的加速性能.该框架由划定伴随数据集、频繁项集挖掘和关联规则挖掘三部分组成.首先,提出了基于Fork/Join的多核并行滑动窗口算法,以缩短从事务日志中划定伴随数据集的时间;然后,提出基于Fork/Join的多核并行FP-Growth算法,以并行地挖掘伴随数据集中的频繁项集;最后,引入支持度、置信度和提升度3个参数,对伴随模式中各对象间的关联规则进行挖掘.基于门禁刷卡数据的实验结果表明,相比传统算法,本文所提出的框架能够挖掘出更多的伴随模式,同时挖掘效率较高.     

一种基于文法压缩的日志异常检测算法

近年来日志挖掘是一种广泛使用的检测应用状态异常的方法.现有的异常检测算法需要大量计算,或者它们的有效性依赖于测试日志满足一些预先定义的日志事件概率分布.因此,它们无法用于在线检测并且在假设不成立时会失效.为了解决这些问题,该文提出了一种新的异常检测算法CADM.CADM使用正常日志和待检测日志之间的相对熵作为异常程度的标识.为了计算相对熵,CADM充分利用了相对熵和文法压缩编码大小之间的关系而不是预先定义日志事件概率分布的族.通过这种方式,CADM避免了对日志分布的预先假设.除此之外,CADM的计算复杂度为O(n),因此在日志较大的情况下有较好的扩展性.通过在仿真的日志和公开日志集上的评测结果可以看出,CADM不仅可以应用在更广泛的程序日志上,也有更高的检测精度,因此更适合在线日志挖掘异常检测的工作.     

基于维修日志的飞机设备故障原因判别方法

在飞机维修与保养过程中,航空维修公司已积累了大量经验性的维修日志数据.合理利用该类维修日志,结合机器学习方法,可以辅助维修人员做出正确的故障诊断决策.首先,针对维修日志的特殊性,提出一种迭代式的故障诊断基本过程;其次,在传统的文本特征提取技术的基础上,基于领域内信息,提出一种基于卷积神经网络（convolution neural network,简称CNN）的小样本文本特征提取方法,在样本量较少的情况下,利用预测目标将字向量作为输入,得到更为充分的文本特征;最后,使用随机森林（random forest,简称RF）模型,结合其他故障特征判别飞机设备的故障原因.卷积神经网络以故障原因为目标,预先对故障现象中的字向量进行训练,从而得到更能反映该领域的文本特征.与其他文本特征提取方法相比,该类方法在小样本数据上得到了更好的效果.同时,将卷积神经网络与随机森林模型应用于飞机设备的故障原因判别,并与其他文本特征提取方式和机器学习预测模型进行对比,说明了该类文本特征提取方式和故障原因判别方法的合理性和必要性.     

一种用于异常检测的自动日志分析方法

针对现代大型系统中系统日志的异常检测问题,提出了一种基于自动日志分析的异常检测方法(CSCM).该方法通过在预聚类下结合细化分析与多视角的异常提取过程,来实现系统日志的异常检测.首先,引入信息熵以提取日志信息量;其次,基于Canopy预聚类过程提取子集交叠数据,以缩小计算范围;利用谱聚类进行细化分析,并结合预聚类结果以...