多节点系统异常日志流量模式检测方法

随着国家高性能计算环境各个节点产生日志数量的不断增加,采用传统的人工方式进行异常日志分析已不能满足日常的分析需求.提出一种异常日志流量模式的定义方法：同一节点相同时间片内日志类型的有序排列代表了一种日志流量模式,并以该方法为出发点,实现了一个异常日志流量模式检测方法,用来自动挖掘异常日志流量模式.该方法从系统日志入手,根据日志内容的文本相似度进行自动分类.然后将相同时间片内日志各个类型出现的次数作为输入特征,基于主成分分析的异常检测方法对该输入进行异常检测,得到大量异常的日志类型序列.之后,使用基于最长公共子序列的距离度量对这些序列进行层次聚类,并将聚类结果进行自适应K项集算法,以得出不同异常日志流量模式的序列代表.将国家高性能计算环境半年产生的日志根据不同时间段（早、晚、夜）使用上述方法进行分析,得出了不同时间段的异常日志流量模式和相互关系.该方法也可以推广到其他分布式系统的系统日志中.     

基于CNN和Bi-LSTM的无监督日志异常检测模型

日志能记录系统运行时的具体状态,而自动化的日志异常检测对网络安全至关重要。针对日志语句随时间演变导致异常检测准确率低的问题,提出一种无监督日志异常检测模型LogCL。首先,通过日志解析技术将半结构化的日志数据转换为结构化的日志模板;其次,使用会话和固定窗口将日志事件划分为日志序列;再次,提取日志序列的数量特征,使用自然语言处理技术对日志模板进行语义特征提取,并利用词频-词语逆频率（TF-IWF）算法生成加权的句嵌入向量;最后,将特征向量输入一个并列的基于卷积神经网络（CNN）和双向长短期记忆（Bi-LSTM）网络的模型中进行检测。在两个公开的真实数据集上的实验结果表明,所提模型较基准模型LogAnomaly在异常检测的F1-score上分别提高了3.6和2.3个百分点。因此LogCL能够对日志数据进行有效的异常检测。     

云计算系统中基于伴随状态追踪的故障检测机制

在运行时检测分布式系统内所产生的故障需要事先获得故障特征模型.构造故障特征模型的常见做法为将故障注入系统并根据随后系统内所产生的特征症状(如异常事件日志)建模.已有建模方法通常使用从故障发生到给定时间窗口之内的特征症状.然而,根据真实系统观察,不同故障的传播影响时间相差很大,且故障特征会在故障传播过程中发生改变.因此,已有方法对检测时间窗口之后发的故障特征症状不能识别或会产生大量错误报警.为了解决此问题,文中提出一种基于故障注入测试的故障特征提取方法,该方法主要由3步组成:(1)过滤噪声日志;(2)构造1个故障识别器识别不同故障的早期特征;(3)为每类故障构造限状态追踪器追踪该故障的后期传播状态,从而在故障被识别出来后持续跟踪故障传播状态.通过在企业级云计算系统中进行实验验证,与已有方法相比该文方法具备更高的故障检测精确度.     

改进的基于日志聚类的异常检测方法

针对基于日志聚类的异常检测方法(LogCluster)处理的日志类型单一的问题,提出一种改进的基于LogCluster的日志异常检测方法,SW-LogCluster。通过使用滑动窗口(sliding window)的方式将日志划分为日志序列,将划分后的日志序列向量化来进行特征提取,使其既能检测带标记符的日志,也能检测不带标记符的日志,扩展原始方法的应用范围。实验结果表明,SW-LogCluster方法能对所有类型的非结构化日志进行检测,有效扩展了LogCluster方法的适用性。     

基于生成对抗网络的系统日志级异常检测算法

针对大规模软件系统自动化异常检测任务中异常样本过少且异常反馈不及时的问题,提出一种基于生成对抗网络（GAN）与注意力机制的日志级异常检测算法。首先,通过日志模板将非结构化的日志转化为结构化的事件,每一个事件包含了日志的时间戳、签名与变量。其次,以滑动窗口的方式划分解析的事件序列,将产生的事件模式与下一时刻的事件组成真实的数据样本集。然后,将真实的事件模式作为训练样本输入来训练基于注意力机制的生成对抗网络,通过对抗学习的机制训练基于循环神经网络（RNN）的生成器直至收敛。最后,生成器通过输入的流式事件模式生成在新到来的事件模式下的正常与异常事件分布,并在系统管理员设置阈值的情况下,自动判断下一时刻的特定日志为正常事件或是异常事件。实验结果表明,提出的以门控循环单元网络为注意力权重并且用长短时记忆（LSTM）网络来解析事件模式的异常检测算法,比仅使用门控循环单元网络时的算法精准率提高了21.7%;此外,与日志级异常检测算法LogGAN相比,所提算法比LogGAN的异常检测精准率提升了7.8%。     

基于k近邻变量贡献与重构理论的工业过程故障诊断

针对工业过程中发生故障时异常变量的精确识别以及如何准确建立"故障–征兆"表的问题,本文提出了一种基于k近邻(k–NN)变量贡献分析和数据重构的异常变量精确识别方法.首先,将k–NN算法中各个采样时刻的统计距离指标细化,分解为每个变量的贡献并对其进行详细分析,分别从单变量和多变量异常角度进行方法的可行性验证,确定过程故障时异常变量具有较大的贡献值;其次,建立正常数据中每个变量的贡献模型用于对故障样本中的异常变量进行"一次"识别;随后提出基于k–NN理论的数据重构算法,并从重构原理方面进行分析,验证该方法具有一定的有效性.对于故障样本,根据变量贡献分析方法求取每个变量对距离指标的贡献,"一次"识别出故障发生时所对应的异常变量或征兆;进而通过数据重构理论对故障样本中异常变量值进行重构、检测和"二次"识别,直至辨识出过程中发生异常的所有变量,并得到故障与变量之间的关系,即"故障–征兆"表.     

基于生成对抗网络的系统日志级异常检测算法

针对大规模软件系统自动化异常检测任务中异常样本过少且异常反馈不及时的问题，提出一种基于生成对抗网络（GAN）与注意力机制的日志级异常检测算法。首先，通过日志模板将非结构化的日志转化为结构化的事件，每一个事件包含了日志的时间戳、签名与变量。其次，以滑动窗口的方式划分解析的事件序列，将产生的事件模式与下一时刻的事件组成真实的数据样本集。然后，将真实的事件模式作为训练样本输入来训练基于注意力机制的生成对抗网络，通过对抗学习的机制训练基于循环神经网络（RNN）的生成器直至收敛。最后，生成器通过输入的流式事件模式生成在新到来的事件模式下的正常与异常事件分布，并在系统管理员设置阈值的情况下，自动判断下一时刻的特定日志为正常事件或是异常事件。实验结果表明，提出的以门控循环单元网络为注意力权重并且用长短时记忆（LSTM）网络来解析事件模式的异常检测算法，比仅使用门控循环单元网络时的算法精准率提高了21.7%；此外，与日志级异常检测算法LogGAN相比，所提算法比LogGAN的异常检测精准率提升了7.8%。     

TRGATLog:基于日志时间图注意力网络的日志异常检测方法

为解决现有日志异常检测方法往往只关注定量关系模式或顺序模式的单一特征,忽略了日志时间结构关系和不同特征之间的相互联系,导致较高的异常漏检率和误报率问题,提出基于日志时间图注意力网络的日志异常检测方法。首先,通过设计日志语义和时间结构联合特征提取模块构建日志时间图,有效整合日志的时间结构关系和语义信息。然后,构造时间关系图注意力网络,利用图结构描述日志间的时间结构关系,自适应学习不同日志之间的重要性,进行异常检测。最后,使用三个公共数据集验证模型的有效性。大量实验结果表明,所提方法能够有效捕获日志时间结构关系,提高异常检测精度。     

基于m-Markov模型的交叉用户会话识别

Web访问日志数据是由单个用户点击形成的数据集,各点击是独立的,会话识别的任务就是将各个独立的点击划分成有意义的会话片段.一般的会话识别算法无法对包含交叉会话数据的Web访问日志数据成功地进行会话识别,利用自适应m-Markov模型能对Web访问日志数据进行交叉服务器会话识别和重构,并在m-Markov模型的基础上结合不同的会话结束判断准则进行会话识别准确率的比较.实验结果显示,将m-Markov模型与基于奖惩策略的会话结束算法结合能明显提高会话识别和重构的准确率.     

虚拟仪器数据库多变量空间尺度识别方法仿真

针对传统虚拟仪器数据库识别方法无法实现多变量空间尺度的识别,识别效果不佳的问题,提出对虚拟仪器数据库多变量进行空间尺度识别的方法。对虚拟仪器数据库中的多变量进行提取,并采用ICA方法和小波滤波器对提取的多变量数据进行预处理,得到数据的空间尺度信息;将多变量的空间尺度信息视为变量固有属性,根据变量固有属性形成概念分层,依据概念分层中的相关概念对多变量进行空间尺度划分;采用小波变换对多变量划分的结果进行重构,得出多变量空间尺度识别结果。通过多次仿真证明,所提方法可高效地实现对多变量空间尺度的识别,且识别效果较好。     

基于大规模网络日志的模板提取研究

针对直接从大型网络日志中提取网络事件困难的问题,提出了基于大规模网络日志的模板提取方法。该方法可将海量的、原始的网络日志主动转换为日志模板,从而为了解网络事件的根因和预防网络故障的发生提供重要的前期准备。首先分析日志的结构,将日志中的词划分为模板词和参数词两类;然后从3个不同的角度切入,分别对日志进行模板提取研究;最后使用互联网公司中的实际生产数据,采用Rand_index方法来评估3种提取方法的准确有效性。结果表明,在从服务集群中收集来的4种不同消息类型中,基于标签识别树模型提取到的日志模板的平均准确率达到99.57%,高于基于统计模板提取模型和基于在线提取模板模型的准确率。     

基于机器学习的日志异常检测综述

日志异常检测是当前数据中心智能运维管理的典型核心应用场景.随着机器学习技术的快速发展和逐步成熟,将机器学习技术应用于日志异常检测任务已经形成热点.首先,文章介绍了日志异常检测任务的一般流程,并指出了相关过程中的技术分类和典型方法.其次,论述了日志分析任务中机器学习技术应用的分类及特点,并从日志不稳定性、噪声干扰、计算存储要求、算法可移植性等方面分析了日志分析任务的技术难点.再次,对领域内相关研究成果进行了梳理总结和技术特点的比较分析.最后,文章从日志语义表征、模型在线更新、算法并行度和通用性3个方面讨论了日志异常检测今后的研究重点及思考.     

边缘异常识别下视频图像篡改细节检测

视频图像不同栅格位置或不同压缩区域被合成为篡改图像时会出现特征块效应的差异,改变原视频的关键信息。为了准确识别图像中被篡改的像素点,提出基于边缘异常识别的视频图像篡改检测方法。通过离散余弦变换,将能量全部集中到图像的低频系数内,描述出视频的边缘等细节。利用能量比与频域熵间关系得出图像中能量的可疑度,结合预测掩膜概率图划分出发生篡改的位置区域。利用Sobel边缘检测边缘点,量化边缘点特征判断出边缘是否异常,当出现异常对其跟踪直至目标消失,检测出视频图像中的篡改位置区域。实验结果表明,所提方法能够精准检测出视频图像被篡改位置,且耗时低于1ms,应用优势显著。     

基于图自编码器的无监督多变量时间序列异常检测

针对多变量时间序列复杂的时间相关性和高维度使得异常检测性能较差的问题,以对抗训练框架为基础提出基于图自编码的无监督多变量时间序列异常检测模型.首先,将特征转换为嵌入向量来表示;其次,将划分好的时间序列结合嵌入向量转换为图结构数据;然后,用两个图自编码器模拟对抗训练重构数据样本;最后,根据测试数据在模型训练下的重构误差进行异常判定.将提出的方法与5种基线异常检测方法进行比较.实验结果表明,提出的模型在测试数据集获得了最高的F1分数,总体性能分F1分数比最新的异常检测模型USAD提高了28.4%.可见提出的模型有效提高异常检测性能.     

基于日志多特征融合的无监督异常检测算法

日志是一种记录系统运行过程中重要信息的文本文件,而有效的日志异常检测可以帮助运维人员快速定位并解决问题,保证系统的快速恢复,从而减少经济损失.系统日志内容通常包含着丰富的系统信息(时间,序列,参数等),本文提出了一种基于预训练的日志多特征融合的异常检测方法Log Multi-Feature Fusion(LMFF).首先,基于预训练模型对日志的事件模板进行语义信息提取,将系统日志建模为自然语言序列;然后,利用特征提取器分别对日志的事件序列,计数序列和时间序列进行特征提取融合,通过Tranformer和LSTM神经网络学习正常日志的特征信息.最后,对日志进行分析,并能够检测出潜在模式偏离正常日志序列的异常.通过在Hadoop日志文件系统(HDFS)数据的F1值达到约96%和在OpenStack数据的F1值达到约99%的结果表明,本文所提的异常检测方法与其它的日志异常检测算法Deeplog、LogAnomaly和基于主成分分析(PCA)的方法相比有较好的表现.     

用于神经网络异常检测模型的日志处理方法研究

针对在神经网络异常检测模型中日志分析处理存在的效率较低等问题,提出了一种基于词嵌入与word-level编码、charlevel编码相结合的日志数据处理方法,来实现提高异常检测模型日志数据处理效率。本文首先介绍了用于异常检测模型的日志预处理的基本流程;其次提出了词嵌入与两种编码相结合的日志向量化的表示方法,最后通过实验结果表明,提出的日志处理方法能够较好地提高异常检测模型中的日志分析处理效率。     

基于情境和事件的生产异常表示和监测方法

随着传感器技术、通信技术的高速发展,实时监测工业生产中加工状况成为可能。为了实时监测生产车间中的异常,根据生产现场感知到情境信息的特点,提出异常信息表示方法。分别构建情境模型和事件模型,结合两者的特点,提出Event-Context异常信息表示方法;根据事件的不同类型将异常归结为七种模式,并转换为复杂事件形式,应用复杂事件处理引擎Esper进行异常识别;对事件流进行预处理解决了因同源事件的干扰而未能识别出全部异常和正常识别为异常的问题。实验结果表明,该方法能够更准确识别出生产中异常情况。     

云工作流中基于多任务时序卷积网络的异常检测方法

云计算数据中心在日常部署和运行过程中产生的大量日志可以帮助系统运维人员进行异常分析。路径异常和时延异常是云工作流中常见的异常。针对传统的异常检测方法分别对两种异常检测任务训练相应的学习模型,而忽略了两种异常检测任务之间的关联性,导致异常检测准确率下降的问题,提出了一种基于多任务时序卷积网络的日志异常检测方法。首先,基于日志流的事件模板,生成事件序列和时间序列;然后,训练基于多任务时序卷积网络的深度学习模型,该模型通过共享时序卷积网络中的浅层部分来从系统正常执行的流程中并行地学习事件和时间特征;最后,对云计算工作流中的异常进行分析,并设计了相关异常检测逻辑。在OpenStack数据集上的实验结果表明,与日志异常检测的领先算法DeepLog和基于主成分分析（PCA）的方法比较,所提方法的异常检测准确率至少提升了7.7个百分点。     

基于双向时间卷积网络的半监督日志异常检测

由于日志解析准确率不高以及标记样本不足降低了异常检测的准确率,所以提出了一种新的基于日志的半监督异常检测方法。首先,通过改进字典的日志解析方法,保留了日志事件中的部分参数信息,从而提高日志信息的利用率和日志解析的准确率;然后,使用BERT对模板中的语义信息进行编码,获得日志的语义向量;接着采用聚类的方法进行标签估计,缓解了数据标注不足的问题,有效提高了模型对不稳定数据的检测;最后,使用带有残差块的双向时间卷积网络（Bi-TCN）从两个方向捕获上下文信息,提高了异常检测的精度和效率。为了评估该方法的性能,在两个数据集上进行了评估,最终实验结果表明,该方法与最新的三个基准模型LogBERT、PLELog和LogEncoder相比,F1值平均提高了7%、14.1%和8.04%,能够高效精准地进行日志解析和日志异常检测。     

基于语义向量与OCSVM的工控网络异常行为识别

为克服基于漏洞库等传统安全防护策略的短板,实现对未知攻击行为的识别和预警.使用时间窗划分和深度包检测技术,将端到端的通信内容转化为控制行为序列.根据工控协议的语义特性,采用语义向量模型将行为序列转化为统一维度的特征向量.基于单类支持向量机（OCSVM）仅使用正常行为样本构造的异常识别模型,克服了无法从生产环境中获得异常样本的困难.对于所仿真出的多种异常行为序列,模型识别的平均准确率能够达到93%以上.