基于机器学习的日志异常检测综述

日志异常检测是当前数据中心智能运维管理的典型核心应用场景.随着机器学习技术的快速发展和逐步成熟,将机器学习技术应用于日志异常检测任务已经形成热点.首先,文章介绍了日志异常检测任务的一般流程,并指出了相关过程中的技术分类和典型方法.其次,论述了日志分析任务中机器学习技术应用的分类及特点,并从日志不稳定性、噪声干扰、计算存储要求、算法可移植性等方面分析了日志分析任务的技术难点.再次,对领域内相关研究成果进行了梳理总结和技术特点的比较分析.最后,文章从日志语义表征、模型在线更新、算法并行度和通用性3个方面讨论了日志异常检测今后的研究重点及思考.     

基于日志多特征融合的无监督异常检测算法

日志是一种记录系统运行过程中重要信息的文本文件,而有效的日志异常检测可以帮助运维人员快速定位并解决问题,保证系统的快速恢复,从而减少经济损失.系统日志内容通常包含着丰富的系统信息(时间,序列,参数等),本文提出了一种基于预训练的日志多特征融合的异常检测方法Log Multi-Feature Fusion(LMFF).首先,基于预训练模型对日志的事件模板进行语义信息提取,将系统日志建模为自然语言序列;然后,利用特征提取器分别对日志的事件序列,计数序列和时间序列进行特征提取融合,通过Tranformer和LSTM神经网络学习正常日志的特征信息.最后,对日志进行分析,并能够检测出潜在模式偏离正常日志序列的异常.通过在Hadoop日志文件系统(HDFS)数据的F1值达到约96%和在OpenStack数据的F1值达到约99%的结果表明,本文所提的异常检测方法与其它的日志异常检测算法Deeplog、LogAnomaly和基于主成分分析(PCA)的方法相比有较好的表现.     

基于日志的异常检测技术综述

日志信息是信息系统快速发展中产生的重要信息资源,通过日志的分析,可以进行异常检测、故障诊断和性能诊断等。研究基于日志的异常检测技术,首先对主要使用的基于日志的异常检测框架进行介绍,然后对日志解析、日志异常检测等关键技术进行详细介绍。最后对当前技术进行总结,并对未来研究方向给出建议。     

连续无监督异常检测

无监督异常检测(unsupervised anomaly detection,UAD)旨在检测任何未见过的偏离预期模式或正常分布的数据,由于其学习过程不依赖对罕见异常样本的获取,因此在现实动态环境下备受青睐.然而,在现实场景中,目标任务往往会随时间动态变化,这要求模型能够连续执行多个不同的UAD任务,确保在仅有当前任务...     

对于异常检测的自监督学习算法研究

异常检测一直是工业领域一个经久不衰的议题，传统异常检测算法往往具有可迁移能力差、操作繁琐等特点，而在深度学习领域里，图像异常检测起步较晚，但是深度神经网络也为异常检测提供了切实好用的工具并指出了新的研究方向。将自监督学习与异常检测进行融合，减少训练集对于大量的负样本数据的依赖，并比较了其他几种常见数据增强算法获取的数据集与人工标注数据集的检测效果。     

基于双向时间卷积网络的半监督日志异常检测

由于日志解析准确率不高以及标记样本不足降低了异常检测的准确率,所以提出了一种新的基于日志的半监督异常检测方法。首先,通过改进字典的日志解析方法,保留了日志事件中的部分参数信息,从而提高日志信息的利用率和日志解析的准确率;然后,使用BERT对模板中的语义信息进行编码,获得日志的语义向量;接着采用聚类的方法进行标签估计,缓解了数据标注不足的问题,有效提高了模型对不稳定数据的检测;最后,使用带有残差块的双向时间卷积网络（Bi-TCN）从两个方向捕获上下文信息,提高了异常检测的精度和效率。为了评估该方法的性能,在两个数据集上进行了评估,最终实验结果表明,该方法与最新的三个基准模型LogBERT、PLELog和LogEncoder相比,F1值平均提高了7%、14.1%和8.04%,能够高效精准地进行日志解析和日志异常检测。     

基于主成分分析的无监督异常检测

入侵检测系统在训练过程中需要大量有标识的监督数据进行学习,不利于其应用和推广．为了解决该问题,提出了一种基于主成分分析的无监督异常检测方法,在最小均方误差原则下学习样本的主要特征,经过压缩和还原的互逆过程后能最大限度地复制样本信息,从而根据均方误差的差异检测出异常信息．构建的仿真系统经过实验证明,基于主成分分析的无监督异常检测方法能够在无需专家前期参与的情况下检测出入侵,实验结果验证了其有效性．     

基于CNN和Bi-LSTM的无监督日志异常检测模型

日志能记录系统运行时的具体状态,而自动化的日志异常检测对网络安全至关重要。针对日志语句随时间演变导致异常检测准确率低的问题,提出一种无监督日志异常检测模型LogCL。首先,通过日志解析技术将半结构化的日志数据转换为结构化的日志模板;其次,使用会话和固定窗口将日志事件划分为日志序列;再次,提取日志序列的数量特征,使用自然语言处理技术对日志模板进行语义特征提取,并利用词频-词语逆频率（TF-IWF）算法生成加权的句嵌入向量;最后,将特征向量输入一个并列的基于卷积神经网络（CNN）和双向长短期记忆（Bi-LSTM）网络的模型中进行检测。在两个公开的真实数据集上的实验结果表明,所提模型较基准模型LogAnomaly在异常检测的F1-score上分别提高了3.6和2.3个百分点。因此LogCL能够对日志数据进行有效的异常检测。     

基于无监督学习的智能电网入侵检测

智能电网通过引入信息和通信技术服务,带来了传统电网的技术演变,与此同时在安全方面也带来了严重的挑战.本文提出了一种智能电网入侵检测系统安全架构和一种基于无监督学习的新型入侵检测系统(intrusion detection system, IDS).我们设计了区域式训练(block-training)架构,不仅可以减轻数据中心的计算压力,还可以对本地流量进行特征训练.我们还提出了一种基于交叉验证的递归特征消除的差分自编码器算法(RFECV-VAE).RFECV-VAE综合了RFECV和VAE模型,在特征选择过程使用递归特征消除交叉验证法(recursive feature elimination cross-validation, RFECV),异常检测采用差分自编码器(variational autoencoders, VAE),它可以对大规模高维数据进行高精度异常检测.最后,本文选择深度自编码器、深度自编码器高斯混合模型、单类支持向量机、隔离森林、差分自编码器作为对比算法,采用准确率、ROC＿AUC、F1＿score和训练时间等指标来进行性能评估.实验结果表明,RFECV-VAE算法...     

基于日志模板主题特征的日志异常检测

在系统安全领域,通过日志来检测软件或者系统异常是一种常用的安全防护手段。随着软件和硬件的快速发展,在大规模的日志记录上进行人工标记变得十分困难,目前已有大量的日志异常检测的相关研究。现有的自动化日志检测模型均使用日志模板作为分类,这些模型的性能以及实用性很容易受到日志模板变化的影响。因此,基于日志模板主题特征的日志异常检测模型LTTFAD被提出,LTTFAD首次引入了LDA主题模型以提取日志模板的主题特征并且通过循环神经网络LSTM实现异常检测。实验结果表明,在HDFS和OpenStack数据集上基于日志模板主题特征的日志异常检测模型LTTFAD的查准率、查全率和调和分数等性能指标均明显优于现有基于日志模板的日志异常检测模型。此外,对于新日志模板的注入,LTTFAD模型依然具有较高的稳定性。     

基于对比学习和伪异常合成的无监督火灾检测

传统的火灾检测方法大多基于目标检测技术, 存在火灾样本获取难度高、人工标注成本高的问题. 为解决该问题, 本研究提出了一种基于对比学习和伪异常合成的无监督火灾检测模型. 为了实现无监督图像特征学习, 提出了交叉输入对比学习模块. 然后, 引入了一个记忆原型学习正常场景图像的特征分布, 通过特征重建实现对火灾场景的判别. 并且, 提出了伪异常火灾场景合成方法和基于欧氏距离的异常特征区分损失, 使模型对于火灾场景具有针对性. 根据实验表明, 我们的方法在Fire-Flame-Dataset和Fire-Detection-Image-Dataset两个公开火灾检测数据集上的图像级AUC分别达到89.86%和89.56%, 优于PatchCore、PANDA、Mean-Shift等主流图像异常检测算法.     

一种无监督异常入侵检测的簇异常度量方法

文中主要研究用Pearson相关系数计算记录与簇、簇与簇间符号属性距离的方法;在这个方法中,提出了一种新的簇异常度量—近似平均距离AAD,AAD综合了一个簇的局部异常度,即簇的内部点密度,和该簇在整个簇结构中的全局异常度,即该簇与其它簇的距离;提出了依据AAD对聚类后的簇分类,并以已分类簇结构作为检测模型进行无监督异常检测的方法,通过异常检测能及时地对每个记录分类,从而能及时发现入侵行为,减小由入侵造成的损失;最后用KDD 99评估数据集所作的实验表明,用AAD作为簇的分类度量的方法比其它相关研究具有更高的检测率和更低的误警率。     

基于深度孪生自回归网络的无监督异常用电检测

异常用电检测旨在识别出不符合正常用电规律或者违反用电合约的用电行为。针对现有基于重构的检测方法依赖标记的正常样本和难以捕捉复杂时间依赖性的问题,提出一种基于深度孪生自回归网络的无监督异常用电行为检测模型（DSAD）。所提模型通过两个孪生自回归子网络来分别独立地对无标记的输入数据进行重构,再将两个子网络的重构误差相结合来预测数据中的正常样本,并利用多头自注意力机制来有效地捕捉时间依赖性、周期性和随机性等复杂特征。在大规模时序数据集和国家电网真实用电数据集上进行实验所获得的结果表明,所提模型在AUC以及AP等性能指标上取得了更好的检测效果。     

日志分析网络异常检测系统研究

本文研究基于DNS日志分析的网络异常监测系统,通过对校园网DNS日志进行分析,能够得出用户进行域名访问的规律,提取用户行为特征,掌握网络运行状况,并通过定义DNS访问次数偏移度,即时发现并定位网络异常。     

一种基于文法压缩的日志异常检测算法

近年来日志挖掘是一种广泛使用的检测应用状态异常的方法.现有的异常检测算法需要大量计算,或者它们的有效性依赖于测试日志满足一些预先定义的日志事件概率分布.因此,它们无法用于在线检测并且在假设不成立时会失效.为了解决这些问题,该文提出了一种新的异常检测算法CADM.CADM使用正常日志和待检测日志之间的相对熵作为异常程度的标识.为了计算相对熵,CADM充分利用了相对熵和文法压缩编码大小之间的关系而不是预先定义日志事件概率分布的族.通过这种方式,CADM避免了对日志分布的预先假设.除此之外,CADM的计算复杂度为O(n),因此在日志较大的情况下有较好的扩展性.通过在仿真的日志和公开日志集上的评测结果可以看出,CADM不仅可以应用在更广泛的程序日志上,也有更高的检测精度,因此更适合在线日志挖掘异常检测的工作.     

一种基于XGboost的异常检测算法

为了提高异常检测的准确性和高效性,提出了基于xgboost的异常检测算法。首先对异常检测当前遇到的挑战进行分析,指出缺少样本和模型泛化是异常检测中的难点。在此基础上设计了异常注入算法,利用3sigma原则对数据集进行扩充;然后设计特征提取器,针对正常数据和异常数据的特点设计相关特征;最后选择xgboost模型对时序数据进行异常检测。此异常检测流程提高了异常检测的准确性和泛化能力。通过在KPI公共数据集上进行实验,验证了该设计的准确性和有效性。     

高维大数据分析的无监督异常检测方法

高维数据的无监督异常检测是机器学习的重要挑战之一.虽然先前基于单一深度自动编码器和密度估计的方法已经取得了显著的进展,但是其仅通过一个深度自编码器来生成低维表示,这表明没有足够的信息来执行后续的密度估计任务.为了解决上述问题,文中提出了一种混合自动编码器高斯混合模型(Mixed Auto-encoding Gaussi...     

基于集成学习的无监督网络入侵检测方法

目前,网络对抗对入侵检测智能化和自主性的需求不断提高,基于深度学习的方法通过训练和学习来区分复杂攻击模式和行为,但有监督的学习方法需要专家知识和大量人工开销。针对上述问题,文章提出一种基于集成学习的无监督网络入侵检测方法,并使用基于3种不同异常检测理念的深度学习检测器,在3种不同集成逻辑下对各单检测器的检测结果进行检测判定。该方法可以综合分析时间序列数据中不同类型的异常数据,降低无监督异常检测模型由于过度拟合所造成的影响,并以一种高效的在线方式检测可能存在的网络攻击数据流。在KDD CUP 1999和CSE-CICIDS 2018数据集上进行验证,实验结果表明,与其他单一的无监督异常检测模型相比,文章提出的集成方法结合了不同无监督检测模型的优势,适用于对多种网络入侵引起的异常进行检测。     

基于融合学习的无监督多维时间序列异常检测

随着多云时代的到来,云际智能运维能够提前检测处理云平台的故障,从而确保其高可用性. 由于云系统的复杂性,运维数据在数据局部性和数据全局性上呈现出多样的时间依赖和维度间依赖,这给多维时间序列异常检测带来很大的挑战. 然而,现有的多维时间序列异常检测方法大多是从正常时序数据中学习到特征表示并基于重构误差或预测误差检测异常,这些方法无法同时捕获多维时间序列在局部性和全局性上的信息依赖,从而导致异常检测效果差. 针对上述问题,提出了一种基于融合学习的无监督多维时间序列异常检测方法,同时对多维时间序列的数据局部特征和数据全局特征进行建模,得到更加丰富的时序重构信息,并基于重构误差检测异常. 具体地,通过在时域卷积网络中引入自注意力机制使得模型在构建局部关联性的同时更加关注数据全局特征,并在时域卷积模块和自注意力模块间加入信息共享机制实现信息融合,从而能够更好地对多维时序的正常模式进行重构. 在多个多维时间序列真实数据集上的实验结果表明,相较于之前的多维时间序列异常检测,提出的方法在F1分数上提升了高达0.0882.