| 基于日志多特征融合的无监督异常检测算法 |
| |
| 引用本文： | 程思强,李晓戈,李显亮.基于日志多特征融合的无监督异常检测算法[J].小型微型计算机系统,2023(12):2727-2733. |
| |
| 作者姓名： | 程思强 李晓戈 李显亮 |
| |
| 作者单位： | 1. 西安邮电大学计算机学院;2. 西安邮电大学陕西省网络数据分析与智能处理重点实验室 |
| |
| 基金项目： | 国家重点研发计划项目(2018YFB1402905)资助；;陕西省重点研发计划项目(2020GY-227)资助； |
| |
| 摘 要： | 日志是一种记录系统运行过程中重要信息的文本文件，而有效的日志异常检测可以帮助运维人员快速定位并解决问题，保证系统的快速恢复，从而减少经济损失.系统日志内容通常包含着丰富的系统信息(时间，序列，参数等),本文提出了一种基于预训练的日志多特征融合的异常检测方法Log Multi-Feature Fusion(LMFF).首先，基于预训练模型对日志的事件模板进行语义信息提取，将系统日志建模为自然语言序列；然后，利用特征提取器分别对日志的事件序列，计数序列和时间序列进行特征提取融合，通过Tranformer和LSTM神经网络学习正常日志的特征信息.最后，对日志进行分析，并能够检测出潜在模式偏离正常日志序列的异常.通过在Hadoop日志文件系统(HDFS)数据的F1值达到约96%和在OpenStack数据的F1值达到约99%的结果表明，本文所提的异常检测方法与其它的日志异常检测算法Deeplog、LogAnomaly和基于主成分分析(PCA)的方法相比有较好的表现.
|
| 关 键 词： | 日志分析 日志序列 深度学习 日志异常检测 |
|
|
