基于日志模板主题特征的日志异常检测

在系统安全领域，通过日志来检测软件或者系统异常是一种常用的安全防护手段。随着软件和硬件的快速发展，在大规模的日志记录上进行人工标记变得十分困难，目前已有大量的日志异常检测的相关研究。现有的自动化日志检测模型均使用日志模板作为分类，这些模型的性能以及实用性很容易受到日志模板变化的影响。因此，基于日志模板主题特征的日志异常检测模型LTTFAD被提出，LTTFAD首次引入了LDA主题模型以提取日志模板的主题特征并且通过循环神经网络LSTM实现异常检测。实验结果表明，在HDFS和OpenStack数据集上基于日志模板主题特征的日志异常检测模型LTTFAD的查准率、查全率和调和分数等性能指标均明显优于现有基于日志模板的日志异常检测模型。此外，对于新日志模板的注入，LTTFAD模型依然具有较高的稳定性。