基于日志的异常检测技术综述

日志信息是信息系统快速发展中产生的重要信息资源,通过日志的分析,可以进行异常检测、故障诊断和性能诊断等。研究基于日志的异常检测技术,首先对主要使用的基于日志的异常检测框架进行介绍,然后对日志解析、日志异常检测等关键技术进行详细介绍。最后对当前技术进行总结,并对未来研究方向给出建议。     

应用软件运行日志的收集与服务处理框架

随着现代计算机系统的规模和复杂性不断增大,其运行日志的数量也不断增多,但是由于日志数据的规模巨大、内容杂乱,用户查看日志数据具有一定的困难,因此对应用软件运行日志进行有效收集与处理具有重要意义。提出了一种应用软件运行日志的收集与服务处理框架,利用分布式收集策略对日志数据收集,定义了一种多层次数据存储结构对日志数据进行存储,并向用户提供日志数据查询服务。通过对某综合减灾系统的日志数据分析验证了提出的日志数据收集与服务处理框架的实用性,并与传统的日志收集分析软件ELK和Chukwa进行了对比。     

一种基于Thrift的日志收集分析系统

传统的方式是将日志记录到本地日志文件中,然后使用日志分析程序进行分析。而 PaaS 平台运行着由不同编程语言和开发框架编写的应用,其记录日志的方式不尽相同,使日志分析程序的通用性不佳;一个应用又会有多个实例在运行,导致同一个应用的日志分散在多个地方,不便于管理。本文设计了一种简单灵活的日志格式,使用 Thrift 作为远程调用框架,支持多种编程语言调用服务,将日志数据统一在 MongoDB 中进行存取和查询。开发者还可以指定字段进行统计,直接生成图表。系统部署则采用 Docker 容器的方式,可以方便地进行水平扩展。实际运行表明,运用相关技术构建的日志收集分析系统易于使用,功能丰富,能够灵活扩展,很好地满足了 PaaS 平台的需求。     

基于P2P的分布式Web服务挖掘技术

为对多个服务注册中心提供支持,方便服务访问日志的记录与挖掘,提出一种基于P2P的分布式服务执行挖掘框架。针对跨组织业务关联的需求,利用该框架构建服务注册联盟机制,设计基于日志库的Web服务关联规则挖掘算法进行组合服务频繁序列挖掘。仿真结果表明,该算法能有效挖掘日志库中的执行与交互信息,提高服务选择与组合效率。     

基于Web日志挖掘的网上学习行为研究

网络教育要想为学习者提供个性化的指导和服务,必须注重教学过程跟踪,注意对学生学习行为的分析.Web服务器日志中记录了访问者的所有信息,通过数据挖掘的方法可以获得需要的有用知识,并由此得到用户的访问模式.文中使用Web日志挖掘的方法分析学生的网上学习行为,通过数据过滤、用户辨别和会话辨别,采用模糊集和粗糙集的方法获得访问用户的聚类和分类等有用信息.实验证明,通过Web日志挖掘的方法,可以更好地了解学生的学习偏好,提高教学服务质量.     

可扩展的Web日志采集框架的设计与实现

以某网站所需的日志分析需求为背景,设计并实现了一种Web日志分析系统的前端日志采集框架.该日志采集方案没有采用传统的写日志文件然后轮训的方式进行日志收集,而是采用客户端/服务器的模式进行"自定义"格式的日志采集.该框架同样完全兼容传统的日志记录格式和记录方式.     

综合安全管理平台中日志格式化系统的设计与实现

为了提高日志格式化系统的执行效率以及解决无法解析日志时便丢弃日志的问题,提出了一种日志格式化方案。通过将设备、传输通道和插件三者绑定,避免了格式化过程中的查找判断过程。通过引入自动更新模块,使系统在无法解析日志时可以从插件库自动下载插件来完成格式化过程。最终的测试结果表明了该方案的可行性。     

基于Shark的工作流日志迁移研究及其实现

工作流日志数据中可能记录着非常有价值的信息,它们对于流程优化和工作流挖掘具有重要意义.然而,传统工作流系统缺乏对工作流日志迁移的有效支持.基于对工作流日志数据的分析,提出了一种支持日志迁移的分布式工作流系统框架.该框架通过工作流实例数据与历史数据的分离,以实现工作流日志数据的分布式管理.基于开源工作流Shark,通过扩展WfMC相关接口,给出了该框架的实现方案.     

WindowsNT日志分析与修复

介绍WindowsNT系统的日志管理构架和日志文件的文件结构,提出一种抓取并解析日志的分析方案,讨论如何针对WindowsNT构架来管理日志,以提高日志的安全性并实现对损坏的日志文件的修复.     

Web日志挖掘在网络教学中的应用研究

在网络教学模式下,学生学习的过程就是访问教学网站页面的过程,这些访问都能被完整地记录在系统日志中,通过对日志的分析挖掘,可以找出学生行为模式;在另一方面,教学网站的结构组织是不是符合学生和教师学习和教学的规律,通过对网站日志的分析也可以得到.所有这些都离不开数据挖掘技术.文章提出了基于Wdb日志挖掘的模型,并对组成该系统的关键模块进行了分析.通过统计分析挖掘页面兴趣度和分类聚类方法对学生进行划分,有效地改善网站结构、更好地为学生服务,提高教学质量水平.     

ML-Parser: An Efficient and Accurate Online Log Parser

A log is a text message that is generated in various services, frameworks, and programs. The majority of log data mining tasks rely on log parsing as the first step, which transforms raw logs into formatted log templates. Existing log parsing approaches often fail to effectively handle the trade-off between parsing quality and performance. In view of this, in this paper, we present Multi-Layer Parser (ML-Parser), an online log parser that runs in a streaming manner. Specifically, we present a multi-layer structure in log parsing to strike a balance between efficiency and effectiveness. Coarse-grained tokenization and a fast similarity measure are applied for efficiency while fine-grained tokenization and an accurate similarity measure are used for effectiveness. In experiments, we compare ML-Parser with two existing online log parsing approaches, Drain and Spell, on ten real-world datasets, five labeled and five unlabeled. On the five labeled datasets, we use the proportion of correctly parsed logs to measure the accuracy, and ML-Parser achieves the highest accuracy on four datasets. On the whole ten datasets, we use Loss metric to measure the parsing quality. ML-Parse achieves the highest quality on seven out of the ten datasets while maintaining relatively high efficiency.     

基于词性标注的启发式在线日志解析方法

为了解决现有启发式日志解析方法中日志特征表示区分能力不足导致解析精度低、泛化差的问题,提出了一种启发式在线日志解析方法PosParser。该方法使用来源于触发词概念的功能词序列作为特征表示,包含解决复杂日志易过度解析问题的两阶段检测方法和处理变长参数日志的后处理流程。PosParser在16个真实日志数据集上取得了0.952的平均解析准确率,证明了功能词序列具有良好区分性、PosParser有良好的解析效果和鲁棒性。     

An Efficient Way to Parse Logs Automatically for Multiline Events

In order to obtain information or discover knowledge from system logs, the first step is to perform log parsing, whereby unstructured raw logs can be transformed into a sequence of structured events. Although comprehensive studies on log parsing have been conducted in recent years, most assume that one event object corresponds to a single-line message. However, in a growing number of scenarios, one event object spans multiple lines in the log, for which parsing methods toward single-line events are not applicable. In order to address this problem, this paper proposes an automated log parsing method for multiline events (LPME). LPME finds multiline event objects via iterative scanning, driven by a set of heuristic rules derived from practice. The advantage of LPME is that it proposes a cohesion-based evaluation method for multiline events and a bottom-up search approach that eliminates the process of enumerating all combinations. We analyze the algorithmic complexity of LPME and validate it on four datasets from different backgrounds. Evaluations show that the actual time complexity of LPME parsing for multiline events is close to the constant time, which enables it to handle large-scale sample inputs. On the experimental datasets, the performance of LPME achieves 1.0 for recall, and the precision is generally higher than 0.9, which demonstrates the effectiveness of the proposed LPME.

     

企业日志数据的交互式可视分析方法研究

企业日志数据,即员工在企业内部使用网络服务时系统保存的记录,包括员工网页访问日志、邮件日志等。在一定程度上反映了企业内部的组织结构、员工的日常工作模式和各种异常情况等。对日志数据进行分析有助于企业高层及时把控企业的运行状况,发现企业潜在威胁,进而帮助更好地进行决策。现有的企业日志分析方法大多是在单一数据基础上使用数据挖掘和机器学习等算法来进行分析。将以数据为中心的分析算法和以人为中心的交互式可视化结合起来能够同时发挥算法和人的分析优势;可视分析方法可以更有效地将多源异构、时变、多维的日志数据分析结合起来,提供多角度分析。为此,设计并实现了面向企业日志数据的员工工作行为可视分析系统EWB-VIS。在ChinaVis2018挑战赛所提供的公开数据集上进行实验,证明了系统的可用性和相关可视化方法的有效性。     

WebLog访问序列模式挖掘

WebLog挖掘的基本思想是将数据挖掘技术应用于Web服务器的日志文件。通过WebLog的序列模式挖掘可以改善Web的信息服务。该文介绍了传统的WebLog中访问序列模式挖掘的方法,并在此基础上提出了一种对WAP-tree的改进构造方法。     

基于机器学习的日志解析系统设计与实现

针对现有日志分类方法只适用于格式化的日志,且性能依赖于日志结构的问题,基于机器学习方法对日志信息解析算法LogSig进行了扩展改进,并设计开发了一个集数据处理与结果分析于一体的日志解析系统,包括原始数据预处理、日志解析、聚类分析评价、聚类结果散点图显示等功能,在VAST 2011挑战赛的开源防火墙日志数据集上进行了测试。实验结果表明,改进后的算法在归类整理日志事件时的平均准确性达到85%以上;与原LogSig算法相比,日志解析精度提高了50%,同时解析时间仅为原先的25%,可用于大数据环境下高效准确地对多源非结构化日志数据进行解析。     

Web日志序列模式挖掘

从Ｗｅｂ日志中挖掘出的序列模式可以用于改善Ｗｅｂ信息服务。本文分析了Ｗｅｂ日志序列列模式挖掘过程中的一些难点及相应的解决方案,并在此基础上设计了一个Ｗｅｂ日志序列模式挖掘工具ＳＰＭｉｎｅｒ。     

DILAF: A framework for distributed analysis of large-scale system logs for anomaly detection

System logs constitute a rich source of information for detection and prediction of anomalies. However, they can include a huge volume of data, which is usually unstructured or semistructured. We introduce DILAF, a framework for distributed analysis of large-scale system logs for anomaly detection. DILAF is comprised of several processes to facilitate log parsing, feature extraction, and machine learning activities. It has two distinguishing features with respect to the existing tools. First, it does not require the availability of source code of the analyzed system. Second, it is designed to perform all the processes in a distributed manner to support scalable analysis in the context of large-scale distributed systems. We discuss the software architecture of DILAF and we introduce an implementation of it. We conducted controlled experiments based on two datasets to evaluate the effectiveness of the framework. In particular, we evaluated the performance and scalability attributes under various degrees of parallelism. Results showed that DILAF can maintain the same accuracy levels while achieving more than 30% performance improvement on average as the system scales, compared to baseline approaches that do not employ fully distributed processing.     

基于调用链控制流分析的大型微服务系统性能建模与异常定位

大型微服务系统中组件众多、依赖关系复杂, 由于故障传播的涟漪效应, 一个故障可能引起大规模服务异常, 快速识别异常并定位根因是服务质量保证的关键. 目前主要采用的调用链分析方法, 常常面临调用链结构复杂、实例数量庞大、存在大量小样本等问题, 因此提出基于调用链控制流分析, 将大量调用链结构聚合为少量方法调用模型; 并提...