Rsyslog在IT日志采集中的应用

随着我国互联网发展,网络安全问题日益严重。校园网出口防火墙、网络行为审计等系统在运行过程中产生海量IT日志,这些日志对高校安全管理有着重要意义。但是,校园网IT日志种类繁多、数量巨大,给采集发送工作带来很大困难。文章对校园网IT日志采集的难点进行了分析,应用Rsyslog到校园网IT日志采集,以较低的运行成本和对现有应用最小的影响,解决日志的采集和转发问题。     

基于OSGi的分布式系统集中日志管理方案

目前分布式业务应用的日志多存储在各分布式服务器节点本地日志文件中,没有集中存储和管理,导致业务系统问题定位速度慢,解决问题效率低.本文提供一种基于OSGi的分布式日志收集与分析技术方案.该方案单独设计了集中的日志存储服务器用于存储日志,并提供一套通用日志模型,业务应用分布式节点向该设备发送基于该模型的日志数据,日志存储服务器接收到各节点的日志数据后进行统一存储和界面化分析展示,帮助开发人员快速定位和分析问题.该方案以OSGi插件形式部署到应用系统,应用卸载该插件后则以原有方式存储日志.应用结果表明,采用该日志管理方案对1000并发下记录日志的业务应用访问性能平均提升2秒,并且没有日志数据丢失.开发人员反馈,错误日志更加一目了然,定位问题的时间明显短于普通的日志存储方式.     

基于Docker的大规模日志采集与分析系统

传统日志分析技术在处理大规模日志时存在效率低、功能简单、实际应用扩展性弱等问题.为解决这些问题,设计了基于Docker的大规模日志采集与分析系统.系统分为数据采集、数据缓存、数据转发、数据存储、数据检索和展示五层,支持从不同数据源采集各种类型的日志,通过Kafka消息队列提供可靠数据传输,利用Elasticsearch实现数据分布式存储和检索,并以可视化方式分析日志.同时采用Docker容器技术实现系统的快速部署和版本控制.该系统具有实时性、可扩展性、易部署等特点.实验结果表明了该系统可行有效,具有良好的实用价值.     

浅谈南京人社运维审计系统建设

随着网络信息技术的迅速发展,人社系统的网络规模和设备数量迅速扩大,建设重点逐步从网络信息化到网络信息安全、提升效益为特征的运行维护阶段;IT系统运维与安全管理正逐渐走向融合.人社系统的安全运行直接关系人社业务的工作效率,如何构建一个强健的运维安全管理体系对人社信息化的发展至关重要,同时对运维的安全性提出更高要求.面对日趋复杂的IT系统,不同背景的运维人员已给人社系统安全运行带来较大潜在风险,主要表现在:账号管理无序,暗藏巨大风险;粗放式权限管理,安全性难以保证;第三方代维人员带来安全隐患;传统网络安全审计系统无法审计运维加密协议、远程桌面内容;设备自身日志粒度粗,难以有效定位安全事件.上述风险带来的运维安全风险和审计问题,已经成为人社信息系统安全运行的严重隐患,将制约业务发展,影响人社业务的正常开展.人社的网络运维安全管理已刻不容缓.     

基于集群模式的日志归集与分析系统的设计与实现

随着企业生产系统规模的扩大和周边接口数量的增加,各种类型的日志也相继的产生,尤其在集群环境中,如何获取与分析数十甚至上百台服务器节点上的日志信息已经成为企业亟待解决的问题.本文提出了一种基于集群模式的日志归集与分析的解决方案,利用Flume的高可靠、分布式特性,将集群环境下的日志收集到统一资源进行处理.提出采用基于Hadoop-Hbase的分布式数据库作为数据存储模块,保证了数据的高容错、高吞吐量,重写了基于Hbase数据库的各种接口API,来解决数据存入和读取时的关键问题.研究表明,该系统可协助企业及时、高效的分析系统产生的日志信息,减少开发运维的工作量,目前已经在金融企业核心系统得到实际应用,并取得了较好效果.     

基于知识图谱驱动的网络安全等级保护日志审计分析模型研究

为了从海量的日志数据中审计分析安全事件,并进行事件溯源,文章提出基于知识图谱驱动的网络安全等级保护日志审计分析模型。该模型将安全、运维、数据分析和等级测评数据融合进行日志数据增益;将服务器、网络设备和安全设备作为本体构建节点;将业务数据流作为连接两个节点的关系,业务数据流的方向作为关系的方向。从安全管理中心、安全计算环境、安全区域边界和安全通信网络4个方面构建相应的网络安全等级保护日志知识图谱,实现网络日志的高效关联和深度挖掘分析,可以不需要对问题进行精确建模而在数据上直接进行分析和处理,适用于进行网络安全日志的大数据分析,为大规模复杂日志审计分析的求解提供了一种有效手段。     

基于Web应用的安全日志审计系统研究与设计

近年来随着Web应用技术的不断进步和发展,针对Web应用业务的需求越来越多,随之而来的Web应用安全攻击也呈上升趋势.目前针对网络攻击的防护技术手段也是层出不穷,但一般都是事前检测和事中防护,事后检测维护的则相应比较少.在网络中心有大量的服务器设备,Web日志文件作为服务器的一部分,详细记录设备系统每天发生的各种各样的事件,如客户端对服务器的访问请求记录、黑客对网站的入侵行为记录等,因此要想有效的管理维护设备和在攻击事件发生后及时的降低风险,分析审计日志对于事后检测和维护设备的安全是非常必要的.基于此,文章主要对基于Web应用安全日志审计系统进行研究和设计,日志审计系统主要分为三个子系统：日志采集子系统、分析引擎子系统和日志告警子系统.日志采集子系统采用多协议分析对日志进行收集,并进行相应的日志规范化和去重等处理.分析引擎子系统采用规则库和数理统计的方法,对日志特征进行提取和设置相应的统计量参数,进行比较分析.日志告警子系统则是主要配置相应策略并下发任务,对于审计结果进行界面展示或生成报告并以邮件的方式发送给用户等.     

基于SQL-on-Hadoop查询引擎的日志挖掘及其应用

随着计算机和网络技术的迅猛发展以及数据获取手段的不断丰富,海量数据的实时处理需求日益增多,传统的日志分析技术在处理海量数据时存在计算瓶颈。大数据时代下,随着开放式处理平台的发展,能够处理大规模且多样化数据的大数据处理系统应运而生。为了让原有的业务能够充分利用Hadoop的优势,本文首先研究了基于大数据技术的网络日志分析方法,构建了网络日志分析平台以实现万亿级日志采集、解析、存储和高效、灵活的查询与计算。对比分析了Hive、Impala和Spark SQL这3种具有代表性的SQL-on-Hadoop查询系统实例,并展示了这类系统的性能特点。采用TPC-H测试基准对它们的决策支持能力进行测试及评估,通过对实验数据的分析和解释得到了若干有益的结论。实现了海量日志数据计算与分析在证券领域的几种典型应用,为进一步的研究工作奠定了基础。     

基于日志数据的分布式软件系统故障诊断综述

基于日志数据的故障诊断指通过智能化手段分析系统运行时产生的日志数据以自动化地发现系统异常、诊断系统故障.随着智能运维（Artificial Intelligence for IT Operations,AIOps）的快速发展,该技术正成为学术界和工业界的研究热点.本文首先总结了基于日志数据的分布式软件系统故障诊断研究框架,然后就日志处理与特征提取、基于日志数据的异常检测、基于日志数据的故障预测和基于日志数据分析的故障根因诊断等关键技术对近年来国内外相关工作进行了深入地分析,最后以本文提出的研究框架为指导总结相关研究工作,并对未来研究可能面临的挑战进行了展望.     

Web业务系统可用性评估系统的研究与实现

针对传统可用性评估方法在对Web业务系统进行可用性评估时存在的操作难度大、不便针对大量用户、效率低的不足,研究和实现了面向Web业务系统的可用性评估系统.可用性评估系统是自动化的可用性评估工具,它以系统日志文件中的数据为主要评估数据,根据业务系统的情况加入业务日志文件中的数据作为补充评估数据,主要处理过程包括数据预处理、事务识别和可用性评估等3个阶段.可用性评估系统能够提供有指导价值的评估结果,使系统的设计和开发人员更好地了解用户使用系统的实际情况,以发现可用性问题,为进一步改进系统提供参考.     

基于BERT的多视角事件日志修复

在业务流程执行过程中,由于信息系统故障或者人工记录出错等问题导致事件日志中数据的丢失,从而产生缺失的事件日志,使用这种缺失日志会严重影响业务流程分析结果的质量。针对这种缺失日志的修复问题,现有的研究大部分仅从数据视角或者行为视角进行展开,很少从数据和行为相融合的视角开展事件日志的修复工作。提出了一种基于BERT模型的多视角事件日志修复方法。该方法利用双层BERT模型,从数据和行为融合的视角训练模型,通过BERT模型的预训练任务（masked attribute model,MAM）和（masked event model,MEM）以及Transformer编码块的注意力机制,捕获输入属性的双向语义信息和长期依赖关系,使用微调策略进行模型训练,以预测的形式修复事件日志中的缺失值。最后,通过公开可用的数据集进行评估分析,结果表明,该方法在修复事件日志方面表现良好。     

基于多维时序日志的异常行为可视分析

当前许多企业面临着来自内部的信息安全问题,由于核心信息的窃取而造成无法估量的损失。企业内部的监控日志数据记录了员工的操作行为与访问记录,通过对内部监控日志进行有效的分析以及时发现员工的异常行为具有重要的意义。然而现有的关于日志分析的方法不能很好地结合多种用户行为日志进行有效分析,并及时发现异常行为提前进行预警。针对这一问题,基于日志的多维性和时序性,提出了一种新颖的可视化系统MLVis。通过设计多个可视化视图,实现一个交互式的可视分析系统,可以帮助决策者发现异常行为,定位异常员工,并分析异常行为之间的联系。采用ChinaVis2018挑战赛I的数据集进行实验和案例分析,验证了该系统的可行性和有效性。     

A novel completeness definition of event logs and corresponding generation algorithm

As the promotion of technologies and applications of Big Data, the research of business process management (BPM) has gradually deepened to consider the impacts and challenges of big business data on existing BPM technologies. Recently, parallel business process mining (e.g. discovering business models from business visual data, integrating runtime business data with interactive business process monitoring visualisation systems and summarising and visualising historical business data for further analysis, etc.) and multi-perspective business data analytics (e.g. pattern detecting, decision-making and process behaviour predicting, etc.) have been intensively studied considering the steep increase in business data size and type. However, comprehensive and in-depth testing is needed to ensure their quality. Testing based solely on existing business processes and their system logs is far from sufficient. Large-scale randomly generated models and corresponding complete logs should be used in testing. To test parallel algorithms for discovering process models, different log completeness and generation algorithms were proposed. However, they suffer from either state space explosion or non-full-covering task dependencies problem. Besides, most existing generation algorithms rely on random executing strategy, which leads to low and unstable efficiency. In this paper, we propose a novel log completeness type, that is, #TAR completeness, as well as its generation algorithm. The experimental results based on a series of randomly generated process models show that the #TAR complete logs outperform the state-of-the-art ones with lower capacity, fuller dependencies covering and higher generating efficiency.     

建立工作流数据仓库

工作流管理系统(WfMS)是允许定义、执行、监视和管理商业过程的软件平台。一个WfMS记录了在过程执行中发生的每一个事件,因此,工作流的日志包含了相当多的重要信息。通过分析这些信息,可以评估工作流的性能,了解影响工作流性能高低的原因,从而对工作流进行调整。本文提出一种方案对工作流的日志信息进行加工、综合,建立工作流数据仓库(WDW),然后根据在WDW中进行OLAP的结果,调整WfMS的运行。     

一种基于日志数据仓库的工作流监控方法

工作流管理系统是允许定义、执行、监视和管理商业过程的软件平台。一个工作流管理系统记录了在过程执行中发生的每一个事件,因此,工作流的日志包含了相当多的重要信息。通过分析这些信息,可以评估工作流的性能,了解影响工作流性能高低的原因,从而对工作流进行调整。本文提出一种方案对工作流的日志信息进行加工、综合,建立工作流数据仓库,然后根据在工作流数据仓库中进行OLAP的结果,调整工作流管理系统的运行。     

基于数据中心模式的多网站数据挖掘技术研究

随着互联网的快速发展,Web上的数据飞速增长。面对海量的数据,如何从中找出有价值的信息,运用到商业决策的制定中,已经成为越来越多的人关心的课题。该文主要介绍了web数据挖掘的概念和分类,论述了在电子商务中web挖掘的过程和方法,揭示了数据挖掘在电子商务中广泛的应用前景。论文实现了一个面向多电子商务平台的数据挖掘系统,系统面对多电子商务平台,实现了统一的数据收集和预处理过程,对用户的访问日志进行分析,从网站、商品类别、商品等角度进行数据分析,并又对用户的访问数据进行挖掘,从这些数据中发现潜在的规律,把握用户动态,帮助企业制定商业决策,使电子商务更具个性化和针对性。     

网络用户浏览行为的分析

近年来,Web使用挖掘成为数据挖掘领域中一个新的研究热点,Web使用挖掘是从记录了大量网络用户行为信息的Web日志中发现用户访问行为特征和潜在规律.本文结合某高校主页的真实运行数据,通过Web使用挖掘对于网站的运行日志文件进行全面的挖掘分析,分析用户对信息内容的兴趣度,并通过用户对网页的访问数据推算出各个页面受众的兴趣度高低,借此改良网站的内容和布局.     

UiLog: Improving Log-Based Fault Diagnosis by Log Analysis

In modern computer systems, system event logs have always been the primary source for checking system status. As computer systems become more and more complex, the interaction between software and hardware increases frequently. The components will generate enormous log information, including running reports and fault information. The sheer quantity of data is a great challenge for analysis relying on the manual method. In this paper, we implement a management and analysis system of log information, which can assist system administrators to understand the real-time status of the entire system, classify logs into different fault types, and determine the root cause of the faults. In addition, we improve the existing fault correlation analysis method based on the results of system log classification. We apply the system in a cloud computing environment for evaluation. The results show that our system can classify fault logs automatically and effectively. With the proposed system, administrators can easily detect the root cause of faults.     

PLQ: An Efficient Approach to Processing Pattern-Based Log Queries

As software systems grow more and more complex, extensive techniques have been proposed to analyze the log data to obtain the insight of the system status. However, during log data analysis, tedious manual efforts are paid to search interesting or informative log patterns from a huge volume of log data, named pattern-based queries. Although existing log management tools and DMBS systems can also support pattern-based queries, they suffer from a low efficiency. To deal with this problem, we propose a novel approach, named PLQ (Pattern-based Log Query). First, PLQ organizes logs into disjoint chunks and builds chunk-wise bitmap indexes for log types and attribute values. Then, based on bitmap indexes, PLQ finds candidate logs with a set of efficient bit-wise operations. Finally, PLQ fetches candidate logs and validates them according to the queried pattern. Extensive experiments are conducted on real-life datasets. According to experimental results, compared with existing log management systems, PLQ is more efficient in querying log patterns and has a higher pruning rate for filtering irrelevant logs. Moreover, in PLQ, since the ratio of the index size to the data size does not exceed 2.5% for log datasets of different sizes, PLQ has a high scalability.