网络日志管理分析系统构建技术研究

日志对于系统的日常运维、审计及入侵检测等具有重要作用,如何对日志进行有效的管理和分析是日志系统的重要课题.当前,对日志进行远程集中化管理和分析是普遍认同的有效手段.完整的日志系统包括日志源、日志服务器、日志存储和日志分析四个环节,其中日志服务器具有核心地位.首先介绍了常见的日志服务器系统、客户端软件及前端分析系统,详细说明了功能特性.最后分析了日志系统的部署架构和基本处理流程.     

基于安全审计日志的网络文件系统数据完整性保护方法

网络文件系统在方便数据共享的同时也带来了新的安全隐患,审计日志跟踪并记录文件服务器上数据的变化,对于分析评价系统的安全性有重要价值.现有的系统因为不能防止内部攻击以保证审计日志的安全性,无法很好地满足用户需求,如攻击者可以直接通过驱动程序修改磁盘上的审计日志来删除敏感数据.提出了一种基于安全审计日志的对网络文件服务器上的数据进行完整性保护的方法.服务器中的每个文件和目录都对应一个认证符以保证其完整性,通过将文件服务器上的活动记录下来并生成日志,事后根据认证符和分析日志信息来对数据进行审计.另外,通过引入一个可信组件来生成认证符和审计日志并保证它们的安全性.根据该方法在NFS服务器上实现了原型系统Nfsd-log并对其进行了性能测试.SSH-build的测试结果表明,Nfsd-log的总时间开销比未受审计日志保护的原始NFS服务器的时间开销仅增加9.2%.     

Web日志挖掘中的序列模式识别

Web日志挖掘的基本思想是将数据挖掘技术应用于 Web服务器的日志文件 .本文从 Web日志挖掘过程预处理阶段的结果用户会话文件开始 ,提出了一种基于扩展有向树模型进行用户浏览模式识别的 Web日志挖掘方法 ,并在实验室对该方法进行了简单实现和实际日志数据的测试 .     

基于Filebeat自动收集Kubernetes日志的分析系统

Docker容器产生的日志分散在不同的相互隔离的容器中,并且容器具有即用即销的特点,传统的解决方式是将日志文件挂载到宿主机上,但是容器经常会漂移,给日志的统一查看带来挑战,并且传统的Docker容器集群日志分析系统存在扩展性弱、效率低下等问题.本文采用Kubernetes实现容器管理、服务发现及调度,使用Filebeat采集容器及宿主机上的日志文件,并使用Redis作为缓存,Logstash转发,使用主流的开源日志收集系统ELK实现日志的存储、查看、检索.该系统具有可靠性、可扩展性等特点,提高运维人员的工作效率.     

基于OSGi的分布式系统集中日志管理方案

目前分布式业务应用的日志多存储在各分布式服务器节点本地日志文件中,没有集中存储和管理,导致业务系统问题定位速度慢,解决问题效率低.本文提供一种基于OSGi的分布式日志收集与分析技术方案.该方案单独设计了集中的日志存储服务器用于存储日志,并提供一套通用日志模型,业务应用分布式节点向该设备发送基于该模型的日志数据,日志存储服务器接收到各节点的日志数据后进行统一存储和界面化分析展示,帮助开发人员快速定位和分析问题.该方案以OSGi插件形式部署到应用系统,应用卸载该插件后则以原有方式存储日志.应用结果表明,采用该日志管理方案对1000并发下记录日志的业务应用访问性能平均提升2秒,并且没有日志数据丢失.开发人员反馈,错误日志更加一目了然,定位问题的时间明显短于普通的日志存储方式.     

分布式文件系统元数据服务器高可用性设计

设计并实现了面向对象的分布式文件系统元数据服务器高可用方案,用于提高存储系统的可用性.系统使用集中式元数据管理服务器,通过日志文件和检查点文件对元数据进行保存;针对系统特点,该方案采用active/hot-standby模式实现元数据服务器冗余备份.对系统状态监控、日志及检查点数据同步复制、元数据服务器节点失败接管、防止系统split-brain等关键技术问题进行了深入研究和提出相应解决方法,并对影响系统恢复时间的因素进行了细致分析.测试表明,高可用功能的实现对系统性能影响可以随存储文件的增大而减少,并可在失败发生后的较短时间内完成主从服务器的切换.     

日志多维度无监督异常检测算法

在大规模的系统运维中,及时有效地发现系统事件中的异常行为,对于维护系统稳定运行有着重要作用.有效的异常检测方法可以使得系统的运维和开发人员快速定位问题并解决,保证系统快速恢复.系统日志作为记录系统运行信息的重要资料,是对系统进行异常检测的主要数据来源,因此基于日志的异常检测是当前智能运维的重要研究方向之一.本文提出了一种基于无监督的日志多维度异常检测算法,可在无需标注数据的前提下针对日志系统进行自动的数据解析和异常检测.通过使用基于频繁模板树的日志解析获取日志模板后,分别使用3种方法进行异常检测：以基于概率分布使用3-Sigma法判断单指标数值型异常,以基于主成分分析方法使用SPE统计量判断日志组异常,以基于有限自动机的方法判断日志序列异常.通过对超级计算机(Blue Gene/L)和Hadoop分布式文件系统(HDFS)的日志数据以及腾讯内部系统数据进行实验评估,结果表明本文提出算法在5个测试数据集上均有较好的表现.     

基于集群模式的日志归集与分析系统的设计与实现

随着企业生产系统规模的扩大和周边接口数量的增加,各种类型的日志也相继的产生,尤其在集群环境中,如何获取与分析数十甚至上百台服务器节点上的日志信息已经成为企业亟待解决的问题.本文提出了一种基于集群模式的日志归集与分析的解决方案,利用Flume的高可靠、分布式特性,将集群环境下的日志收集到统一资源进行处理.提出采用基于Hadoop-Hbase的分布式数据库作为数据存储模块,保证了数据的高容错、高吞吐量,重写了基于Hbase数据库的各种接口API,来解决数据存入和读取时的关键问题.研究表明,该系统可协助企业及时、高效的分析系统产生的日志信息,减少开发运维的工作量,目前已经在金融企业核心系统得到实际应用,并取得了较好效果.     

Web目标挖掘中的序列模式识别

Ｗｅｂ日志挖掘的基本思想是将数据挖掘技术应用于Ｗｅｂ服务器的日志文件,本文从Ｗｅｂ日志挖掘过程邓处理阶段的结果用户会话文件开始,提出了一种基于扩展有向树模型进行用户浏览模式识别的Ｗｅｂ日志挖掘方法,并在实验室对该方法进行了简单实现和实际日志数据的测试。     

一种基于文件的持续数据保护系统

现有的持续数据保护系统往往关注于保护企业或机构中的大型数据库和应用系统,而忽略了对办公环境中的个人计算机上的数据的保护,因此有必要针对个人计算机设计轻量级的持续数据保护系统,提高个人计算机上的数据安全级别.介绍了一种基于文件的持续数据保护系统,并给出其设计思路和原型实现.该系统在文件接口层次捕获并记录所有对数据的操作,并将这些操作尽力传送到本地或异地的备份服务器上,备份服务器在收到操作记录后在本地进行重放,以便与远端的文件保持一致,同时这些文件操作所对应的逆操作连同相关数据一同被记录在恢复日志中,以备在恢复时将文件回退到任意的恢复点上.实验表明该系统在恢复点目标方面具有较高的容灾性能指标,适用于个人计算机的数据保护.     

基于Web应用的安全日志审计系统研究与设计

近年来随着Web应用技术的不断进步和发展,针对Web应用业务的需求越来越多,随之而来的Web应用安全攻击也呈上升趋势.目前针对网络攻击的防护技术手段也是层出不穷,但一般都是事前检测和事中防护,事后检测维护的则相应比较少.在网络中心有大量的服务器设备,Web日志文件作为服务器的一部分,详细记录设备系统每天发生的各种各样的事件,如客户端对服务器的访问请求记录、黑客对网站的入侵行为记录等,因此要想有效的管理维护设备和在攻击事件发生后及时的降低风险,分析审计日志对于事后检测和维护设备的安全是非常必要的.基于此,文章主要对基于Web应用安全日志审计系统进行研究和设计,日志审计系统主要分为三个子系统：日志采集子系统、分析引擎子系统和日志告警子系统.日志采集子系统采用多协议分析对日志进行收集,并进行相应的日志规范化和去重等处理.分析引擎子系统采用规则库和数理统计的方法,对日志特征进行提取和设置相应的统计量参数,进行比较分析.日志告警子系统则是主要配置相应策略并下发任务,对于审计结果进行界面展示或生成报告并以邮件的方式发送给用户等.     

船载系统日志自动分析软件的设计与实现

船载中心计算机系统的系统日志和测控软件日志记录了大量的系统故障与软件异常信息,如何及时、全面地分析系统日志、软件日志,发现系统运行故障,并及时予以处理、解决,是系统运维人员的一项重要工作;针对当前船载中心计算机系统日志分析现状及存在的问题,系统日志和测控软件日志自动分析软件给出了解决的思路和方法,提出并介绍其实现的技术要点和效果;测试结果表明日志自动分析软件有效地提升了人员工作分析效率,在快速分析故障问题和批量进行系统日志维护方面具有较好应用.     

基于日志数据的分布式软件系统故障诊断综述

基于日志数据的故障诊断指通过智能化手段分析系统运行时产生的日志数据以自动化地发现系统异常、诊断系统故障.随着智能运维（Artificial Intelligence for IT Operations,AIOps）的快速发展,该技术正成为学术界和工业界的研究热点.本文首先总结了基于日志数据的分布式软件系统故障诊断研究框架,然后就日志处理与特征提取、基于日志数据的异常检测、基于日志数据的故障预测和基于日志数据分析的故障根因诊断等关键技术对近年来国内外相关工作进行了深入地分析,最后以本文提出的研究框架为指导总结相关研究工作,并对未来研究可能面临的挑战进行了展望.     

可扩展的Web日志采集框架的设计与实现

以某网站所需的日志分析需求为背景,设计并实现了一种Web日志分析系统的前端日志采集框架.该日志采集方案没有采用传统的写日志文件然后轮训的方式进行日志收集,而是采用客户端/服务器的模式进行"自定义"格式的日志采集.该框架同样完全兼容传统的日志记录格式和记录方式.     

面向多平台的日志远程采集系统研究

日志对于系统的日常运维、审计及入侵检测等具有重要作用,对日志进行远程集中化管理是日志管理的有效手段。由于不同操作系统平台上支持的日志格式不统一,传统上很难将大型网络中不同系统的日志远程采集到集中的日志服务器上。nxlog是一种支持多平台的功能强大的日志采集工具,部署方便,可以在目标系统上持续稳定地收集系统日志,并支持以多种日志格式和传输模式将日志发送到远程日志服务器。同时,Syslog作为一种工业协议,也得到了越来越多的支持。基于nxlog并配合成熟的日志服务器可以构建灵活可靠的系统日志远程采集系统。实际运行结果表明该方案可有效解决大型网络中系统日志远程采集的问题。     

Web日志文件的异常数据挖掘算法及其应用

从数量化角度给出了异常数据的一般性定义，以Web服务器日志文件数据为依据，讨论了挖掘异常数据的方法和途径；给出了基于距离的单指标的离散统计法和综合统计法，并结合校园网作了实际的分析处理。结果表明，该方法是可行的。     

大数据在电台信息化运维管理系统的应用

广播发射台大数据信息化运维管理应用系统,充分利用大数据的手段对电台信息化系统、设备、运行数据及报警日志进行数据存储、监控和分析,提供应急处理机制及预防性检修和维护.该系统重新整合信息化运维管理系统传统七层结构的管理方式,对不同应用、不同系统进行监控.有利于根据系统与安全传输发射的相关性分等级的提供保障措施.     

基于电子商务的客户访问模式算法的分析研究

通过对电子商务中服务器上的日志文件等Web数据进行客户访问信息的分析,重点研究了客户分析系统的数据采集、数据处理以及跟踪客户在Web上的浏览行为并进行模式分析,并构建了用户访问模式的挖掘模型及算法的分析与实现。     

高效的WEB-Log Mining算法

通过对WEB服务器日志文件进行分析,可以发现相似的客户群体、相关WEB页面以及频繁访问路径.这里提出了一种新颖的WEB日志挖掘算法,该算法是以服务器日志文件中的不同会话为聚类对象,通过对不同会话实施空间距离聚类和层次结构比较聚类,最终得到了满意的聚类结果.最后,给出了一个应用实例,实例表明,该方法是有效可行的.     

服务器日志玩儿“躲猫猫”

众所周知,日志文件就是服务器操作系统运行的日记,它能按照既定的设置来记录所发生的事件,包括应用程序日志、安全日志和系统日志三类,分别对应于AppEvent.Evt、SecEvent.Evt和SysEvent.Evt三个日志文件。在Windows2000服务器中,这些日志文件默认是存放于C:\WINNT\system32\config文件夹中的。当操作系统系统发生一些大大小小的故障时,有经验的网管就会从这些日志文件中找到一些蛛丝马迹,特别是一些与安全相关的网络入侵证据(比如黑客入侵时的出发IP地址或是登录账号等信息)。不过话又说回来,许多稍有些头脑的黑客也是深知这一点的,因此为防止被抓住入侵的把柄,很多情况下他们在撤退时使用工具或直接手工来清除所有的日志内容(这样的行为俗称擦脚印或擦PP),甚至是事先制作一份假日志文件再上传至config文件夹中以达到鱼目混珠的上的。因此,对于日志文件的保护工作必须要慎重,其中比较可行的简易方法是与黑客玩儿一下躲猫猫,也就是让日志文件撤离其默认的窝,躲藏到黑客所想不到的地方去!