面向多平台的日志远程采集系统研究

日志对于系统的日常运维、审计及入侵检测等具有重要作用,对日志进行远程集中化管理是日志管理的有效手段。由于不同操作系统平台上支持的日志格式不统一,传统上很难将大型网络中不同系统的日志远程采集到集中的日志服务器上。nxlog是一种支持多平台的功能强大的日志采集工具,部署方便,可以在目标系统上持续稳定地收集系统日志,并支持以多种日志格式和传输模式将日志发送到远程日志服务器。同时,Syslog作为一种工业协议,也得到了越来越多的支持。基于nxlog并配合成熟的日志服务器可以构建灵活可靠的系统日志远程采集系统。实际运行结果表明该方案可有效解决大型网络中系统日志远程采集的问题。     

基于深度学习的分布式安全日志分析方法

为了提高日志分析是当前进行入侵检测和安全防御的重要手段。针对传统基于规则的分析方法中误报、漏报较高,应对海量日志分析效率过低的问题,该文章提出了一种基于深度学习的分布式安全日志分析方法,通过将深度学习算法与现有黑白名单、规则匹配以及统计策略等技术结合,进行日志分析,检测网络中的安全威胁。系统采用分布式的存储和计算平台,能够进行离线和实时两种日志分析模式,可以满足大多数场景下海量的日志数据分析需求。     

可扩展的Web日志采集框架的设计与实现

以某网站所需的日志分析需求为背景,设计并实现了一种Web日志分析系统的前端日志采集框架.该日志采集方案没有采用传统的写日志文件然后轮训的方式进行日志收集,而是采用客户端/服务器的模式进行"自定义"格式的日志采集.该框架同样完全兼容传统的日志记录格式和记录方式.     

MRTG日志文件的分析研究

对MRTG日志格式做了详细的分析,进一步说明了MRTG日志文件的形成,并且通过perl语言对日志文件进行了再分析.     

基于Windows的Syslog日志系统设计与实现

针对传统的单一设备和人工管理方式不能应对日益复杂的网络威胁和挑战,不能及时发现和准确定位网络安全事件,也不能对安全事件可能造成的后果进行准确评估的问题,本文主要讨论如何基于标准Syslog协议,通过对网络设备大量网络日志数据的集中采集,通过SQL代理处理后进行分析,构造一套日志系统,以达到对网络运行状况进行检测的目的。     

Web日志统计分析系统的设计与实现

Web服务器使用日志记录了Web服务器接收处理请求以及运行时所出现的错误等各种原始信息。通过对该日志的分析和统计。就能有效地掌握服务器的运行状况,发现网站中存在的问题与不足。本文在对MS IIS日志文件格式分析的基础上．详细地介绍在．NET Framework环境中使用C#快速开发MS IIS Web使用日志统计分析系统的相关技术问题。     

Informix数据库安全审计系统设计与实现

数据库安全审计对于保障数据库安全是至关重要的.设计实现一个Informix数据库安全审计系统,通过对Informix数据库审计日志文件格式的分析,能够对数据库的操作按照用户会话过程进行还原,同时设计多级的安全规则对相应的数据库操作给出不同级别的警告.在系统架构上,采用分离的采集器和分析器结构,能针对多个日志数据源进行同时处理,日志分析结果采用XML格式进行存储,具有很好的通用性和可扩展性.实验测试结果表明,系统能很好地完成Informix数据库操作的实时审计.     

BOSS系统日志分析研究与应用

当前营业员和用户在BOSS系统办理业务出现问题和故障的时候,通常由用户打10086投诉或者营业员报障给后台维护人员进行故障处理,这个处理流程很耗时间,影响问题的解决效率。BOSS系统日志文件中有大量的信息,从中可以获取到系统详细出错信息。通过建立日志分析管理平台,实时采集BOSS系统各台主机上的日志文件,对达到一定阀值的错误进行告警,并对日志信息进行分析,提供给维护人员进行问题的分析、定位和解决,大大提高问题发现和解决的效率,提升前台业务人员和客户对业务支撑系统的满意度。     

BOSS系统日志分析研究与应用

当前营业员和用户在BOSS系统办理业务出现问题和故障的时候,通常由用户打10086投诉或者营业员报障给后台维护人员进行故障处理,这个处理流程很耗时间,影响问题的解决效率。BOSS系统日志文件中有大量的信息,从中可以获取到系统详细出错信息。通过建立日志分析管理平台,实时采集BOSS系统各台主机上的日志文件,对达到一定阀值的错误进行告警,并对日志信息进行分析,提供给维护人员进行问题的分析、定位和解决,大大提高问题发现和解决的效率,提升前台业务人员和客户对业务支撑系统的满意度。     

一种基于物理级的关系数据库数据复制模型研究

针对当前逻辑级数据库数据复制技术中存在的问题,本文提出一种基于物理级的数据库数据复制模型。该模型利用一个主备数据库复制组来确立其参照关系,通过对Oracle数据库在文件系统格式下、裸设备下以及对基于数据库特殊卷管理器格式下的Redo日志的解析,在日志变化的第一时间挖掘日志捕获数据变化片段,之后采用弱滚动校验和同步增量方式将数据片段并行同步到备端。备端进行日志片段的重组,修改日志头标志位,合成日志文件并与源端校验通过后注册到灾备库,然后将合成日志以自动或者手动方式写入灾备库,从而实现物理级数据库数据复制。通过测试对比分析,验证了该模型不但可以保证两端数据一致性,而且还可以降低数据复制延时。     

基于 Elasticsearch 的实时集群日志采集和分析系统实现

传统日志工具采集时间长、处理效率低下,无法支持大规模集群日志采集和分析需求。我们从实际需求出发,结合Flume和Elasticsearch设计实现了集群日志的实时采集和快速查询分析系统。通过预设日志规则库,实时统计并展示集群系统的运行状态,提供预警信息。     

基于文本策略和SMCS的海量日志分析方法

现有的海量日志统计分析方法速度慢,且对硬件配置的要求高。为此,提出一种基于文本策略和SMCS的海量日志分析方法。根据文件的软件设计策略,采用日志文件索引方法,将日志文件与日志时间关联,以加快日志提取。SMCS算法采用哈希表、文件归并、堆操作方法对海量日志进行统计分析和内存损耗控制。通过对真实软件进行对比实验,结果表明,该方法的分析速度比传统方法提高4倍。     

基于专家系统的Web日志数据处理方法研究

企业员工访问网站的记录在企业服务器中形成了大规模日志数据,从这些海量数据中发掘出有意义的信息是管理企业员工重要的环节,并成为大数据时代关注的重点。完成数据挖掘的核心工作之一就是对原始数据的预处理,它影响到数据分析结果的准确度。但由于web日志是Apache、Nginx和IIS等web服务器运行时产生的系统日志,web日志格式根据使用web服务器的不同而不同。所以,传统的日志数据清洗方式难以应对目前如此复杂的日志格式。由于专家系统其技术特点能应对复杂的日志格式,所以通过结合专家系统,推理出对应的web日志格式,从而自动进行日志数据清洗,可以使得当下复杂海量web日志数据预处理更加高效,智能。首先,介绍了专家系统;其次,介绍了web日志数据一般的数据预处理流程;最后,结合专家系统对海量复杂的web日志数据进行数据预处理,并通过实验验证了该方法的可行性。     

基于Windows日志的信息安全技术初步研究

阐述了日志在信息安全中的重要性,分析了Windows2003日志的格式和典型攻击行为对日志的影响。结合普渡大学和微软的研究成果,探讨了日志的信息保护和数据分析技术。提出了一种基于事件流量的日志数据分析方法,可在一定程度上弥补误用检测中模式匹配分析的不足。     

主机日志分析及其在入侵检测中的应用

主机日志在入侵检测中有着不可替代的作用,通过深入分析主机日志可以发现系统的异常行为。该文分析了主机日志的构成,主机日志在计算机安全领域中的应用,并给出了常用的主机日志和基于主机日志的入侵检测系统。主机日志的分析方法有很多,文章对这些方法进行了分类并对它们进行了详细的讨论。最后,给出了一种基于主机日志分析的入侵检测通用模型。     

安全审计系统中日志数据整合的研究

日志数据是安全审计系统的重要数据来源,但由于不同安全产品所生成的日志格式未能实现完全的统一,安全审计系统在使用这些日志数据前必须做好日志格式的整合工作,本文就此提出一些探讨。     

基于日志挖掘的计算机取证系统的分析与设计

本文主要讨论基于日志的计算机取证分析系统的分析与设计，给出了基于计算机日志的取证分析系统的总体结构和计算机日志分析取证系统日志处理、挖掘与分析子系统结构，并着重讨论了日志数据的预处理、挖掘与分析模块的主要功能与设计思想，并对挖掘模式进行了评估和分析。     

Windows下基于主机的安全日志服务器

越来越多的计算机犯罪需要进行电子取证,安全日志服务器在针对电子犯罪的监控、审计以及取证活动中发挥了重要作用。主机日志在电子取证以及入侵检测中有着不可替代的作用,通过深入分析主机日志可以发现系统的异常行为并记录下来作为日后的电子证据或进行实时的入侵检测分析。该文简要介绍了安全日志服务器系统的发展背景,分析了主机日志的构成,主机日志在计算机安全领域中的应用,详述了对主机日志信息的处理并给出了基于主机日志的安全系统的结构搭建。     

一种基于属性哈希的告警日志去重方法

网络安全防护设备产生的告警日志中存在大量重复告警,影响实时的网络威胁态势分析。为解决告警日志的实时准确去重问题,提出了一种基于属性哈希的告警日志去重方法。该方法采用属性哈希实现重复告警的快速检测,并采用哈希表同时解决了大量非重复告警日志的存储问题。在基于Darpa数据集构建的告警日志上进行了实验,结果表明该方法在保证较低时间复杂度的同时,去重准确率可以达到95%以上。     

基于数据库日志的变化数据捕获研究

变化数据捕获方法是数据集成基础设施的战略组成部分,不断推动ETL、EAI等技术的发展.许多数据库厂商都提供了自己的CDC(Change data capture)产品,但只限于针对本身的数据库系统,价格也比较昂贵.虽然通过扫描数据库日志文件可以捕获变化数据,但大多数数据库系统都不提供日志文件的内部格式而只是提供日志访问的程序接口,如Oracle,SQL Server和DB2等.这些提供的接口有的访问活动日志,有的访问稳定日志,有的访问归档日志,因此很难保证读取日志文件的可靠性.现有的研究主要是如何利用程序应用接口读取日志文件,忽略了对可靠性的分析.本文针对读取不同类型的日志文件的可靠性条件进行了分析,提出了可靠读取规则及读取算法;并提出了从日志文件中有效抽取变化数据算法,实验证明了可靠性分析模型.