基于Flume的分布式日志采集分析系统设计与实现

互联网的迅猛发展以及大数据相关技术的兴起,使得日志数据的规模日益剧增,给已有的日志采集及分析系统带来了挑战;同时针对互联网安全的攻击活动也层出不穷,如何在海量的日志中及时提取有效的信息以为企业安全提供信息支撑,也给现有的分析系统提出了新的需求。本文结合使用Flume、Elasticsearch以及Kibana等技术手段提出了一种分布式的日志采集分析系统,从系统设计和架构等方面提出了新的解决思路,并针对Nginx的访问日志进行了实时采集和分析及展示,完成了原型系统的实现,实验证明,基于Flume的分布式的日志采集分析系统方案具有可行性。     

支持审计与取证联动的日志系统设计

目前国内外缺乏综合数据提炼能力的日志搜索和分析系统,也还没有专门同时为安全审计与计算机取证目的设计的日志保护和分析工具,针对这一现状,分析并提出了一种日志综合分析平台,以支持网络审计与计算机取证.描述了这种安全日志文件系统的构建,采集、管理和保护,可以做到审计与取证的联动分析,形成了一个高可信审计与取证能力的基本通用模型.最后给出了系统实现的界面和系统的性能分析.     

网络环境下的日志监控与安全审计系统设计与实现

在拥有大量节点的网络环境中,迫切需要一个能够针对整个网络系统日志,进行统一监控与安全审计的平台。本文分析了日志监控与安全审计平台应当具备的功能,在此基础上提出了网络环境下日志监控与安全审计系统的结构模型,并给出了一种基于Web管理的实现方案。     

一种视频点播日志分析系统的设计与实现

视频点播系统产生大量日志信息,包括机顶盒注册、页面浏览、会话和全局会话负载均衡等日志信息。通过采集这些日志,可以分析出用户的点播流程和视频点播系统的运行状态等信息。对一种视频点播日志分析系统的体系结构进行分析,设计基于C/S架构的日志采集模块和基于多线程并行处理方式的日志分析模块,实现一个视频点播日志分析系统。仿真实验证明,多线程并行处理方式比单线程处理在日志分析的效率上明显提高。     

基于防火墙日志的网络隔离安全审计系统设计与实现

在当前网络攻击方式不断变化的背景下,新出现的安全隔离技术直接阻断网络在链路层上的连接,并进行数据交换.日志是网络安全体系中的重要部分.针对一个网络隔离系统,讨论了日志管理系统的架构、设计实现方法,并在实际中得到应用.     

日志服务器建设和应用

设备日志及时、准确地记录网络运行、服务信息,是网络管理人员应该重点关注的信息源。日志服务器利用日志服务器软件,采集网络设备、安全设备、应用服务器等的日志信息,集中存储管理。这些日志信息可以在日常维护管理中人工查阅,也可以利用程序进行处理和准确分析,实现对网络的全面监管。     

基于Web应用的安全日志审计系统研究与设计

近年来随着Web应用技术的不断进步和发展,针对Web应用业务的需求越来越多,随之而来的Web应用安全攻击也呈上升趋势.目前针对网络攻击的防护技术手段也是层出不穷,但一般都是事前检测和事中防护,事后检测维护的则相应比较少.在网络中心有大量的服务器设备,Web日志文件作为服务器的一部分,详细记录设备系统每天发生的各种各样的事件,如客户端对服务器的访问请求记录、黑客对网站的入侵行为记录等,因此要想有效的管理维护设备和在攻击事件发生后及时的降低风险,分析审计日志对于事后检测和维护设备的安全是非常必要的.基于此,文章主要对基于Web应用安全日志审计系统进行研究和设计,日志审计系统主要分为三个子系统：日志采集子系统、分析引擎子系统和日志告警子系统.日志采集子系统采用多协议分析对日志进行收集,并进行相应的日志规范化和去重等处理.分析引擎子系统采用规则库和数理统计的方法,对日志特征进行提取和设置相应的统计量参数,进行比较分析.日志告警子系统则是主要配置相应策略并下发任务,对于审计结果进行界面展示或生成报告并以邮件的方式发送给用户等.     

可扩展的Web日志采集框架的设计与实现

以某网站所需的日志分析需求为背景,设计并实现了一种Web日志分析系统的前端日志采集框架.该日志采集方案没有采用传统的写日志文件然后轮训的方式进行日志收集,而是采用客户端/服务器的模式进行"自定义"格式的日志采集.该框架同样完全兼容传统的日志记录格式和记录方式.     

通用Web日志挖掘系统设计实现

论述了通用Web日志挖掘系统的总体结构以及它的设计实现过程,为用户从Internet中提取知识,改进站点设计提供帮助.     

Web日志挖掘系统的设计与实现

设计并实现了一个Web日志挖掘系统,将Web日志挖掘应用到校园网站,对其Web服务器的日志记录进行挖掘,并将挖掘出的模式应用于智能Web站点的构建。     

日志系统的设计与实现

对企业时间管理方法进行研究和探讨,设计并实现日志系统,是信息化工具应用于企业时间管理的一次实践研究。     

基于VPN的安全审计系统的设计与实现

针对VPN日志信息的特点，提出了一种安全审计系统的设计。通过采集VPN的多种日志信息进行分析，监控VPN的运行状况，检测系统中存在的不安全因素。既提高了VPN的运行性能，又弥补了VPN在安全防范上存在的不足。     

一种工程数据库日志管理系统的设计与实现

探讨了一种工程数据库管理系统中的日志管理子系统的设计和实现方法。该方法以LSN（Log Sequence Number）来组织日志记录,用于实现日志记录的高效存储和读取,提高数据库实例恢复和事务回滚的速度,在此基础上可以实现ARIES协议。     

Web应用日志分析系统分析与设计

互联网的蓬勃发展为生活、学习、工作提供了诸多便利,但随之而来的网络安全隐患日趋明显.应用日志分析作为一种重要的信息安全保障措施,有效地弥补了传统安全防御技术的缺陷.主要分析了传统日志分析的常用方法,并在此基础上,提出了一种新的日志读取方法和模式匹配算法.通过测试表明,这些改进对提高日志的分析效率起到了积极效果.     

入侵检测中对系统日志审计信息进行数据挖掘的研究

入侵检测系统是用来检测网络入侵行为的工具，入侵检测系统的关键在于其安全模式规则的准确性，网络系统中存在大量的日志审计数据，在这些日志审计数据中含有许多与安全有关的信息，入侵检测系统可以从日志审计数据中提取安全模式规则，但由于这些日志审计数据量非常庞大，因此采用数据挖掘技术从中进行安全模式规则的提取，研究了如何在入侵检测中对系统日志审计信息进行数据挖掘，提出了全套的步骤，并重点论述了采用轴属对日志审计信息进行特征提取。     

基于大数据实时web防火墙日志安全审计系统的探究

随着信息科学技术的迅猛发展,信息技术的广泛应用促进了全球资源的优化配置和发展模式创新,互联网对政治、经济、社会和文化的影响愈加深远,围绕着信息获取、利用和控制的国际竞争日趋激烈,网络与信息安全面临的形势日益严峻。并且将服务和业务扩展到web平台上,传统的防火墙已经无法满足日趋多样化、复杂化的恶意攻击。     

基于关联规则的Web日志挖掘算法研究

分析了经典的Web日志挖掘算法Apriori的特点,使其具有更高的效率。     

一种基于关联规则的Web日志数据挖掘的实现方法

介绍一个基于关联规则数据挖掘Web日志分析的实现方法,提出通过对Apriori算法的改进,提高其挖掘效率,根据其结果,达到理解用户行为和改善Web结构的目的.     

领域驱动设计在日志管理系统中的实践

领域驱动设计是面向对象设计的一个重要延伸。主要对企业时间管理方法进行研究和探讨,设计并实现了关键领域模型和日志管理系统。