基于流式处理架构的日志采集系统的设计与实现

对信息系统运行记录、操作日志、告警信息的采集问题进行了研究,提出了一种面向泛政府行业安全运行管理平台的统一日志采集系统。采用基于消息队列的流式处理架构,实现日志采集、日志处理、日志上报等各个环节的解耦;采用标准化接口和插件技术,实现各种异构日志信息的采集和数据上报;采用消息队列的流量削峰技术,保证日志传输的安全可靠;依据日志流量特征,提出一种支持动态调整消费组的设计模式,满足系统的高性能要求。整个系统由日志采集、数据上报、数据管理、系统管理、策略管理、Agent管理、日志源管理模块和日志采集代理(Agent)子系统组成,可满足对各类安全数据的集中分析、安全威胁感知和智能研判。     

一种日志采集统计系统的设计与实现

日志采集系统是所有数据的源头,日志采集的重要性不言而喻.基于各种日志采集框架的优缺点,提出了一种基于Log4j和Zookeeper的日志采集技术,提供了方便、快捷、实用的日志采集及统计的解决方案.     

一种基于Agent技术的入侵检测系统模型

本文首先指出了将Agent技术应用于入侵检测系统的优势,依据入侵检测系统的特点给出了主机的状态转换图,并提出了一个入侵检测模型,该模型的主机中有数据异常检测Agent、特征提取Agent、数据一致性检测Agent、完整性检测Agent以及日志处理,Agent通过学习机制建立行为库,对行为库里的信息进行推理获得入侵规则信息并将其加入到入侵规则库.最后用Aglet技术对该模型进行了仿真和实现,得出基于Agent的入侵检测技术具有较高的检测率及较低的误报率。     

基于Agent的分布式数据挖掘系统

本文致力于研究如何将多代理技术应用于分布式数据挖掘中的课题,通过分析典型分布式结构的Web服务器日志,设计Web日志挖掘系统的体系结构、各个代理的具体研究设计工作等。本文将多代理技术与Web日志挖掘技术结合起来,一方面可以更清晰的进行数据挖掘系统的设计,另一方面可以充分利用多代理技术来提高数据挖掘的效率,从而对基于Agent的分布式数据挖掘系统的理论意义和应用层面价值进行探索。     

基于Flume的分布式日志采集分析系统设计与实现

互联网的迅猛发展以及大数据相关技术的兴起,使得日志数据的规模日益剧增,给已有的日志采集及分析系统带来了挑战;同时针对互联网安全的攻击活动也层出不穷,如何在海量的日志中及时提取有效的信息以为企业安全提供信息支撑,也给现有的分析系统提出了新的需求。本文结合使用Flume、Elasticsearch以及Kibana等技术手段提出了一种分布式的日志采集分析系统,从系统设计和架构等方面提出了新的解决思路,并针对Nginx的访问日志进行了实时采集和分析及展示,完成了原型系统的实现,实验证明,基于Flume的分布式的日志采集分析系统方案具有可行性。     

一种分布式Web日志挖掘系统的设计与实现

Web挖掘已从早期的理论研究逐步转向实用阶段,可以利用对Web日志的挖掘发现用户的浏览模式、分析站点的使用情况。有效的Web日志挖掘工具是Web日志挖掘应用成功的关键。针对Web日志挖掘工具存在的问题与不足,提出了一种新颖的基于移动Agent技术的分布式Web日志挖掘系统（MAWLMS）的体系结构。重点阐述了移动代理层的设计,详细说明了移动Agent挖掘算法的设计与实现,包括最大向前路径识别算法和频繁遍历路径发现算法。最后对MAWLMS系统进行了验证,实验结果显示基于MAWLMS系统的分布式Web日志挖掘是可行且有效的。     

重大危险源智能监控Agent模型及其应用研究

在重大危险源的安全管理中,监控各种安全状态参数是非常重要的.本文提出基于Agent的重大危险源智能监控结构模型,分析了针对贮存易燃易爆气体贮存装置进行监控的硬件结构,以及基于面向对象技术的Agent软件实现方法.该监控Agent应用于重大危险源分布式远程监控系统中,实现了安全状态参数的实时散据采集和控制,并通过通信与其它Agent协商合作,共同实现监控目标.将智能Agent技术用于重大危险源监控,增强了系统对监控环境的适应性,以及构建系统的灵活性,为重大危险源的安全监控和管理提供了新的技术手段.     

基于Web Services技术的MAS协作机制实现

协作机制的研究是多Agent系统的基础。本文提出了基于Web Services技术的MAS协作机制的实现方案，该方案不仅完善和丰富了多Agent系统协作机制理论，也为开发实际的多Agent系统提供了有效的处理方法和实现技术。     

一种新的基于Agent的入侵检测系统模型

在CIDF(Common Intrusion Detection Franlework，通用入侵检测框架)的基础上，引入了Agent技术，提出了一种新的基于Agent的入侵检测系统模型。该模型通过静态智能Agent和移动Agent技术实现了分布式的基于主机和基于网络相结合的入侵检测，在技术上采用模式匹配和协议分析，并且采用了PGP技术和数字签名方案进一步实现了入侵检测系统自身的安全性。     

基于多Agent的智能导学系统的研究与设计

智能导学系统是针对CAI系统的不足而提出的能够基于领域知识和学生模型进行决策、指导的教学系统。多Agent技术为智能导学系统的设计与实现提供了解决方案。本文主要讨论了基于多Agent技术开发的智能导学系统的功能设计以及数据库系统设计。