基于 Elasticsearch 的实时集群日志采集和分析系统实现

传统日志工具采集时间长、处理效率低下,无法支持大规模集群日志采集和分析需求。我们从实际需求出发,结合Flume和Elasticsearch设计实现了集群日志的实时采集和快速查询分析系统。通过预设日志规则库,实时统计并展示集群系统的运行状态,提供预警信息。     

基于Hadoop平台的用户行为挖掘

随着互联网发展带来的数据爆炸,使得 Web日志的数据量也越来越大,如何从海量的 Web 日志中挖掘有价值的信息成为了目前研究的热点。本文提出基于 Hadoop 集群框架对 Web 日志进行挖掘。实验结果表明,该集群系统既可以处理海量的 web 日志,同时也能够挖掘出有价值的信息,并证实了利用sqoop在 Hive仓库和传统数据库之间数据迁移的可行性。     

基于集群的多源日志综合审计系统

随着网络规模的扩大,日志审计系统中单个日志服务器受到处理能力的限制,已经成为系统的瓶颈。采用具备高可用性和负载均衡的日志服务器集群系统来解决这个问题,提出一个基于集群的日志审计系统。分析了该系统的体系结构、总体结构模型,以及各个组成模块的功能,并给出一个综合负载统计的动态负载均衡策略。最后,用排队论的方法来分析集群系统的性能。     

基于并行计算的海量日志分析系统实现

通过深入研究日志的类型和特点,设计并实现了一套基于并行计算的海量日志文件分析系统.该系统采用集群方式并行地收集日志文件,采用分布式文件系统存储,最终利用并行计算对日志进行分析处理.该系统实现了日志采集、分析的完全自动化处理,在系统部署之后能够有效地进行系统安全的维护、系统性能的优化、系统故障的排查.该系统结合云计算提高了日志分析的效率,解决了海量日志处理过程中存在的问题,为海量日志分析提供了一个完整有效的解决方案.     

可扩展的Web日志采集框架的设计与实现

以某网站所需的日志分析需求为背景,设计并实现了一种Web日志分析系统的前端日志采集框架.该日志采集方案没有采用传统的写日志文件然后轮训的方式进行日志收集,而是采用客户端/服务器的模式进行"自定义"格式的日志采集.该框架同样完全兼容传统的日志记录格式和记录方式.     

基于集群模式的日志归集与分析系统的设计与实现

随着企业生产系统规模的扩大和周边接口数量的增加,各种类型的日志也相继的产生,尤其在集群环境中,如何获取与分析数十甚至上百台服务器节点上的日志信息已经成为企业亟待解决的问题.本文提出了一种基于集群模式的日志归集与分析的解决方案,利用Flume的高可靠、分布式特性,将集群环境下的日志收集到统一资源进行处理.提出采用基于Hadoop-Hbase的分布式数据库作为数据存储模块,保证了数据的高容错、高吞吐量,重写了基于Hbase数据库的各种接口API,来解决数据存入和读取时的关键问题.研究表明,该系统可协助企业及时、高效的分析系统产生的日志信息,减少开发运维的工作量,目前已经在金融企业核心系统得到实际应用,并取得了较好效果.     

安全日志统一收集平台的数据架构设计与实现

1 数据架构 安全日志统一收集平台采集的业务系统信息数据和安全日志数据信息在一定轮询周期（时间较短）内需要进行一次存储,数据特征为数据量大、插入操作频繁、查询操作范围小。因此对采集上来的数据存储逻辑进行优化,     

基于用户日志的查询扩展统计模型

信息检索长期存在着用词歧义性问题,在Web搜索上的表现更加突出.提出了一种基于用户查询日志的查询扩展统计模型,将用户查询中使用的词或短语与文档中出现的相应词或短语以条件概率的形式连接,利用贝叶斯公式挑选出文档中与该查询关联最紧密的词加入原查询,以达到扩展优化的目的.实验结果表明,该方法更适宜改进Web上的信息检索,相对传统的查询扩展算法可以大幅度提高查询精度.     

网络日志管理分析系统构建技术研究

日志对于系统的日常运维、审计及入侵检测等具有重要作用,如何对日志进行有效的管理和分析是日志系统的重要课题.当前,对日志进行远程集中化管理和分析是普遍认同的有效手段.完整的日志系统包括日志源、日志服务器、日志存储和日志分析四个环节,其中日志服务器具有核心地位.首先介绍了常见的日志服务器系统、客户端软件及前端分析系统,详细说明了功能特性.最后分析了日志系统的部署架构和基本处理流程.     

Web使用挖掘在远程开放教育网站建设的应用

通过广东电大成绩查询网站的开发运行,应用Web使用挖掘技术,对成绩查询网站服务器日志数据及扩展的用户日志数据进行数据挖掘,分析了解学生的访问行为,从而可以为学生提供个性化、针对性的服务;同时基于Web使用挖掘的研究可以使网站结构曼合理、更安全.     

基于微服务架构的日志监控系统的设计与实现

由于软件系统的规模日趋扩大和由此带来的复杂性,会产生大量的日志信息,这些日志需要存储以备查询和分析,而传统的关系数据库对日志存储、查询、分析的能力有限,因此,需要考虑一种大容量复杂场景的日志解决方案。本文介绍了一种基于微服务化架构的日志系统,在日志的收集、处理、存储、展示各个流程都使用微服务方式部署,支持动态扩容缩容、支持大规模日志的处理和存储,满足了复杂使用场景的日志需[1]。     

日志服务器建设和应用

设备日志及时、准确地记录网络运行、服务信息,是网络管理人员应该重点关注的信息源。日志服务器利用日志服务器软件,采集网络设备、安全设备、应用服务器等的日志信息,集中存储管理。这些日志信息可以在日常维护管理中人工查阅,也可以利用程序进行处理和准确分析,实现对网络的全面监管。     

一种查看Linux系统审计日志的图形工具

Linux系统提供了详细的系统审计日志。基于MySQL数据库和Kylix图形开发工具，开发了一个快速查询Linux系统审计日志的图形化工具，并可对查询的日志信息进行统计分析，提高了系统审计日志的实用性。     

基于并行计算的海量日志分析系统实现

通过深入研究日志的类型和特点,设计并实现了一套基于并行计算的海量日志文件分析系统。该系统采用集群方式并行地收集日志文件,采用分布式文件系统存储,最终利用并行计算对日志进行分析处理。该系统实现了日志采集、分析的完全自动化处理,在系统部署之后能够有效地进行系统安全的维护、系统性能的优化、系统故障的排查。该系统结合云计算提高了日志分析的效率,解决了海量日志处理过程中存在的问题,为海量日志分析提供了一个完整有效的解决方案。     

一个简单日志统计工具的设计与实现

服务器日志的统计与分析是每个运维人员必备的技能,对于使用Linux操作系统的服务器,查看其各类系统日志往往是个费时费力的工作,虽然市场上有很多日志统计与分析系统可以解决此类问题,但是这些系统往往价格不菲,而且代码不开源.设计并实现了一个简单的日志统计工具,能够帮助运维人员对日志文件中的特定数据进行简单的统计,计算日志中指定位置数据的出现次数、平均数、最大值及最小值等基本的统计数据,方便运维人员及时了解日志文件的特征.     

基于rabbitmq的海量日志的分布式处理

近年来,随着科学技术的发展,各种设备日志层出不穷,然而传统的基于单节点的集中式日志分析已经无法满足日志海量、异构、多样等要求,何有效的利用分布式计算资源解决海量日志分析问题成为当下日志研究的一个热点问题。本文提出了基于消息队列rabbitmq的集群方案,并在此基础上测试了海量数据的分布式计算.对比实验结果说明集群优势可以有效的解决日志分析海量数据的问题。     

探讨面向Oracle的远程日志查询系统

分析了数据库日志查询系统的需求,剖析了Oracle数据库管理系统的结构,详细设计了远程日志查询系统在Oracle环境下的体系结构以及功能模块,并进一步研究了系统的实现。     

基于OSGi的分布式系统集中日志管理方案

目前分布式业务应用的日志多存储在各分布式服务器节点本地日志文件中,没有集中存储和管理,导致业务系统问题定位速度慢,解决问题效率低.本文提供一种基于OSGi的分布式日志收集与分析技术方案.该方案单独设计了集中的日志存储服务器用于存储日志,并提供一套通用日志模型,业务应用分布式节点向该设备发送基于该模型的日志数据,日志存储服务器接收到各节点的日志数据后进行统一存储和界面化分析展示,帮助开发人员快速定位和分析问题.该方案以OSGi插件形式部署到应用系统,应用卸载该插件后则以原有方式存储日志.应用结果表明,采用该日志管理方案对1000并发下记录日志的业务应用访问性能平均提升2秒,并且没有日志数据丢失.开发人员反馈,错误日志更加一目了然,定位问题的时间明显短于普通的日志存储方式.     

基于可信平台的安全审计日志

任何的安全系统,审计日志都是非常重要的一部分.因此必须保护好审计日志,保证审计日志的保密性和完整性.安全审计日志机制就是为了保护日志系统自身的安全性的,Schneier和Kelsey提出了一种机制来实现日志的防篡改,可以很好地保护系统生成的日志,但是该机制需要依赖于可信服务器.初步探索了可信平台上的安全审计日志机制,并且提出了一种新的日志机制来保护可信平台上生成的日志.该日志机制建立在微软提出的NGSCB平台上,不需要依赖于可信服务器.     

一种基于日志合并优化的数据同步机制

基于复制技术的高可用存储系统，在故障恢复时需要进行数据同步操作以保证数据副本之间的一致，缩减数据同步操作的时间可减少系统修复时间，从而提高存储系统可用性．数据同步过程的时间由数据同步所需传输的数据量决定．本文提出的基于日志操作合并优化的数据同步机制充分考虑到文件访问中的时间和空间局部性，通过对故障期间的所记录的日志进行合并优化，合并和去除不必要的日志项，使得需要同步的数据量最少，从而减少数据同步过程的时间．试验的结果表明，相对于其它几种通用的方式，基于日志合并优化的数据同步机制所传输的数据量最少，可有效的减少数据同步操作的时间．