一种通用综合日志系统的设计与实现

日志系统伴随着大型系统产生,用来记录系统运行时的状态等各方面信息.设计并实现了一种通用综合日志系统,能适应更多系统的日志管理需求.通过这个系统,提高了程序的复用性,并使时间复杂度控制在合理范围内,极大地减少了企业在日志系统方面的开发投入.     

一种基于Thrift的日志收集分析系统

传统的方式是将日志记录到本地日志文件中,然后使用日志分析程序进行分析。而 PaaS 平台运行着由不同编程语言和开发框架编写的应用,其记录日志的方式不尽相同,使日志分析程序的通用性不佳;一个应用又会有多个实例在运行,导致同一个应用的日志分散在多个地方,不便于管理。本文设计了一种简单灵活的日志格式,使用 Thrift 作为远程调用框架,支持多种编程语言调用服务,将日志数据统一在 MongoDB 中进行存取和查询。开发者还可以指定字段进行统计,直接生成图表。系统部署则采用 Docker 容器的方式,可以方便地进行水平扩展。实际运行表明,运用相关技术构建的日志收集分析系统易于使用,功能丰富,能够灵活扩展,很好地满足了 PaaS 平台的需求。     

Web日志统计分析系统的设计与实现

Web服务器使用日志记录了Web服务器接收处理请求以及运行时所出现的错误等各种原始信息。通过对该日志的分析和统计。就能有效地掌握服务器的运行状况,发现网站中存在的问题与不足。本文在对MS IIS日志文件格式分析的基础上．详细地介绍在．NET Framework环境中使用C#快速开发MS IIS Web使用日志统计分析系统的相关技术问题。     

基于通用遥感数据处理系统的日志子系统的设计与实现

随着计算机应用系统的飞速发展,应用环境、实现流程和组成模块日趋复杂,记录应用软件运行状态的日志功能越发重要。在分析了国际上主要日志系统功能的基础上,针对我们在开发大型遥感数据预处理系统过程中遇到的系统调试、过程追踪、状态记录等问题以及遥感数据处理的特点,提出并设计了一套完整的日志解决方案。该方案基于国际上通用的日志软件Log4J的系统架构,针对GHIPS系统特点,进行了必要的功能封装、数据库扩展等改进,设计了较为完整的适合GHIPS开发与运行要求的日志子系统。实验表明,该日志系统能够实现GHIPS所需的记录与追踪功能,同时可方便地实现日志的搜索、整理、报表生成等特殊要求。     

基于J2EE的日志管理中间件的设计和实现*

在分析现有大型系统对日志服务的需求的基础上,针对现有的一些日志管理中间件中存在的使用或移植上的局限,提出了一种基于J2EE的灵活、可靠、易用的日志管理中间件——LogService。通过XML配置文件实现日志记录的动态建模和配置,通过使用连接到数据库的输出器将日志记录按照预定的格式解析后存入数据库的表格中,方便日志审计管理的查看和维护操作。实践应用表明,LogService提供了全面的机制来实现和满足大型应用系统从开发到实施全过程中的日志方面的需求,为系统运行阶段的审计信息提供了高效、灵活的管理手段。     

数据处理平台的研究与实现

数据处理工作已经成为目前应用开发面对的主要内容之一,存在大量的ETL工具用于进行数据处理,它们提高了系统的开发和运行效率,但缺少系统的对异常的恢复和提高系统开发效率的支持.利用日志管理、异常处理、目录服务、规则管理等技术,给出了一个数据处理平台的体系架构.在该架构中,使用模板和样本程序方法提高系统的开发效率;并基于数据处理集、影响域的概念,使用单作业状态转换、多作业有向无循环图模型解决了作业调度问题;使用基于数据处理集的日志管理、基于影响域的异常处理和恢复等模型,在保证系统运行效率的基础上,通过记录异常发生时的状态,和使用影响域迅速定位异常的影响范围,很好地解决了数据处理系统中的异常的恢复问题.     

基于iFIX操作日志模块设计与实现

针对工业生产中实时监控软件的不足,设计了一种系统操作的日志记录方案.该方案分为操作日志插入、删除和查询三个部分.当对系统进行操作时,记录下当前操作状态,然后生成一条日志记录,并将其存入数据库的日志表中.同时,可以通过调用日志表删除和查询等接口对日志表进行管理.方案实现了对系统操作的实时跟踪,为系统出错恢复和故障诊断提供...     

一个日志完整性检测方法

通常入侵者在成功控制系统后会试图更改日志文件以消除入侵痕迹,隐藏入侵行为。为 了防止入侵者隐藏其入侵行为,提出了一个日志完整性检测方法,对日志的完整性进行检测,使得入 侵者不能不被发现地更改系统被其控制以前在日志文件中写入的记录,进而提供保护。并在日志完 整性受到破坏时,给出一个可信任日志记录集合以供其他程序使用。     

分布式日志服务关键技术研究

在分析大型分布式系统对日志服务需求的基础上,设计并实现了一种分布式环境下的日志服务。文章从分布式系统的特点出发,介绍了该分布式日志服务中用到的关键技术,包括:体系结构设计、文件缓冲与传输、时钟同步、运行时调试、日志报警等。实际应用表明,采用以上关键技术实现的分布式日志服务有效地简化了分布式应用系统的开发、调试和维护,可广泛应用于各种分布式应用系统中。     

可扩展的Web日志采集框架的设计与实现

以某网站所需的日志分析需求为背景,设计并实现了一种Web日志分析系统的前端日志采集框架.该日志采集方案没有采用传统的写日志文件然后轮训的方式进行日志收集,而是采用客户端/服务器的模式进行"自定义"格式的日志采集.该框架同样完全兼容传统的日志记录格式和记录方式.