分布式应用系统日志模型解析

为了使企业从已有的信息化分布式应用实例中沉淀公共的日志处理方法,实现日志的快速管理与分析,提出一套日志从生产到消费的全流程解析方法。梳理应用业务并分解出日志种类;确定不同种类日志中的行字段内容与字段类型,在此基础上设计日志统一模型,将日志内容分别写到不同的日志文件;结合开源组件,建立日志的分布式监测、过滤与存储分析系统,实现日志的统一管理与准实时挖掘分析。通过铁路人脸识别系统的日志应用表明,该模型具有很好的可读性、稳定性和扩展性,能快速实现分布式应用日志的统一管理与分析。     

基于数据块的关系数据库日志挖掘技术

在关系型数据库中数据库通过Redo日志来实现事物的快速提交,并记录事物的操作过程与操作内容.通过对Redo日志的分析与变化数据内容的捕获,将变化数据传送到灾备端,并在灾备端实现变化数据的写入,是目前数据库复制最主要实现原理.本文分析了oralce数据库Redo日志文件结构,阐述了日志文件头标志位信息.结合Redo 日志文件头定位分析技术,给出了一种基于数据块的数据库Redo日志挖掘算法.通过测试分析,验证了该Redo日志挖掘技术的可行性与可靠性.最后展望了下一步的研究方向.     

数据库恶意事务恢复日志系统

恶意事务攻击成功后的数据恢复机制要求日志文件必须同时记录写操作信息和读操作信息。为此,提出一种数据库恶意事务恢复日志策略,并基于该策略设计日志系统。在日志系统中,结构化查询语言(SQL)语句过滤可保护日志文件的安全,拒绝终端客户对日志文件的非法操作;敏感信息设置从行级和列级2个方面设置日志记录必须满足的约束条件,可有效控制日志文件的规模;写日志产生器通过使用触发器的临时表完成对写操作的记录;读日志产生器通过重构SQL语句产生临时表,再访问临时表完成对读操作的记录。实验结果表明,该系统可有效记录数据库读写操作,但同时会降低整体系统的效率。     

基于数据库日志的变化数据捕获研究

变化数据捕获方法是数据集成基础设施的战略组成部分,不断推动ETL、EAI等技术的发展.许多数据库厂商都提供了自己的CDC(Change data capture)产品,但只限于针对本身的数据库系统,价格也比较昂贵.虽然通过扫描数据库日志文件可以捕获变化数据,但大多数数据库系统都不提供日志文件的内部格式而只是提供日志访问的程序接口,如Oracle,SQL Server和DB2等.这些提供的接口有的访问活动日志,有的访问稳定日志,有的访问归档日志,因此很难保证读取日志文件的可靠性.现有的研究主要是如何利用程序应用接口读取日志文件,忽略了对可靠性的分析.本文针对读取不同类型的日志文件的可靠性条件进行了分析,提出了可靠读取规则及读取算法;并提出了从日志文件中有效抽取变化数据算法,实验证明了可靠性分析模型.     

基于文本策略和SMCS的海量日志分析方法

现有的海量日志统计分析方法速度慢,且对硬件配置的要求高。为此,提出一种基于文本策略和SMCS的海量日志分析方法。根据文件的软件设计策略,采用日志文件索引方法,将日志文件与日志时间关联,以加快日志提取。SMCS算法采用哈希表、文件归并、堆操作方法对海量日志进行统计分析和内存损耗控制。通过对真实软件进行对比实验,结果表明,该方法的分析速度比传统方法提高4倍。     

入侵防御系统日志采集和存储的改进方法

针对高速网络环境下现有入侵防御系统(intrusion prevention system,IPS)日志采集速度和处理速度的不匹配、日志文件规模大而难以存储的问题,提出了采用循环缓冲队列的缓存机制,同步日志采集和处理操作方法.设计了预处理算法,删除冗余的日志记录,并使用极大文件集的日志存储策略,保存海量日志文件.实验结果表明,该方法适用于千兆网络环境,能够精简日志文件规模,保存更多的日志记录.     

用VC++ 6.0开发服务器网络日志程序

分析了Windows 2000、WindowsNT、Windows98、Windows95四种客户端环境读写服务器文件的网络数据包类型。在WindowsNT服务器环境下，用VC 6．0开发了监控服务器文件读写操作的网络日志程序，同时给出了程序实例。     

嵌入式系统中实时事件日志记录的实现

在嵌入式系统开发中,用户都希望能有一个日志文件能监控、记录系统的运行状况,在出现问题时能在日志文件中记录下相应的信息。该文提供了一种可行的日志文件的开发方法。在文章中,笔者提供了日志文件的总体开发思想、相应的数据结构,并指出的开发过程中一些需要注意的问题。     

嵌入式系统中实时事件日志记录的实现

在嵌入式系统开发中,用户都希望能有一个日志文件能监控、记录系统的运行状况,在出现问题时能在日志文件中记录下相应的信息。该文提供了一种可行的日志文件的开发方法。在文章中,笔者提供了日志文件的总体开发思想、相应的数据结构,并指出的开发过程中一些需要注意的问题。     

浅析SQL Server中的日志文件

论文介绍了SQLServer中日志文件、事务、事务模式等概念和日志文件所包含的内容,阐述了日志文件在数据恢复过程中所发挥的作用,最后指出了日志文件常出现的问题并给出了解决方案。     

基于混合人工免疫算法的流程挖掘事件日志融合方法

流程挖掘是流程管理和数据挖掘交叉领域中的一个研究热点.在实际业务环境中,流程执行的数据往往分散记录到不同的事件日志中,需要将这些事件日志融合成为单一事件日志文件,才能应用当前基于单一事件日志的流程挖掘技术.然而,由于流程日志间存在着执行实例的多对多匹配关系、融合所需信息可能缺失等问题,导致事件日志融合问题具有较高挑战性.本文对事件日志融合问题进行了形式化定义,指出该问题是一个搜索优化问题,并提出了一种基于混合人工免疫算法的事件日志融合方法：以启发式方法生成初始种群,人工免疫系统的克隆选择理论基础,通过免疫进化获得“最佳”的融合解,从而支持包含多对多的实例匹配关系的日志融合;考虑两个实例级别的因素：流程执行路径出现的频次和流程实例间的时间匹配关系,分别从“量”匹配和“时间”匹配两个维度来评价进化中的个体;通过设置免疫记忆库、引入模拟退火机制,保证新一代种群的多样性,减少进化早熟几率.实验结果表明,本文的方法能够实现多对多的实例匹配关系的事件日志融合的目标,相比随机方法生成初始种群,启发式方法能加快免疫进化的速度.文中还针对利用分布式技术提高事件日志融合性能,探讨了大规模事件日志的分布式融合中的数据划问题.     

对于大规模系统日志的日志模式提炼算法的优化

LARGE框架是部署在中国科学院超级计算环境中的日志分析系统,通过日志收集、集中分析、结果反馈等步骤对环境中的各种日志文件进行监控和分析。在对环境中系统日志的监控过程中,系统维护人员需要通过日志模式提炼算法将大量的过往系统日志记录缩减为少量的日志模式集合。然而随着日志规模的增长以及messages日志文件的特殊性,原有的日志模式提炼算法已经难以满足对大规模日志快速处理的需要。介绍了一种对于日志模式提炼算法的优化方法,通过引入MapReduce机制实现在存在多个日志输入文件的情况下对日志处理和模式提炼的流程进行加速。实验表明,当输入文件较多时,该优化方法能够显著提高词汇一致率算法的运行速度,大幅减少运行时间。此外,还对使用词汇转换函数时的算法运行时间和提炼效果进行了验证。     

系统日志的安全管理方案与分析处理策略

系统中的各类日志文件作为系统和网络用户行为的记录管理者，对及早发现入侵行为、恢复系统、统计系统资源使用状况和为打击计算机犯罪提供电子物证有着极其重要的作 用。因此，保护系统日志安全，不被内部用户或外部入侵者修改或删除显得尤为重要。但是，我们在制定网络信息安全策略时往往忽视系统日志安全，基本上还没有形成一套 套比较合理的系统日志安全管理方法。本文讨论了对各类系统日志文件进行集中式统一管理的问题，提出了对日志文件处理分析和完整性加密保护的办法，最后提出了相应的日志管理策略。     

CPL+: An improved approach for evaluating the local completeness of event logs

Process mining aims at deriving order relations between tasks recorded by event logs in order to construct their corresponding process models. The quality of the results is not only determined by the mining algorithm being used, but also by the quality of the provided event logs. As a criterion of log quality, completeness measures the magnitude of information for process mining covered by an event log. In this paper, we focus on the evaluation of the local completeness of an event log. In particular, we consider the direct succession (DS) relations between the tasks of a business process. Based on our previous work, an improved approach called CPL+ is proposed in this paper. Experiments show that the proposed CPL+ works better than other approaches, on event logs that contain a small amount of traces. Finally, by further investigating CPL+, we also found that the more distinct DSs observed in an event log, the lower the local completeness of the log is.     

Change visualisation: Analysing the resource and timing differences between two event logs

With organisations facing significant challenges to remain competitive, Business Process Improvement (BPI) initiatives are often conducted to improve the efficiency and effectiveness of their business processes, focussing on time, cost, and quality improvements. Event logs which contain a detailed record of business operations over a certain time period, recorded by an organisation's information systems, are the first step towards initiating evidence-based BPI activities. Given an (original) event log as a starting point, an approach to explore better ways to execute a business process was developed, resulting in an improved (perturbed) event log. Identifying the differences between the original event log and the perturbed event log can provide valuable insights, helping organisations to improve their processes. However, there is a lack of automated techniques and appropriate visualisations to detect the differences between two event logs. Therefore, this research aims to develop visualisation techniques to provide targeted analysis of resource reallocation and activity rescheduling. The differences between two event logs are first identified. The changes between the two event logs are conceptualised and realised with a number of visualisations. With the proposed visualisations, analysts are able to identify resource- and time-related changes that resulted in a cost reduction, and subsequently investigate and translate them into actionable items for BPI in practice. Ultimately, analysts can make use of this comparative information to initiate evidence-based BPI activities.     

基于时间差约束的事件日志合并

在跨企业、跨系统的环境中,流程数据通常记录在单独的事件日志中,这使得无法挖掘完整的端到端的执行流程,因此本算法提出仅使用事件名称以及时间戳属性对日志进行合并。首先分别获取两个系统的过程模型以及根据活动的跨系统跟随依赖关系获得的合并模型,接着将两个系统的流程一对一进行合并并按照时间戳排序,留下与合并模型路径一致的合并流程,然后从这些流程中获得一对一的实例对,即唯一主流程仅与唯一子流程可以合并,再从这些实例对中挖掘活动间的时间约束用于剩余日志的合并,重复最后两步直到所有日志均合并或无法一对一合并日志。该算法在真实的事件日志上进行了实验,达到了满意的合并效果并获得较高的准确率与召回率。     

Windows 2000下的系统日志修改

本文从网络攻击的角度,提出对Windows2000/XP/2003 系统下日志修改的思路和方法,并对该方法在Win-dows2000中的实现的两种方法作了简要的介绍。     

基于OSGi的分布式系统集中日志管理方案

目前分布式业务应用的日志多存储在各分布式服务器节点本地日志文件中,没有集中存储和管理,导致业务系统问题定位速度慢,解决问题效率低.本文提供一种基于OSGi的分布式日志收集与分析技术方案.该方案单独设计了集中的日志存储服务器用于存储日志,并提供一套通用日志模型,业务应用分布式节点向该设备发送基于该模型的日志数据,日志存储服务器接收到各节点的日志数据后进行统一存储和界面化分析展示,帮助开发人员快速定位和分析问题.该方案以OSGi插件形式部署到应用系统,应用卸载该插件后则以原有方式存储日志.应用结果表明,采用该日志管理方案对1000并发下记录日志的业务应用访问性能平均提升2秒,并且没有日志数据丢失.开发人员反馈,错误日志更加一目了然,定位问题的时间明显短于普通的日志存储方式.