SQL Server数据库的应用级持续数据保护系统

针对传统数据容灾系统备份窗口大、容灾等级低等问题,提出并设计了与SQL Server数据库相结合的应用级持续数据保护容灾系统.系统通过SQL Server提供的应用程序接口API,读取数据库事务日志变化,从而实时捕获数据库数据变化,将捕获的数据变化以日志的形式缓存并传送到异地进行操作重放,实现异地远程容灾.当发生灾难时利用心跳检测、IP浮动等技术进行远程异地接管;当发生误操作时可根据日志文件恢复到之前的任意时间点,有效应对人为或意外造成的数据丢失和损坏     

基于数据块的关系数据库日志挖掘技术

在关系型数据库中数据库通过Redo日志来实现事物的快速提交,并记录事物的操作过程与操作内容.通过对Redo日志的分析与变化数据内容的捕获,将变化数据传送到灾备端,并在灾备端实现变化数据的写入,是目前数据库复制最主要实现原理.本文分析了oralce数据库Redo日志文件结构,阐述了日志文件头标志位信息.结合Redo 日志文件头定位分析技术,给出了一种基于数据块的数据库Redo日志挖掘算法.通过测试分析,验证了该Redo日志挖掘技术的可行性与可靠性.最后展望了下一步的研究方向.     

基于日志分析的增量数据捕获方法研究

通过扫描数据库日志文件可以捕获变化数据,但已有研究仅适应某种特定类型的数据库管理系统并且缺乏对冗余信息的消除。针对上述不足,提出一个基于日志分析的增量数据检测及其净效应处理通用模型,描述增量检测过程中的通用处理步骤,即日志抽取、日志分析和净效应处理3个模块。通过实验对净效应处理速度、冗余数据压缩率、网络传输速度等因素进行分析,结果表明,净效应处理可以有效地减少数据的网络传输时间和更新时间,提高运行效率。     

MS SQL Server 2000日志分析方法的研究与实现

介绍了MS SQL Server 2000的事务日志的工作原理及特点,详细描述了一种利用MS SQL Server2000数据库提供的DBCC命令作为日志读取的接口对数据库进行日志的读取和分析的方法,并根据此方法初步实现了一个MS SQL Server2000的日志分析器.此日志分析器能够把引起数据库状态变迁的数据库更新操作（Insert、Delete和Update）及相应数据分析出来,以便利于各种相关应用.     

一种基于物理级的关系数据库数据复制模型研究

针对当前逻辑级数据库数据复制技术中存在的问题,本文提出一种基于物理级的数据库数据复制模型。该模型利用一个主备数据库复制组来确立其参照关系,通过对Oracle数据库在文件系统格式下、裸设备下以及对基于数据库特殊卷管理器格式下的Redo日志的解析,在日志变化的第一时间挖掘日志捕获数据变化片段,之后采用弱滚动校验和同步增量方式将数据片段并行同步到备端。备端进行日志片段的重组,修改日志头标志位,合成日志文件并与源端校验通过后注册到灾备库,然后将合成日志以自动或者手动方式写入灾备库,从而实现物理级数据库数据复制。通过测试对比分析,验证了该模型不但可以保证两端数据一致性,而且还可以降低数据复制延时。     

数据库中数据恢复的研究

随着数据库技术的广泛应用,数据库的安全也越来越受到重视.日志文件对数据库系统实现数据恢复十分必要,给出了一种日志模式并针对数据库系统可能发生的几种故障,并给出了相应的对策,以确保数据库的安全.     

基于过滤器的Web访问模式挖掘

针对传统Web访问模式挖掘系统中用户识别和会话识别的复杂性和不准确性,该文提出了基于过滤器的Web访问模式挖掘系统。它能够准确地识别用户和会话,为挖掘算法提供优质的数据。给出了日志过滤器的实现和部署,提出了Web访问模式的挖掘算法。目前该方法已经广泛地应用于科学数据库系统中。     

ORACLE日志文件在数据库中的应用

ORACLE日志文件是ORACLE数据库系统的重要部分,对ORACLE日志文件进行详细分析,对保证整个数据库系统的运行起着关键在作用。本文通过详尽的论证分析,提出并总结出了一系列完善的应用方法,对进一步开发维护气象数据库系统软件有着重大的意义。     

一种基于Web日志文件的信息挖掘方法

数据预处理和日志挖掘算法是Web日志挖掘中的关键技术。文中根据Web访问模式的用户特征，提出了一种基于Web日志文件的信息挖掘系统的体系结构。在此基础上，分析了其数据挖掘过程和信息挖掘算法。     

Oracle用户SQL会话还原方法研究

针对Oracle8i/9i系统自带的审计功能无法获取用户操作语句的问题,研究分析了Oracle数据库的事务日志文件,提出一种结合事务日志和审计日志还原用户访问数据库会话过程的方法。该方法使用LogMiner分析事务日志文件,通过匹配事务日志和审计日志中共有的关键字段,确定对应的数据库操作语句,从而还原出任意用户从登录到退出的完整会话过程。会话还原结果可用来执行数据库操作的审计,保护数据库安全。     

WindowsNT日志分析与修复

介绍WindowsNT系统的日志管理构架和日志文件的文件结构,提出一种抓取并解析日志的分析方案,讨论如何针对WindowsNT构架来管理日志,以提高日志的安全性并实现对损坏的日志文件的修复.     

基于OSGi的分布式系统集中日志管理方案

目前分布式业务应用的日志多存储在各分布式服务器节点本地日志文件中,没有集中存储和管理,导致业务系统问题定位速度慢,解决问题效率低.本文提供一种基于OSGi的分布式日志收集与分析技术方案.该方案单独设计了集中的日志存储服务器用于存储日志,并提供一套通用日志模型,业务应用分布式节点向该设备发送基于该模型的日志数据,日志存储服务器接收到各节点的日志数据后进行统一存储和界面化分析展示,帮助开发人员快速定位和分析问题.该方案以OSGi插件形式部署到应用系统,应用卸载该插件后则以原有方式存储日志.应用结果表明,采用该日志管理方案对1000并发下记录日志的业务应用访问性能平均提升2秒,并且没有日志数据丢失.开发人员反馈,错误日志更加一目了然,定位问题的时间明显短于普通的日志存储方式.     

InnoDB database forensics: Enhanced reconstruction of data manipulation queries from redo logs

The InnoDB storage engine is one of the most widely used storage engines for MySQL. This paper discusses possibilities of utilizing the redo logs of InnoDB databases for forensic analysis, as well as the extraction of the information needed from the MySQL definition files, in order to carry out this kind of analysis. Since the redo logs are internal log files of the storage engine and thus cannot easily be changed undetected, this forensic method can be very useful against adversaries with administrator privileges, which could otherwise cover their tracks by manipulating traditional log files intended for audit and control purposes. Based on a prototype implementation, we show methods for recovering Insert, Delete and Update statements issued against a database.     

基于Filebeat自动收集Kubernetes日志的分析系统

Docker容器产生的日志分散在不同的相互隔离的容器中,并且容器具有即用即销的特点,传统的解决方式是将日志文件挂载到宿主机上,但是容器经常会漂移,给日志的统一查看带来挑战,并且传统的Docker容器集群日志分析系统存在扩展性弱、效率低下等问题.本文采用Kubernetes实现容器管理、服务发现及调度,使用Filebeat采集容器及宿主机上的日志文件,并使用Redis作为缓存,Logstash转发,使用主流的开源日志收集系统ELK实现日志的存储、查看、检索.该系统具有可靠性、可扩展性等特点,提高运维人员的工作效率.     

对于大规模系统日志的日志模式提炼算法的优化

LARGE框架是部署在中国科学院超级计算环境中的日志分析系统,通过日志收集、集中分析、结果反馈等步骤对环境中的各种日志文件进行监控和分析。在对环境中系统日志的监控过程中,系统维护人员需要通过日志模式提炼算法将大量的过往系统日志记录缩减为少量的日志模式集合。然而随着日志规模的增长以及messages日志文件的特殊性,原有的日志模式提炼算法已经难以满足对大规模日志快速处理的需要。介绍了一种对于日志模式提炼算法的优化方法,通过引入MapReduce机制实现在存在多个日志输入文件的情况下对日志处理和模式提炼的流程进行加速。实验表明,当输入文件较多时,该优化方法能够显著提高词汇一致率算法的运行速度,大幅减少运行时间。此外,还对使用词汇转换函数时的算法运行时间和提炼效果进行了验证。     

系统日志的安全管理方案与分析处理策略

系统中的各类日志文件作为系统和网络用户行为的记录管理者，对及早发现入侵行为、恢复系统、统计系统资源使用状况和为打击计算机犯罪提供电子物证有着极其重要的作 用。因此，保护系统日志安全，不被内部用户或外部入侵者修改或删除显得尤为重要。但是，我们在制定网络信息安全策略时往往忽视系统日志安全，基本上还没有形成一套 套比较合理的系统日志安全管理方法。本文讨论了对各类系统日志文件进行集中式统一管理的问题，提出了对日志文件处理分析和完整性加密保护的办法，最后提出了相应的日志管理策略。     

集群数据库系统的日志复制和故障恢复

互联网、社交、购物、金融等各类应用直接面临海量用户的高并发访问,传统的单点数据库逐渐成为这些应用系统的瓶颈,而众多互联网应用能够良好运行的主要原因是使用了基于集群环境的数据管理系统作支撑。与传统数据库系统相比,基于集群环境的数据库系统具有更好的扩展性和可用性,而日志复制是保证这些特性的核心组件。传统的主备架构的日志复制在异常情况下对未决事务日志处理不佳,导致数据副本之间存在不一致的风险,另外,分布式系统领域的一致性算法缺乏对事务一致性的处理,而且在选主时存在活锁、多主和频繁选主的问题,无法直接适用于事务日志复制。本文提出了一种集群环境下的事务日志复制策略和恢复机制,能够有效处理未提交日志,提供了强弱两种读一致性,并且提出了一种轻量级的选主算法,可以避免以上的选主问题。本文在开源OceanBase分布式数据库系统中实现了上述机制,并使用基准测试工具对系统进行测试,通过一系列实验验证了系统的扩展性和可用性。     

基于混合人工免疫算法的流程挖掘事件日志融合方法

流程挖掘是流程管理和数据挖掘交叉领域中的一个研究热点.在实际业务环境中,流程执行的数据往往分散记录到不同的事件日志中,需要将这些事件日志融合成为单一事件日志文件,才能应用当前基于单一事件日志的流程挖掘技术.然而,由于流程日志间存在着执行实例的多对多匹配关系、融合所需信息可能缺失等问题,导致事件日志融合问题具有较高挑战性.本文对事件日志融合问题进行了形式化定义,指出该问题是一个搜索优化问题,并提出了一种基于混合人工免疫算法的事件日志融合方法：以启发式方法生成初始种群,人工免疫系统的克隆选择理论基础,通过免疫进化获得“最佳”的融合解,从而支持包含多对多的实例匹配关系的日志融合;考虑两个实例级别的因素：流程执行路径出现的频次和流程实例间的时间匹配关系,分别从“量”匹配和“时间”匹配两个维度来评价进化中的个体;通过设置免疫记忆库、引入模拟退火机制,保证新一代种群的多样性,减少进化早熟几率.实验结果表明,本文的方法能够实现多对多的实例匹配关系的事件日志融合的目标,相比随机方法生成初始种群,启发式方法能加快免疫进化的速度.文中还针对利用分布式技术提高事件日志融合性能,探讨了大规模事件日志的分布式融合中的数据划问题.     

PLQ: An Efficient Approach to Processing Pattern-Based Log Queries

As software systems grow more and more complex, extensive techniques have been proposed to analyze the log data to obtain the insight of the system status. However, during log data analysis, tedious manual efforts are paid to search interesting or informative log patterns from a huge volume of log data, named pattern-based queries. Although existing log management tools and DMBS systems can also support pattern-based queries, they suffer from a low efficiency. To deal with this problem, we propose a novel approach, named PLQ (Pattern-based Log Query). First, PLQ organizes logs into disjoint chunks and builds chunk-wise bitmap indexes for log types and attribute values. Then, based on bitmap indexes, PLQ finds candidate logs with a set of efficient bit-wise operations. Finally, PLQ fetches candidate logs and validates them according to the queried pattern. Extensive experiments are conducted on real-life datasets. According to experimental results, compared with existing log management systems, PLQ is more efficient in querying log patterns and has a higher pruning rate for filtering irrelevant logs. Moreover, in PLQ, since the ratio of the index size to the data size does not exceed 2.5% for log datasets of different sizes, PLQ has a high scalability.