基于数据块的关系数据库日志挖掘技术

在关系型数据库中数据库通过Redo日志来实现事物的快速提交,并记录事物的操作过程与操作内容.通过对Redo日志的分析与变化数据内容的捕获,将变化数据传送到灾备端,并在灾备端实现变化数据的写入,是目前数据库复制最主要实现原理.本文分析了oralce数据库Redo日志文件结构,阐述了日志文件头标志位信息.结合Redo 日志文件头定位分析技术,给出了一种基于数据块的数据库Redo日志挖掘算法.通过测试分析,验证了该Redo日志挖掘技术的可行性与可靠性.最后展望了下一步的研究方向.     

多源数据库数据复制模型

针对跨数据库平台、跨操作系统平台、跨硬件平台数据交互需求,提出一种基于日志解析的数据交互复制模型。该模型通过对数据库Redo日志的分析与定位,从中抽取增量变化日志数据,然后采用并行同步传输的方式将抽取的日志数据传输到预处理端,在预处理端进行原始数据的事务合并处理,然后在装载发布端通过数据订阅的形式获取预处理端的队列数据,数据内容放入本地缓存队列文件,最后对本地缓存队列文件进行数据转换、数据装载入库,从而实现数据交互复制。通过测试对比分析,验证了该模型不但可以保证两端数据一致性,而且还具有较低的数据复制延时。     

基于虚拟日志压缩的数据同步方案

在基于虚拟日志的数据同步中,当主库端存在对同一记录的频繁修改时,庞大的虚拟日志记录会影响整个数据同步效率。针对该问题,提出一种基于虚拟日志压缩的数据同步方案。虚拟日志压缩通过计算合并日志记录,只保留与数据同步相关的日志信息,从而减少网络数据流量,提高数据同步效率。实验结果表明,该方法适合广域网异构数据库的异步数据同步。     

基于Oracle物化视图日志的数据同步技术研究

在当今数据信息系统的开发中,分布式数据库和分布式应用系统间的数据同步问题是一个较为常见且较难解决的问题。现有的各种解决方案存在反映源数据频繁变化比较困难和数据同步效率低等问题。本文通过对Oracle数据库的物化视图日志机制的研究,简要介绍Oracle数据库物化视图日志的数据结构、对数据库记录操作的记录方式,提出了一种基于Oracle数据库物化视图日志的数据库同步技术,为分布式应用系统中数据表间的数据同步提供了一种新思路。     

基于Oracle日志分析的数据还原操作的设计及实现

基于日志分析的数据还原操作的设计增加了一种关于Oracle分布式数据库的同步方法,在不增加前台应用程序的前提下,通过对数据库进行日志分析,使分数据库与主节点数据库达到同步的效果。本文通过对LogMiner工具的详细介绍,并结合实际对Oracle数据库归档日志文件进行分析和还原DML语句的设计后,最终达到分布式数据库进行同步的效果。     

基于交易报文的数据实时同步方法研究

概括并分析了计算机信息系统中常见的异地数据同步方法。针对事务处理系统的大业务量场景,纯系统级的数据实时同步方法受限于线路带宽的制约。提出的基于交易报文的数据实时同步方法,将事务处理系统的交易报文归纳为应用级的报文重做日志,采用报文分解与封装、报文同步与缓冲池管理等方法与策略,以很低的线路带宽实现业务数据的实时同步目标。通过真实业务数据系统性的实验与分析,验证了方法的可行性与有效性。基于提出的方法,大业务量下应用级容灾备份的实现成本可显著降低。     

基于专家系统的Web日志数据处理方法研究

企业员工访问网站的记录在企业服务器中形成了大规模日志数据,从这些海量数据中发掘出有意义的信息是管理企业员工重要的环节,并成为大数据时代关注的重点。完成数据挖掘的核心工作之一就是对原始数据的预处理,它影响到数据分析结果的准确度。但由于web日志是Apache、Nginx和IIS等web服务器运行时产生的系统日志,web日志格式根据使用web服务器的不同而不同。所以,传统的日志数据清洗方式难以应对目前如此复杂的日志格式。由于专家系统其技术特点能应对复杂的日志格式,所以通过结合专家系统,推理出对应的web日志格式,从而自动进行日志数据清洗,可以使得当下复杂海量web日志数据预处理更加高效,智能。首先,介绍了专家系统;其次,介绍了web日志数据一般的数据预处理流程;最后,结合专家系统对海量复杂的web日志数据进行数据预处理,并通过实验验证了该方法的可行性。     

基于数据库日志的变化数据捕获研究

变化数据捕获方法是数据集成基础设施的战略组成部分,不断推动ETL、EAI等技术的发展.许多数据库厂商都提供了自己的CDC(Change data capture)产品,但只限于针对本身的数据库系统,价格也比较昂贵.虽然通过扫描数据库日志文件可以捕获变化数据,但大多数数据库系统都不提供日志文件的内部格式而只是提供日志访问的程序接口,如Oracle,SQL Server和DB2等.这些提供的接口有的访问活动日志,有的访问稳定日志,有的访问归档日志,因此很难保证读取日志文件的可靠性.现有的研究主要是如何利用程序应用接口读取日志文件,忽略了对可靠性的分析.本文针对读取不同类型的日志文件的可靠性条件进行了分析,提出了可靠读取规则及读取算法;并提出了从日志文件中有效抽取变化数据算法,实验证明了可靠性分析模型.     

SQL Server数据库的应用级持续数据保护系统

针对传统数据容灾系统备份窗口大、容灾等级低等问题,提出并设计了与SQL Server数据库相结合的应用级持续数据保护容灾系统.系统通过SQL Server提供的应用程序接口API,读取数据库事务日志变化,从而实时捕获数据库数据变化,将捕获的数据变化以日志的形式缓存并传送到异地进行操作重放,实现异地远程容灾.当发生灾难时利用心跳检测、IP浮动等技术进行远程异地接管;当发生误操作时可根据日志文件恢复到之前的任意时间点,有效应对人为或意外造成的数据丢失和损坏     

一种基于日志合并优化的数据同步机制

基于复制技术的高可用存储系统，在故障恢复时需要进行数据同步操作以保证数据副本之间的一致，缩减数据同步操作的时间可减少系统修复时间，从而提高存储系统可用性．数据同步过程的时间由数据同步所需传输的数据量决定．本文提出的基于日志操作合并优化的数据同步机制充分考虑到文件访问中的时间和空间局部性，通过对故障期间的所记录的日志进行合并优化，合并和去除不必要的日志项，使得需要同步的数据量最少，从而减少数据同步过程的时间．试验的结果表明，相对于其它几种通用的方式，基于日志合并优化的数据同步机制所传输的数据量最少，可有效的减少数据同步操作的时间．     

Oracle数据库数据恢复方法的研究

通过对Oracle数据库物理结构和逻辑结构的分析,给出了Oracle控制文件、数据文件和日志文件的文件格式,同时给出了一个文件级的Oracle数据库数据恢复方法。     

Data Element Security and Its Effects on File Segmentation

The literature on physical database design in general, and on file segmentation in particular, typically ignores any consideration of data security and the cost to enforce it. If records can be physically designed so that all data elements in a given record type have identical security restrictions for a given user, then data element level security enforcement can be transformed into the less costly file level security enforcement for that user and rie. Similarly, if all record types have identical security restrictions, file based security might be sufficient. This paper extends an earlier model for file segmentation to include security considerations. The extended model embeds the security measures into the logical file structure and exploits a four category taxonomy of security restriction types. The model is used to generalize the interaction between element level selective security and physical database design.     

基于动态连接池的数据集成中间件的设计与实现

介绍数据集成中间件技术的基本概念与体系结构,分析现有数据库连接池的工作原理和工作机制.在得出现有连接池局限性的基础上,设计出动态连接池体系结构.通过采用基于中间数据库和变化日志表的异构数据复制模式和以虚拟订阅表的方式构建的全局查询模式,将动态连接池中间件扩展成为数据集成中间件,从而有效解决异构数据库间的数据共享与交换问题.     

远程异步数据复制系统的设计与实现

远程数据复制技术是远程容灾系统的核心技术,在保持两地间数据一致性和实现灾难恢复中起到关键作用。该文在研究远程数据复制技术的基础上,设计并实现了基于存储设备级的远程异步数据复制系统。系统不占用主机系统资源,对上层的文件系统和应用程序透明,可以降低上层软件设计的复杂程度。     

MS SQL Server数据库数据恢复的研究

通过对MS SQL Server数据库数据文件和日志文件的分析,提出了恢复已损坏的数据库文件中数据的非常规方法.恢复数据库中用户所需要的数据.     

基于CIM/E的电网模型解析

电力系统中模型数据交换的实现具有重要的实际意义. 为了更好的解决这一问题,提高系统的互操作性,在研究由国际电工技术委员会（IEC）制定的IEC 61970系列标准中的公共信息模型（CIM）、分析XML文件的解析方法和电网物理模型的相关设备类属性描述的基础上,提出了一种使用Java语言对CIM/E文件进行解析的方案. 即将CIM/E电网模型数据解析成内存中的结构化数据,并且将数据存入数据库,以防下次使用时再次解析,提高重用性,这里使用的是MySQL数据库,并且最后用导出的电网模型CIM/E文件进行了验证. 提出的解析方案对实际电力系统中模型数据的解析具有一定的指导和参考意义.     

基于点击流的客户行为分析引擎的设计与实现

给出了一个基于点击流的客户分析引擎的设计,通过对ExLF日志文件格式进行扩充,分别利用基于嵌入Session变量的Cookie识别机制和时间窗口模型来对用户及用户访问事务进行识别,同时给出了数据源收集的具体数据库表格.在结合聚类和CLV价值分析识别核心客户后,进一步将点击流会话事务文件与商务网站的内部数据相结合,利用改进的Apriori算法,进行多维关联规则挖掘,从而实现对用户行为和兴趣模式进行分析.