一种基于物理级的关系数据库数据复制模型研究

针对当前逻辑级数据库数据复制技术中存在的问题,本文提出一种基于物理级的数据库数据复制模型。该模型利用一个主备数据库复制组来确立其参照关系,通过对Oracle数据库在文件系统格式下、裸设备下以及对基于数据库特殊卷管理器格式下的Redo日志的解析,在日志变化的第一时间挖掘日志捕获数据变化片段,之后采用弱滚动校验和同步增量方式将数据片段并行同步到备端。备端进行日志片段的重组,修改日志头标志位,合成日志文件并与源端校验通过后注册到灾备库,然后将合成日志以自动或者手动方式写入灾备库,从而实现物理级数据库数据复制。通过测试对比分析,验证了该模型不但可以保证两端数据一致性,而且还可以降低数据复制延时。     

多源数据库数据复制模型

针对跨数据库平台、跨操作系统平台、跨硬件平台数据交互需求,提出一种基于日志解析的数据交互复制模型。该模型通过对数据库Redo日志的分析与定位,从中抽取增量变化日志数据,然后采用并行同步传输的方式将抽取的日志数据传输到预处理端,在预处理端进行原始数据的事务合并处理,然后在装载发布端通过数据订阅的形式获取预处理端的队列数据,数据内容放入本地缓存队列文件,最后对本地缓存队列文件进行数据转换、数据装载入库,从而实现数据交互复制。通过测试对比分析,验证了该模型不但可以保证两端数据一致性,而且还具有较低的数据复制延时。     

Oracle重做日志机制分析

Oracle的重做日志机制为数据库崩溃而导致数据丢失的恢复提供了有效的手段.文章阐述了Oracle的Redo机制的组成与实现,分析了对其性能的影响及优化技术.     

基于数据库日志的变化数据捕获研究

变化数据捕获方法是数据集成基础设施的战略组成部分,不断推动ETL、EAI等技术的发展.许多数据库厂商都提供了自己的CDC(Change data capture)产品,但只限于针对本身的数据库系统,价格也比较昂贵.虽然通过扫描数据库日志文件可以捕获变化数据,但大多数数据库系统都不提供日志文件的内部格式而只是提供日志访问的程序接口,如Oracle,SQL Server和DB2等.这些提供的接口有的访问活动日志,有的访问稳定日志,有的访问归档日志,因此很难保证读取日志文件的可靠性.现有的研究主要是如何利用程序应用接口读取日志文件,忽略了对可靠性的分析.本文针对读取不同类型的日志文件的可靠性条件进行了分析,提出了可靠读取规则及读取算法;并提出了从日志文件中有效抽取变化数据算法,实验证明了可靠性分析模型.     

日志挖掘中的数据预处理

日志信息的预处理是日志挖掘任务中的重要阶段,是当前研究的重点,同时也是整个日志挖掘过程的基础和实施有效挖掘算法的前提,在日志挖掘中起着重要的作用.目前主要的日志挖掘主要采用国外的几种软件,而日志挖掘中重要的数据预处理软件国内暂无.文中主要介绍了数据挖掘中的日志挖掘,分析了数据预处理的过程,以及如何实现日志挖掘中的数据预处理,并在Delphi开发工具中成功完成了IIS文本日志文件到Xls格式及XNIL格式文件的转换,实现了日志挖掘中的数据预处理.     

Web日志挖掘中的序列模式识别

Web日志挖掘的基本思想是将数据挖掘技术应用于 Web服务器的日志文件 .本文从 Web日志挖掘过程预处理阶段的结果用户会话文件开始 ,提出了一种基于扩展有向树模型进行用户浏览模式识别的 Web日志挖掘方法 ,并在实验室对该方法进行了简单实现和实际日志数据的测试 .     

Web目标挖掘中的序列模式识别

Ｗｅｂ日志挖掘的基本思想是将数据挖掘技术应用于Ｗｅｂ服务器的日志文件,本文从Ｗｅｂ日志挖掘过程邓处理阶段的结果用户会话文件开始,提出了一种基于扩展有向树模型进行用户浏览模式识别的Ｗｅｂ日志挖掘方法,并在实验室对该方法进行了简单实现和实际日志数据的测试。     

分布式应用系统日志模型解析

为了使企业从已有的信息化分布式应用实例中沉淀公共的日志处理方法,实现日志的快速管理与分析,提出一套日志从生产到消费的全流程解析方法。梳理应用业务并分解出日志种类;确定不同种类日志中的行字段内容与字段类型,在此基础上设计日志统一模型,将日志内容分别写到不同的日志文件;结合开源组件,建立日志的分布式监测、过滤与存储分析系统,实现日志的统一管理与准实时挖掘分析。通过铁路人脸识别系统的日志应用表明,该模型具有很好的可读性、稳定性和扩展性,能快速实现分布式应用日志的统一管理与分析。     

SQL Server数据库的应用级持续数据保护系统

针对传统数据容灾系统备份窗口大、容灾等级低等问题,提出并设计了与SQL Server数据库相结合的应用级持续数据保护容灾系统.系统通过SQL Server提供的应用程序接口API,读取数据库事务日志变化,从而实时捕获数据库数据变化,将捕获的数据变化以日志的形式缓存并传送到异地进行操作重放,实现异地远程容灾.当发生灾难时利用心跳检测、IP浮动等技术进行远程异地接管;当发生误操作时可根据日志文件恢复到之前的任意时间点,有效应对人为或意外造成的数据丢失和损坏     

日志挖掘中的数据预处理

日志信息的预处理是日志挖掘任务中的重要阶段,是当前研究的重点,同时也是整个日志挖掘过程的基础和实施有效挖掘算法的前提,在日志挖掘中起着重要的作用。目前主要的日志挖掘主要采用国外的几种软件,而日志挖掘中重要的数据预处理软件国内暂无。文中主要介绍了数据挖掘中的日志挖掘,分析了数据预处理的过程,以及如何实现日志挖掘中的数据预处理,并在Delphi开发工具中成功完成了IIS文本日志文件到Xls格式及XML格式文件的转换,实现了日志挖掘中的数据预处理。     

Oracle数据库日志文件损坏时修复方法的实验研究

Oracle数据库日志文件记录了对数据库进行的所有操作,而日志文件又分为重做日志文件和归档日志文件.重做日志可用于进行实例恢复,但如果数据文件意外丢失或损坏,则必须要用到归档日志.针对归档或非归档日志文件损坏或丢失时,数据库发生故障的情况,用模拟故障的方法研究了不同情况下的修复方法.     

基于小波技术的网络时序数据挖掘

网络安全日志数据库是一种历史数据,对它的分析具有十分重要的实际价值,作为一种时序数据库,针对它的信息挖掘已研究出许多方法。该文提出了一种新的对此类时序数据库的信息挖掘方法,利用小波变换多分辨率分析的方法对信号化后网络安全日志数据库中的数据在不同的时间尺度上进行分析和信息挖掘,从中提取出单位时间内网络受到攻击次数的时间周期规律,并对这种方法的分析特性进行了阐述,而且利用小波阈值重建的方法对原始信号数据进行去噪处理,收到了良好的效果。     

基于模糊聚类的Web日志挖掘的应用研究

在Web数据挖掘研究领域中,Web日志挖掘是Web数据研究领域中一个最重要的应用方面。本文对Web日志挖掘作了系统的研究,包括对服务器上日志结构的分析和对数据预处理过程的描述。文中着重讨论了用户模糊聚类的算法,并用实例证明了模糊聚类在Web用户聚类应用中的可行性。在此基础上还提出了一个Web站点的个性化服务模型,通过对Web服务器中日志的挖掘,发现具有相似访问兴趣的用户群,进而为用户作个性化的推荐。     

基于模糊聚类的Web日志挖掘的应用研究

在Web数据挖掘研究领域中，Web日志挖掘是Web数据研究领域中一个最重要的应用方面。本文对Web日志挖掘作了系统的研究。包括对服务器上日志结构的分析和对数据预处理过程的描述。文中着重讨论了用户模糊聚类的算法，并用实例证明了模糊聚类在web用户聚类应用中的可行性。在此基础上还提出了一个Web站点的个性化服务模型，通过对Web服务器中日志的挖掘，发现具有相似访问兴趣的用户群，进而为用户作个性化的推荐。     

Informix数据库安全审计系统设计与实现

数据库安全审计对于保障数据库安全是至关重要的.设计实现一个Informix数据库安全审计系统,通过对Informix数据库审计日志文件格式的分析,能够对数据库的操作按照用户会话过程进行还原,同时设计多级的安全规则对相应的数据库操作给出不同级别的警告.在系统架构上,采用分离的采集器和分析器结构,能针对多个日志数据源进行同时处理,日志分析结果采用XML格式进行存储,具有很好的通用性和可扩展性.实验测试结果表明,系统能很好地完成Informix数据库操作的实时审计.     

数据库恶意事务恢复日志系统

恶意事务攻击成功后的数据恢复机制要求日志文件必须同时记录写操作信息和读操作信息。为此,提出一种数据库恶意事务恢复日志策略,并基于该策略设计日志系统。在日志系统中,结构化查询语言(SQL)语句过滤可保护日志文件的安全,拒绝终端客户对日志文件的非法操作;敏感信息设置从行级和列级2个方面设置日志记录必须满足的约束条件,可有效控制日志文件的规模;写日志产生器通过使用触发器的临时表完成对写操作的记录;读日志产生器通过重构SQL语句产生临时表,再访问临时表完成对读操作的记录。实验结果表明,该系统可有效记录数据库读写操作,但同时会降低整体系统的效率。     

基于粗集和神经网络的石油测井数据挖掘方法

由于石油测井数据存在着模糊性和噪声，在数据挖掘中单纯使用粗集方法会受噪 声干扰而直接影响分类精度，单纯使用神经网络会因输入信息空间维数较大时使网络结构复杂且训练时间长．为解决这些问题，根据测井解释原理，本文提出一种将两者结合起来的数据挖掘方法，即经过测井资料预处理、样本信息粗集方法简化、神经网络学习训练、待识信息网络识别和误差分析等步骤，其中使用的二层非线性连接权神经网络简化了网络的运算．通过岩性识别和储层参数定量计算两个应用实例，结果表明这种数据挖掘方法在测井解释中其识别率远高于其它单一数据挖掘方法，效果令人满意．     

基于文本策略和SMCS的海量日志分析方法

现有的海量日志统计分析方法速度慢,且对硬件配置的要求高。为此,提出一种基于文本策略和SMCS的海量日志分析方法。根据文件的软件设计策略,采用日志文件索引方法,将日志文件与日志时间关联,以加快日志提取。SMCS算法采用哈希表、文件归并、堆操作方法对海量日志进行统计分析和内存损耗控制。通过对真实软件进行对比实验,结果表明,该方法的分析速度比传统方法提高4倍。     

基于日志挖掘的装备健康管理系统设计与实现

随着装备的复杂度和信息化程度不断提高,在装备使用过程中产生的日志信息量正以指数级增长。针对目前日志信息处理应用中存在的问题,设计并实现了一个装备健康管理系统,通过对某型装备大量日志文件的分析,制定了设备通用的日志文件预处理规则和重要信息提取适配器,并结合数据挖掘算法构建装备健康管理系统,结合云重心评估法实现了对设备健康状态的评估。该系统从大量日志文件中提取出有价值的信息,帮助设备人员快速定位装备异常,提高解决问题的效率,通过设置系统的关键指标和监测点阀值,实现装备的健康预警。