基于Oracle物化视图日志的数据同步技术研究

在当今数据信息系统的开发中,分布式数据库和分布式应用系统间的数据同步问题是一个较为常见且较难解决的问题。现有的各种解决方案存在反映源数据频繁变化比较困难和数据同步效率低等问题。本文通过对Oracle数据库的物化视图日志机制的研究,简要介绍Oracle数据库物化视图日志的数据结构、对数据库记录操作的记录方式,提出了一种基于Oracle数据库物化视图日志的数据库同步技术,为分布式应用系统中数据表间的数据同步提供了一种新思路。     

基于JMS的分布式异构数据库间的数据同步

根据分布式异构数据库间的数据同步的实际需要 ,在深入分析研究JMS技术的基础上 ,提出了一种基于JMS的分布式异构数据库间的数据同步的模型 ,并给出了关键技术的主要代码。     

一种基于日志合并优化的数据同步机制

基于复制技术的高可用存储系统，在故障恢复时需要进行数据同步操作以保证数据副本之间的一致，缩减数据同步操作的时间可减少系统修复时间，从而提高存储系统可用性．数据同步过程的时间由数据同步所需传输的数据量决定．本文提出的基于日志操作合并优化的数据同步机制充分考虑到文件访问中的时间和空间局部性，通过对故障期间的所记录的日志进行合并优化，合并和去除不必要的日志项，使得需要同步的数据量最少，从而减少数据同步过程的时间．试验的结果表明，相对于其它几种通用的方式，基于日志合并优化的数据同步机制所传输的数据量最少，可有效的减少数据同步操作的时间．     

一种基于虚拟日志的数据复制解决方案

本文从实际应用的角度出发,为数据库系统设计并实现了一种基于虚拟日志的高可用性的复制解决方案。采用一主多从模式（Single Master,Multi Slaves）,使用异步分发技术,实行延迟远程存取和延迟传播技术对数据进行更新,提供跨平台支持。针对具有自主知识产权的国产大型数据库系统KingbaseES具体实现了该复制方案,从而提供了一个现实的、可扩展的复制系统框架。它能够提供稳定的数据复制,可用性高、准时复制、响应时间短,在及时同步业务数据、灾难备份恢复、改善决策支持系统等许多关键服务中有很高的应用前景。     

基于Agent的容灾系统数据同步机制

容灾系统可以有效的降低各单位通过计算机管理企业数据所产生的潜在风险,而在容灾系统的建设当中,数据同步问题是其中一个较难解决的问题.为实现异构型数据库之间的数据同步,本文提出了一种基于Agent技术的远程数据同步实现方案.该方案有效运用了Agent的特有属性,可以独立于具体的异构数据库,实现跨平台的数据同步:能够灵活配置,可在对系统性能影响较小的情况下,充分满足企业级数据的同步要求.     

Goldengate实现异构数据库间的数据同步

随着大数据时代的到来,数据之间的关系越来越复杂;人们需要一种强大的数据拓扑结构来提高数据的可用性;Goldengate是一种基于数据库日志的数据复制产品,可以利用极少的系统资源,实时复制数据,提高数据可用性。     

基于操作日志的完井数据同步模型

同步技术是提高移动数据库系统性能的一项关键技术。依托完井移动平台,结合完井业务数据,提出一种基于操作日志的移动数据同步处理模型,重点分析了该模型中的日志序列的生成以及冲突的消解,并给出了具体的实现算法。该模型允许移动终端在断接状态下对本地副本数据进行操作,并通过移动事务日志记录用户行为,当重新连接时,根据服务器返回的日志序列进行同步处理,使系统最终收敛于一致性状态。同时还引入了日志合并、时间戳等方法,有效减少了移动终端的资源消耗,提高了同步效率。实验表明该算法能快速高效地完成客户端与服务器之间的数据更新与交互。     

基于数据库日志的变化数据捕获研究

变化数据捕获方法是数据集成基础设施的战略组成部分,不断推动ETL、EAI等技术的发展.许多数据库厂商都提供了自己的CDC(Change data capture)产品,但只限于针对本身的数据库系统,价格也比较昂贵.虽然通过扫描数据库日志文件可以捕获变化数据,但大多数数据库系统都不提供日志文件的内部格式而只是提供日志访问的程序接口,如Oracle,SQL Server和DB2等.这些提供的接口有的访问活动日志,有的访问稳定日志,有的访问归档日志,因此很难保证读取日志文件的可靠性.现有的研究主要是如何利用程序应用接口读取日志文件,忽略了对可靠性的分析.本文针对读取不同类型的日志文件的可靠性条件进行了分析,提出了可靠读取规则及读取算法;并提出了从日志文件中有效抽取变化数据算法,实验证明了可靠性分析模型.     

远程异构数据库数据同步的实现

提出了一种批量数据更新的方案，它满足远程数据库间所要达到的数据同步，解决了通过频繁拨号的实时连接进行数据交换的弊端。     

XML在分布式数据同步中的应用研究

本文针对分布式数据同步时因为有异构的数据源而造成数据格式不统一，应用层进行同步的时候要进行相当复杂的转换并且维护起来也要耗费相当大的成本，提出了利用XML来统一异构数据潭的格式。从而为分布式数据同步提供统一的数据平台，大大降低了数据同步的工作量，提高了整个系统的性能。     

基于XML的虚拟数据库管理系统

针对分布式数据同步时因为有异构的数据源而造成数据格式不统一,应用层进行同步的时候要进行相当复杂的转换并且维护起来也要耗费相当大的成本,提出了利用XML来统一异构数据源的格式,构建基于XML中间件的虚拟数据库.介绍此系统下的异构数据集成的思想和实现框架,同时详细介绍了该框架提供的服务功能及实现的关键技术.     

图书管理系统与校园一卡通数据同步机制的研究

随着数字化进程的加快,多种类、多平台数据服务在大学校园或社区交汇。本文针对图书馆的数据服务问题,在研究数据融合理论和相关技术基础上,从解决问题的实际出发,通过对归档日志的解析,给出了跨平台、跨网络异构数据库主从式双向数据同步模型。     

基于快照的Oracle数据同步研究

数据同步是实现数据共享的重要技术之一,本文首先阐述了基于快照的Oracle数据同步基本原理,然后讨论了数据同步的应用模式,最后介绍了实现基于快照数据同步的完整过程。     

基于Web日志的数据挖掘研究

针对当前Web日志数据信息越来越多的问题,传统的数据库管理系统无法对其进行有效的操作分析。采用数据挖掘技术对其进行研究,从数据挖掘的系统结构和数据挖掘的过程两个方面对数据挖掘进行描述;对Web日志挖掘的理论和过程进行了详细的分析;给出ID3算法的描述,并给出了部分核心的代码。     

历史数据实时压缩方法研究

在开发实时数据库中,对历史数据的存储和管理非常重要,由于大量的数据存储,需要高效的历史数据压缩算法。文章基于均方误差的设计思想,提出了一种新的历史数据压缩算法、给出其详细步骤,并和OSI软件公司开发的旋转门算法进行比较。仿真结果表明,该文提出的新压缩算法具有更高的数据压缩率,降低了测量误差对数据压缩影响。     

中间件技术在异构数据库同步中的应用

随着计算机技术的发展以及网络技术的普及,大多数数据库环境更多的是由不同的平台组成。中间件技术已经开始被广泛应用于异构数据库的数据交换。本文通过对信息系统中异构数据库系统基本特征的研究。讨论了异构数据库系统的同步方法和需要解决的问题,并对各类中间件技术的特点和应用进行了介绍。在深入分析了 TongIntegrator 企业应用集成平台的体系结构的基础上,给出了利用该工县实现异构数据库同步的解决方法。     

基于数据挖掘的虚拟仪器测量数据管理系统

介绍了数据挖掘应用于虚拟仪器的必要性，提出了基于数据挖掘的虚拟仪器测量数据管理系统，并详细阐述了方案的可行性、具体实现等问题。将PolyAnalyst应用于虚拟仪器测量数据管理系统，并给出实例及具体的挖掘结果。     

Lite/2中基于数据同步对象的事务性同步技术

数据同步技术是移动数据库系统中消除移动客户机与数据库服务器之间数据不一致和冲突的主要方法.给出了"小金灵"移动数据库系统Lite/2中所采用的基于数据同步对象的事务性数据同步方法,它能够保持数据的语义一致性.此外,Lite/2将同步失败恢复和队列技术相结合来优化事务性同步过程的总通信代价.实验结果表明,Lite/2中的同步方案是高效合理的.