异构数据库的变化捕捉和动态同步策略的研究与比较

随着信息技术的发展,信息量的爆炸性的增加异构数据库间,如何进行有效的动态同步已经成为研究的热点。本文综述了异构数据库动态捕捉的常用的策略和技术,并分析了这些策略的优缺点,为研究人员如何选取自身合适的同步策略提供了基础。     

一种异构数据库同步技术的研究与实现

针对以往异构数据库之间数据同步实现困难、可扩展性差的问题,提出一个基于XML的异构数据的同步技术.利用XML来屏蔽异构数据源的格式,从而为异构数据库的同步提供统一的数据平台.使用Web Services技术为异构数据库的同步提供了统一的信息传输和互操作平台.大大降低了数据同步的复杂度,提高了整个系统的性能.     

异构数据库同步系统的研究与实现

采用“事件－条件－动作”的数据驱动机制实现数据库变更事件的实时获取，通过多个通讯代理协同工作完成异构数据库间的数据一致性维护。     

异构数据库同步技术的研究与实现

随着信息化应用的不断深入,企业内部不同应用系统、企业与外部信息系统数据同步的需求日益强烈。由于各信息系统使用的数据库管理软件各不相同,导致数据之间无法实现同步与共享,因此,需要设计一种异构数据库之间同步的方法,解决不同信息系统数据间的同步问题。本论文在现有成熟数据库产品的基础上,分析了数据同步过程中的关键问题,如数据类型差异、数据捕获策略、同步振荡等。针对这些问题,设计采用建立映射模式的方法、触发器与控制表相结合的方法以及在同步任务中对控制表进行干预的方法予以解决。最后,在QT(跨平台软件开发框架)下,设计实现异构数据库同步系统,实验验证表明,本系统达到了较好的数据同步效果。     

异构数据库集成中的变化捕获方案设计

数据库集成是分布式环境中的一项关键技术。由于数据库异构现象越来越普遍,研究异构数据库集成无论在理论还是实际应用上都具有非常重要的意义。详细比较各种常用变化捕获方法之后,提出一种变更轨迹表的设计方案。     

基于隔离网闸的异构数据库同步技术研究与实现

数据同步是分布式环境中维护各节点数据库数据一致性的一项关键技术。本文针对存在物理隔离网闸的应用环境,提出一种基于触发器的SQL文件级异构数据库同步方法,该方法适用于企业异构数据库同步。文中将阐述隔离网闸环境下异构数据库同步的工作原理,提出同步系统的总体框架,给出变化捕获、SQL文件生成、文件传输、数据更新和故障处理这五个环节的实现细节。最后通过在洪水预报系统中的实际应用,验证本文方法的高效性及可靠性。     

基于Java/XML的异构数据同步系统的设计和实现

提出一种基于发布一订阅模式的Push和Pull异构数据同步系统.该系统基于Java和XML这两种与平台无关的技术,采用了数据库触发器对数据库的变化进行捕捉,使用控制变化表来保存数据变化,并利用XML文件作为中介存储来交换变化数据,进而达到数据同步的目的.依据系统的设计,以关系型数据库SQL Server和MySQL为实例,应用Java语言进行了具体代码的实现.     

基于Web Service的异构数据库同步系统设计与实现

针对在分布式网络环境下异构数据库之间数据同步中存在的问题,提出了一种基于WebService技术的异构数据库数据同步系统的解决方案和实现方法。通过在各数据库应用系统中放置基于WebService技术的数据同步客户端程序以及在服务器端部署WebService服务程序实现数据的同步,不但有效地解决了在异构数据库之间数据同步时存在的问题,而且对各需要同步的应用系统的正常业务处理几乎没有影响,对应用系统的改动工作量也很小。最后,把该方案应用到了一个实际项目中。     

基于XML的分布式异构数据库数据同步系统的研究

采用“事件-条件-动作”的数据驱动机制,利用DBMS的触发器和存储过程实现数据库变更事件的实时获取和XML数据打包,通过多个通讯代理协同工作完成异构数据库间的数据同步传输。     

oracle数据变化的捕捉及与XML格式的转换实现

在异构数据库间的数据同步中,数据的变化捕捉与异构数据间的数据转换是两个最为重要的内容。本文以oracle数据序为例,首先利用触发器来实现oracle表中记枣的李化捕获,然后研究实现将变化捕获的结果转存到外部XML文档中。     

数据库同步中差异数据捕获方案设计与实现

差异数据捕获是数据库同步的基础,对其它环节的影响也非常大。差异数据捕获不仅要获得复制对象的变化序列或当前映像,还要在对等式复制时提供尽可能详细的控制信息。该文在分析目前常用的差异数据捕获方法之后,提出了一种时间戳与触发器相结合的设计方案并加以实现。     

数据库同步中差异数据捕获方案设计与实现

差异数据捕获是数据库同步的基础,对其它环节的影响也非常大。差异数据捕获不仅要获得复制对象的变化序列或当前映像,还要在对等式复制时提供尽可能详细的控制信息。该文在分析目前常用的差异数据捕获方法之后,提出了一种时间戳与触发器相结合的设计方案并加以实现。     

中间件技术在异构数据库同步中的应用

随着计算机技术的发展以及网络技术的普及,大多数数据库环境更多的是由不同的平台组成。中间件技术已经开始被广泛应用于异构数据库的数据交换。本文通过对信息系统中异构数据库系统基本特征的研究。讨论了异构数据库系统的同步方法和需要解决的问题,并对各类中间件技术的特点和应用进行了介绍。在深入分析了 TongIntegrator 企业应用集成平台的体系结构的基础上,给出了利用该工县实现异构数据库同步的解决方法。     

远程异构数据库数据同步的实现

提出了一种批量数据更新的方案，它满足远程数据库间所要达到的数据同步，解决了通过频繁拨号的实时连接进行数据交换的弊端。     

MySQL集群到Oracle数据库的数据同步方法

随着开源技术的蓬勃发展,开源数据库在很多业务场景中已经完成对商用数据库的替换,其中MySQL数据库对于Oracle数据库的替换最为常见.在分阶段替换的过程中往往存在MySQL数据库和Oracle数据库在同一套业务系统中并存,MySQL数据库需要向Oracle数据库进行数据同步的情况.同时,MySQL数据库多节点高可用集群的部署方式进一步增加了数据同步的难度.通过研究运用Oracle GoldenGate软件对MySQL集群进行数据抽取的方法,设计出一套行之有效的方案,实际解决从MySQL集群向Oracle数据库同步数据的难题,同时保证了同步过程中数据库的一致性和完整性.     

基于数据库日志的变化数据捕获研究

变化数据捕获方法是数据集成基础设施的战略组成部分,不断推动ETL、EAI等技术的发展.许多数据库厂商都提供了自己的CDC(Change data capture)产品,但只限于针对本身的数据库系统,价格也比较昂贵.虽然通过扫描数据库日志文件可以捕获变化数据,但大多数数据库系统都不提供日志文件的内部格式而只是提供日志访问的程序接口,如Oracle,SQL Server和DB2等.这些提供的接口有的访问活动日志,有的访问稳定日志,有的访问归档日志,因此很难保证读取日志文件的可靠性.现有的研究主要是如何利用程序应用接口读取日志文件,忽略了对可靠性的分析.本文针对读取不同类型的日志文件的可靠性条件进行了分析,提出了可靠读取规则及读取算法;并提出了从日志文件中有效抽取变化数据算法,实验证明了可靠性分析模型.     

分布式异构数据库数据同步工具

一般而言,读写分离技术可以解决当前大数据环境下的读写速度失配的部分问题,但是现有的读写分离技术主要是针对同构数据库的解决方案.由于存储结构的不一致,由行式存储数据库和列式存储数据库构成的异构分布式数据库系统相较于同构分布式数据库系统在数据同步的过程中就会面临格式转换、同步速度不匹配等诸多难题.提出了基于MySQL二进制日志（Binlog）进行SQL还原的方法TD-Reduction,设计并实现了Binlog解析器BinParser和Binlog还原器BinReducer,它们可以基于Mixed格式的Binlog,针对不同的事件（event）进行日志的解析,并依据相应的规则进行还原,生成可执行的SQL语句.综合以上技术,实现了一款分布式数据库数据同步工具Cynomys.在实验环境中,Cynomys表现出较好的性能.该方法适用于所有具有类似Binlog机制的其他异构数据库之间进行数据同步.