基于隔离网闸的异构数据库同步技术研究与实现

数据同步是分布式环境中维护各节点数据库数据一致性的一项关键技术。本文针对存在物理隔离网闸的应用环境,提出一种基于触发器的SQL文件级异构数据库同步方法,该方法适用于企业异构数据库同步。文中将阐述隔离网闸环境下异构数据库同步的工作原理,提出同步系统的总体框架,给出变化捕获、SQL文件生成、文件传输、数据更新和故障处理这五个环节的实现细节。最后通过在洪水预报系统中的实际应用,验证本文方法的高效性及可靠性。     

基于Spark的数据库增量准实时同步

为了实现将传统关系型数据库中的增量数据快速导入同构或者异构目的库,在使用已有的增量提取方法的基础上,提出了通过增加并行度和流式计算的方法加快同步速度。此方法不仅支持插入、更新和删除的增量数据同步,而且可以抽取出数据库表结构信息动态支持表结构变更。与传统单点抽取方式相比,大大提高了目的库数据的新鲜度。     

基于SQL还原法的异构数据库同步技术的研究与实现

数据同步作为维护分布式环境中各个节点数据库数据一致性的方法,是分布式环境中的一项关键技术。文章针对PEGAP网络隔离的应用环境,提出了一种"基于SQL还原法"的适合于企业级数据同步的技术。从数据同步的变化捕获、数据分发和数据更新等三个环节,阐述了PEGAP网络隔离环境下异构数据库同步的基本工作原理,给出了同步系统的总体框架结构,并按照总体框架及流程研究了每个模块的实现细节。最后用水费系统实例来验证该方法,它的成功应用表明了"基于SQL还原法"的可行性及其良好的功能特性。     

分布式海量数据并行传输消息中间件设计与实现

本文提出一种分布式海量数据并行传输消息中间件设计与实现技术,系统采用了计算机集群及并行处理技术、基于数据库日更新技术的数据同步传输机制、异构传输数据库配置与传榆数据配置技术及传输过程设置及传输过程监控技术,实现大型网络系统中异构数据库信息系统问海量数据信息并行交换,多级网络系统间数据信息并行交换.     

异构数据库集成中的变化捕获方案设计

数据库集成是分布式环境中的一项关键技术。由于数据库异构现象越来越普遍,研究异构数据库集成无论在理论还是实际应用上都具有非常重要的意义。详细比较各种常用变化捕获方法之后,提出一种变更轨迹表的设计方案。     

基于连接驱动SQL捕获的远程数据库同步机制

数据同步是实现异地双活数据中心的关键技术,但现有远程数据库同步机制效率较低,并且不能满足异构数据库之间的同步要求。针对上述问题,设计一种新的远程数据库同步机制。分析应用程序操作数据库的过程,研究从数据库连接驱动中捕获SQL的方法,并提出一致性校验算法进行数据验证。实验结果表明,该机制能提高远程数据库同步效率,同时支持异构数据库同步,可为大数据时代多数据中心和灾备系统建设提供技术支持。     

基于JMS的分布式异构数据库间的数据同步

根据分布式异构数据库间的数据同步的实际需要 ,在深入分析研究JMS技术的基础上 ,提出了一种基于JMS的分布式异构数据库间的数据同步的模型 ,并给出了关键技术的主要代码。     

基于JMS与Web Service的网络数据库同步的研究

针对网络异构数据库同步的业务需求,提出一种基于JMS与Web Service整合架构的网络异构数据库同步的解决方案。利用XML语言实现消息的定制,使用Web Service技术实现跨平台的读写数据,在分布式事务处理方面对两阶段提交协议进行了改进,减少了网络之间数据传输量,以及死锁的发生次数,有效保证了分布式平台数据的一致性。实验结果表明这种新方法有效的解决了网络异构数据库的同步问题。     

基于变化数据捕获机制的分布式缓存一致性策略

分布式缓存被广泛应用于解决传统关系型数据库的性能瓶颈问题,但是当不能感知分布式缓存的第三方应用直接更新后台数据库时,缓存数据会获得不一致的状态,存在过时缓存问题.本文提出一种基于变化数据捕获机制的分布式缓存一致性策略,集成了基于触发器和基于日志的两种变化数据捕获机制实时捕获后台数据库更新,实现了数据模型自动转换方法和SQL翻译引擎,实时更新缓存,从而保障分布式缓存的一致性.实验模拟TPC-W测试基准中的关键操作,验证了基于日志的变化数据捕获机制相比基于触发器的变化数据捕获机制有更好的数据库性能和缓存一致性效果.     

异构数据库复制方法的改进与实现

在基于数据库的大型分布式应用系统中,以较小的开销实现异构数据库间的复制是一个难题。分析原有异构数据库复制方法存在的不足,提出在数据访问接口中捕获数据变更SQL语句的改进方法,在不显著增加额外开销的情况下能完全捕获数据变更,同时保持变更的事务特性。实际应用验证了该方法的可行性。