采用消息队列实现数据一致性方法

针对构建分布式微服务中数据一致性问题,本文总结了在处理分布式计算中数据一致性问题遵循原则,分析实现微服务的幂等性设计重要性,提出了一种采用事务型消息队列解决分布式微服务典型应用场景中数据一致性问题的方法,并给出RocketMQ实现方式及原理,实验表明事务型消息可以较好解决分布式数据一致性问题,最后分析了上述方法的优缺点,本文提出的在分布式微服务构建中数据一致性处理方法应用中具有一定的借鉴作用.     

基于消息通信的分布式系统最终一致性平台

在分布式系统中为了满足高性能和吞吐量,一般采用异步消息通信方式,但消息通信没有解决分布式事务不一致问题。针对这个问题,提出建立一致性保障平台,通过这个平台实现最终一致性。首先,使系统满足幂等性以及业务数据与消息生产消费记录强一致性;其次,建立消息监控机制,根据监控规则和消费生产消费记录,判定消息正常还是需要补偿操作或者幂等操作,从而保证分布式系统基于消息通信的最终一致;最后,在整个设计实现过程中采用关注点分离和横向切分的思想与工程化的方法,实现一致性保障平台。通过实验和分析证明比较得出,与异步消息通信相比,分布式消息通信性能更优越;一致性保障平台能及时发现不一致并由系统及时处理,实现最终一致,即可以完全保障系统最终一致性;而且该平台通过平台化的实现方式在应用中可以快速复用到数十个业务系统。由此得出一致性保障平台可以解决分布式交易系统事务最终一致性问题,不仅性能优越而且经济。     

基于Cache机制在DVE中数据服务质量的改善

论述了在分布式虚拟环境系统中采用层次结构、多服务器／客户机的数据管理模式下的Cache机制，并对该系统结构下的数据查询与读取能力进行了测试，测试结果表明该数据管理系统具有良好的数据服务性能。     

遥感数据异地备份中数据一致性方法研究与实现

近年来,遥感数据的备份与容灾是数据存储与安全领域内备受关注的问题。异地备份的目的是实现数据的互备份和互检索,实现遥感数据动态备份与快速恢复。本文根据遥感数据异地备份自身的特点,在借鉴分布式数据库系统中维护数据一致性方法的基础上,提出了基于消息队列机制的异步复制控制法、差错控制法和同步文件比对法3种维护遥感数据一致性的方法,同时对这3种方法的区别和联系进行了初步分析。     

基于环境一致性的分布式并行数据更新协议

为了保证服务器节点完全对等的分布式并行数据库系统更新结果一致性,提出基于数据环境一致性的分布式并行更新协议DEC-DP2PC(Distributed and Parallel 2PC Based on Data-Environment-Consistency),对经典2PC(two phase commit)在执行条件、表决内容和次数、全局提交和撤销定义等方面进行了针对性改进。性能分析和测试表明,DEC-DP2PC可有效过滤数据副本分布和版本号等数据环境信息不一致情况下事务的执行,减少全局数据环境一致性维护开销和降低系统平均响应时间。     

分布式数据库系统中数据一致性维护方法

讨论了在分布式数据系统中，对于各个数据库副本维护数据一致性的问题，介绍了Oracle8i数据库系统中数据复制的基本概念，基本原理，复制配置以及数据复制的基本配置和实现方法。     

面向非易失内存的数据一致性研究综述

在分布式内存系统中,缓存是减少远端内存访问开销的一种有效手段. 然而,单一的缓存一致性保证机制往往不能高效适配不同类型负载的访存特性. 为此,面向分布式异构内存池系统,设计了基于目录和基于广播相结合的混合缓存一致性保证机制. 利用四象限矩阵分析方法,对每个数据对象进行访存模式的判定分析,并为其配置最高效的缓存一致性保证策略,并且可以根据对象访存特征的变化在2 种策略之间动态切换. 实验结果表明,相比使用单一的缓存一致性保证机制,采用可动态配置的混合缓存一致性保证机制可提升分布式异构内存池系统的读和写,性能平均达32.31%和31.20%. 此外,混合的缓存一致性保证机制在客户端数量不断增加时仍然表现出良好的可扩展性.

     

消息中间件的生产端一致性设计与实战

消息中间件在银行向分布式架构迁移的过程中扮演着重要的角色,然而其生产端的数据一致性一直是个难点.针对此难点,介绍了常见的处理方法及其存在的问题,并提出了通用的最终一致性解决方案,对方案进行了详细的设计和实战演示,为银行向分布式架构迁移提供了技术路线,以最终实现分布式系统建设.     

分布式系统中异地数据库的数据一致性维护

大型分布式系统通常需要在异地的数据库中存储同一数据的不同副本,不同副本之间需要维护数据的一致性。文章讨论了维护数据一致性的两种方法:消息队列法和复制控制法,并分别介绍了使用IBMMQSeries消息队列和MicrosoftSQLServer复制机制来维护数据一致的实现过程,对比分析了二者在实际应用中各自的特点,以及在理论上的技术差异。     

基于消息系统的海量实时数据集成

在需要实时数据同步集成的需求下,传统的数据仓库定时刷新的方式无法满足需求。消息系统应用于企业系统间的事件交互,本身具有＂近实时＂、发布/订阅模式、可靠的消息传递、大容量、可随意扩容等特性,为海量数据实时同步提供保障。     

基于PVM的自适应任务调度策略的消息处理

采用自适应的任务调度策略,通过由计算主机收集各自的负载信息并主动适时发给调度主机,减轻了调度主机的负载,改善了调度主机的调度性能。本文基于PVM并行程序开发环境,介绍了任务调度策略实现过程中消息的处理方法。     

基于报文方式的机床数据采集与分享方法研究

随着工业互联网的发展,大量的数控机床被连入云平台,同时也带来了机床数据采集和共享的需求。对于不同品牌或者同一品牌但是不同型号的数控机床,其数据采集的内容和频率都不同。面对不同的数据采集与分享业务,需要一种灵活的采集与分享方式。针对以上问题,提出了一种基于报文的机床数据采集和分享方法。该方法通过定义数据采集报文来明确数据采集的内容以及频率;边缘设备或数控系统读取报文明确采集要求并执行相应的采集任务;定义好的报文和所采集到的数据存储在网络平台,以便检索和分享。根据业务需要,可以在不同企业之间共享这个数据采集报文,以实现信息共享。通过这种方法,能够更加灵活地对不同数控机床进行有针对性的数据采集和分享。     

Windows消息机制研究

在Windows消息的产生、基本格式、传递、处理等方面时Windows消息机制进行阐述,并介绍在VC 6.0下自定义消息的基本过程,以及利用剪贴板和原子表结合消息实现进程线程间数据交换的基本原理.     

多维数据建模在短消息通信数据分析中的应用

联机分析处理(OLAP)是支持复杂的数据分析需求的重要技术。将OLAP多维数据建模应用于电信行业的短消息通信业务。针对特定的短消息通信的数据分析需求,设计短消息通信数据分析系统的多维模型,并利用SQL Server以及相关工具成功地实现该系统。     

多维数据建模在短消息通信数据分析中的应用

联机分析处理（OLAP）是支持复杂的数据分析需求的重要技术。将OLAP多维数据建模应用于电信行业的短消息通信业务。针对特定的短消息通信的数据分析需求．设计短消息通信数据分析系统的多维模型,并利用SQL Server以及相关工具成功地实现该系统。     

电子商务标准cnXML中的消息服务策略研究

提出了cnxML消息服务的总体架构,从消息封装、消息传输、消息安全3个方面对cnXML的消息服务进行了深入细致的研究,主要包括基于SOAP的消息封装、消息传输中的错误处理、可靠传输和协议绑定,以及采用数字签名与传输安全相结合的cnXML消息安全方案。     

一种基于XML的可互操作消息处理模型的研究

传统电子数据交换技术因为可扩展与可互操作能力的缺乏不能满足现在的需要。XML作为一种描述能力很强的元语言,有着很好的结构性和可扩展性。提出了一种以XML为基础的消息处理模型XIMSM,并以该消息处理模型作为EDI,EC,OA等系统的数据交换基础。     

基于离线数据载体的分布数据一致性研究

针对离线数据栽体应用的特点，文章提出了“有序双场地分布事务”的概念和“有序双场地两阶段提交”协议，并给出了相关的正确性证明和阻塞性分析，从理论上彻底地解决了基于离线数据载体的分布数据一致性问题．本文结论经过了实验和实践检验。