一种工业分布式实时数据库系统的设计与实现

为了满足企业中大型联合控制系统(如千万吨炼油和百万吨乙烯ODS系统、大型SCADA系统核心数据库、大型电力信息系统SIS等大型应用)对实时数据和历史数据查询的点数规模需求,设计了一种分布式实时数据库系统。该系统通过分布式通讯平台,确保了多台实时数据服务器可以分布式部署在各种复杂的网络环境;基于哈希表的数据点分配,确保了实时数据库运行时能快速转换数据点的逻辑位置到物理位置;分布式文件存储系统确保了实时数据库系统可以连续保存多年的工艺数据,而不必担心数据存储的可靠性、存储空间耗尽等问题。     

基于数据资源的数据库系统可用性分析法

数据库系统可用性是考察数据库系统性能的基本指标之一,对其分析通常着眼于系统的总体性能.说明了这种分析的不足,提出了数据资源可用性考察方法并应用于分布式并行数据库系统DPDBS.在对DPDBS中服务器群进行逻辑分组的基础上,从数据资源的角度量化讨论DPDBS的可用性,进而对几种常见的数据库系统数据资源可用性进行分析和比较.     

分布式并行数据库中基于调度的多线程通信模型之研究

分布式并行数据库系统以其高性能倍受关注，高效合理的内部通信系统是分布式并行数据库系统极其关键的组成部分、为此，在分析现有多种通信模型的基础上，建立了一种基于调度的多线程通信模型，该通信模型采用多个线程收发数据，并根据节点运行情况动态调度接收线程和发送线程，既保证了内部通信的通信性能，又不会使系统的时外处理能力成为新的瓶颈．该模型已被成功应用于成都市电子政务的系统平台——分布式并行数据库系统DPSQL。     

基于标记的缓存协作分布式Web服务器系统

介绍了提高Web服务器性能的前沿技术--分布式Web服务器系统,讨论了现有各种方案的优缺点,在此基础上提出一种新的分布式Web服务器系统.该系统使用基于标记的缓存协作用户请求分发方法(tag based cache cooperative Web requests distribution,简称TB-CCRD),通过前端机把系统中各个Web服务器的缓存组织成一个大的虚拟缓存系统,提高系统的整体缓存命中率,缩短了请求的响应时间;通过分布式处理TCP连接转交来消除前端机的性能瓶颈;利用标记通告URL在缓存中的位置,避免了额外的系统内部通信.从而得到了一个可扩展的高性能分布式Web服务器系统.     

SophicDB:一个高性能分布式实时数据库系统

SophicDB是一个高性能分布式实时数据库系统,它被设计用于处理高速实时数据。实时系统中数据的时效性对数据库系统的处理速度提出很高的要求,同时为了保证系统的高可用性需求,又对实时数据库提出了分布式主备运行的要求。详细介绍SophicDB的数据组织方式,以及SophicDB系统的设计和实现。通过单机和多机的测试数据,以及多个投运系统的实际运行数据,表明该数据库系统具备高性能、高扩展性特点,可满足上百节点的集群运行要求。     

分布式混合数据库系统

为了进一步提高混合数据库系统的实用性, 本文提出了一种分布式混合数据库系统. 首先, 散布服务器将关系数据库中的实体表复制到本地内存数据库中, 散布客户端从服务器内存中载入数据库的完整快照, 而不涉及到关系数据库. 在完成最初的数据初始化后, 散布客户端与散布服务器通过散布机制持续保持同步及异常恢复. 本文还给出了数据分类和数据存储设计, 重点强调了散布机制设计过程, 它主要涉及散布模块定义、散布客户端Poll模式、Delta ID的用法、散布复原协议、散布客户端的DB记录同步等.     

虚拟现实环境下的分布式服务器架构策略研究

虚拟现实环境下,数据实时性和系统稳定性的高要求对服务器架构的设计和优化提出了新的挑战。针对虚拟现实环境下海量数据存储效率的提升和系统性能的优化,提出了一种新的分布式服务器架构,该架构基于分布式协调框架ZooKeeper、分布式缓存架构Redis以及MongoDB分片机制,并改进一致性Hash算法来优化Redis缓存架构,同时优化MongoDB分片的负载均衡机制。经过相应的仿真验证,该架构在虚拟现实环境下具有有效性。     

基于数据动态冗余的分布式并行系统重构机制

设计高可用分布式并行数据库系统,系统重构不能只局限于单节点状态变化,为此提出了基于数据动态冗余的分布式并行系统重构机制。该机制通过相关事件触发系统检测,及时分布采集节点状态信息,借助数据的再生和转移,在各节点并行完成负载失衡和节点状态变化下的系统自动重构。实际应用表明,该机制解决了多节点状态同时变化的系统资源和数据资源的重构问题,保证了数据库系统的高可用性。     

分布式监测信息系统架构设计及应用

分布式监测系统广泛应用于检测对象分散的大型工程项目,而信息系统是其中重要的组成部分．本文将信息系统分为内部信息系统和外部信息系统,内部信息系统负责数据汇集及管理,为数据库服务器系统架构设计,外部信息系统则利用原始监测数据,计算监测目标并将其呈现给用户．在内部信息系统中通过协调服务器实现现场服务器和数据服务器的有效联接,按照通用分布式监测系统功能将外部信息系统分为7个层次,针对不同监测系统构建其中具体功能模块及其关系．最后,基于该架构体系提出了分布式地铁隧道沉降监测信息系统模型,该系统也可广泛应用于其他分布式监测系统．     

移动查询缓存处理的研究

客户缓存为提高客户／服务器数据库系统整体性能以及客户方数据可用性提供了有效途径。移动环境下网络资源的贫乏使客户缓存的作用更为重要，语义缓存是基于客户查询语义相关建立的一类缓存，提出一个基于语义缓存的客户缓存机制，给出缓存的内容组织，提出缓存项合并策略；然后讨论了基于语义缓存的查询处理策略；最后，模拟结果表明该客户缓存机制能够提高分布式、特别是移动环境下客户服务器数据库系统的性能。     

Distribution of control using active storage

Real-time control systems are often distributed, with complex data-sharing requirements. A method is proposed for the distribution of functions in such a control system using a distributed real-time database as storage, extended with an active mechanism based on event–condition–action rules that react to changes in the system. This database is fully replicated and nodes communicate using only the database distribution facilities. Critical temporal constraints at individual nodes may be met at the expense of introducing temporary inconsistencies in the database. This paper investigates the effects of using the active mechanism and the replicated storage as a distribution mechanism for certain classes of real-time systems. Particular attention is paid to the requirement of applications to tolerate temporary inconsistencies, assuming that eventual consistency is ensured.     

基于主动数据库分布式SCADA设计与实现

传统模式无法满足SCADA系统对主动数据服务的要求,针对SCADA系统的数据实时性、准确性需求,结合主动数据库技术,提出了基于主动数据库的分布式SCADA系统结构.同时针对SCADA系统与其他异构系统之间的集成和数据交互问题,将基于发布/订阅的消息模式引入系统中,从而降低与其他系统之间的依赖性,增强系统的可扩展性,并给出了主动数据库模型和实时消防监测报警系统的具体应用实例.     

高校数字化系统构建初探

在“数字化校园”的建设中,发现原有的分散系统之间的数据往往没有很好的实现共享,形成了很多“信息孤岛”,这些信息孤岛使我们的大量有用数据失去了进一步利用的价值,如何实现不同部门之间的数据通讯已是需要迫切解决的问题之一。本文提出了一种基于web服务的数字化校园框架体系,以实现对数据库系统、Web页面、文件系统等多个分布异构数据源的信息提取,为用户交互访问和处理异构数据源中的数据提供可能。     

分布式数据库查询优化策略研究

分布式数据库系统由于数据的分布和冗余使得分布式查询处理增加了许多新的内容和复杂性,因此分布式查询处理的优化显得尤为重要。本文简要介绍分布式查询优化的目标、策略,并针对分布式数据库系统的查询优化,讲述三个典型的算法:INGRES算法、SystemR*算法、SDD-1算法,并进行对比、优化、总结,最后对SDD-1算法进行改进。     

流程工业CIMS中的实时数据库技术

流程工业存在着大量的实时数据处理、存储和集成问题,仅靠采用集散式控制系统（ＤＣＳ）和关系数据库技术并不能完全解决。开放结构的分布式实时数据库系统能够提供高速的实时数据服务,能够有效地集成异构控制系统,它和关系数据库一起构成了流程企业的数据平台,对流程工业的生产信息集成起着极其重要的作用,是流程工业ＣＩＭＳ实施中的关键技术。该文针对流程工业ＣＩＭＳ的特点,介绍了在流程工业ＣＩＭＳ中实时数据库的功能．系统结构及其采用的关键技术。     

Real-time concurrency control in a multiprocessor environment

Although many high-performance computer systems are now multiprocessor-based, little work has been done in real-time concurrency control of transaction executions in a multiprocessor environment. Real-time concurrency control protocols designed for uniprocessor or distributed environments may not fit the needs of multiprocessor-based real-time database systems because of a lower concurrency degree of transaction executions and a larger number of priority inversions. This paper proposes the concept of a priority cap to bound the maximum number of priority inversions in multiprocessor-based real-time database systems to meet transaction deadlines. We also explore the concept of two-version data to increase the system concurrency level and to explore the abundant computing resources of multiprocessor computer systems. The capability of the proposed methodology is evaluated in a multiprocessor real-time database system under different workloads, database sizes and processor configurations. It is shown that the benefits of the priority cap in reducing the blocking time of urgent transactions are far greater than the losses involved in committing less urgent transactions. The idea of two-version data also greatly improves the system performance because of a much higher concurrency degree in the system     

基于XML的分布式数据库非递归查询

分布式数据库系统数据的物理分布和冗余导致其处理难度和复杂度增加,分布式数据库的查询优化是数据库查询理论的核心。该文应用XML技术,分析用户提交的非递归查询任务,得到一个最小查询视图。对各分布式数据库进行查询,处理查询所得结果并返回给用户,实现对分布式数据库的有效查询。     

分布环境下实时数据的分配算法

分布实时数据库系统中事务间进行相互通信所产生大量的消息与日志，必然要延长事务的运行时间而影响系统的性能。该文通过对分布实时数据与事务特征进行分析，提出了一种数据分配算法，把数据合理地分配到相应的节点上。能有效地减少事务间相互通信的消息数量，从而提高了系统的性能。     

Distributed real time database systems: background and literature review

Today’s real-time systems (RTS) are characterized by managing large volumes of dispersed data making real-time distributed data processing a reality. Large business houses need to do distributed processing for many reasons, and they often must do it in order to stay competitive. So, efficient database management algorithms and protocols for accessing and manipulating data are required to satisfy timing constraints of supported applications. Therefore, new research in distributed real-time database systems (DRTDBS) is needed to investigate possible ways of applying database systems technology to real-time systems. This paper first discusses the performance issues that are important to DRTDBS, and then surveys the research that has been done so far on the issues like priority assignment policy, commit protocols and optimizing the use of memory in non-replicated/replicated environment pertaining to distributed real time transaction processing. In fact, this study provides a foundation for addressing performance issues important for the management of very large real time data and pointer to other publications in journals and conference proceedings for further investigation of unanswered research questions.