并行数据操作算法和查询优化技术

本文是并行数据库的查询处理并行化技术和物理设计方法”一文的续篇，继续综述并行数据库系统的另外两个重要研究领域：并行数据操作算法和并行数据库查询优化技术．最后，作为并行数据库系统研究与进展情况综述的结尾，本文将探讨并行数据库系统今后的研究方向和问题．     

基于并行B+-树的并行Join算法的设计、分析与实现

Ｂ＾＋－树是一种有效的数据库存储结构，被普遍应用于各种关系数据库系统。把Ｂ＾＋－树并行化，使之用于并行数据库系统显然是一项很有意义的重要工作。本文研究了适用于并行数据库的并行Ｂ＾＋－树存储结构，提出两类基于并行Ｂ＾＋－树工并行Ｊｏｉｎ算法。理论和实验结果表明，这些算法效率高基其它并行Ｊｏｉｎ算法。     

并行数据库系统PARO的物理设计方法与实现

物理设计方法是并行数据库系统研究和实现中的一个核心问题，本文介绍我们在一个并行数据库原型系统中采用的数据库物理设计方法，描述其数据划分，并行Ｂ树索引结构和几种复杂并行数据组织形式。     

基于数据库应用软件的一类并行数据库管理应用系统的结构设计

本文论述了串行数据库系统在微机网络上实现并行数据库应用管理系统开发的结构设计，特别是对并行数据库的设计、并行管理和工作机制作出了详细的描述。     

基于直方图的并行结构连接算法

连接操作是最昂贵且常用的数据库操作．在传统数据库系统中，主要的连接操作是等值连接操作，因此，传统的并行连接算法主要集中于并行等值连接操作．另外，随着XML在Web应用中变得越来越重要，XML已经成为Internet上一种新的数据交换标准．对XML数据的连接操作不同于传统数据库中的等值连接操作，它属于结构连接操作．以前适合等值连接操作的并行连接算法并不能有效地解决结构连接问题．因此，第1次提出了并行结构连接问题，并且通过应用直方图的思想于并行连接中，从而提出两种基本的并行XML结构连接算法、等高直方图连接算法和等宽直方图连接算法．实验表明这两种算法具有较好的性能．     

基于MPI的并行数据库的研究与实现

随着硬件发展趋于极限,建立并行数据库管理系统已成为提高数据库性能的必然选择.本文在介绍了并行数据库系统相关的概念之后,讨论了并行教据库的物理组织结构,并介绍了一个并行数据库系统原型的实现.     

基于机群架构的并行数据库中间件系统改进研究

基于机群架构的高性能计算机已经被应用到很多领域,如大气预测、油藏模拟、CFD仿真模拟和Web服务等.随着数据量的爆炸式增长,传统的集中式的数据库系统已经难以满足各种应用的需求,基于机群式架构的并行数据库系统为增强海量数据的存储以及处理能力提供了一种途径.对以前实现的一个基于机群架构的并行数据库中间件系统ParaMidSQL进行了改进.通过对并行选择、并行排序、并行连接等关键操作的测试,给出对并行数据库中间件系统改进后的性能分析.     

面向对象数据库的并行查询处理

一、引言随着数据库规模日趋庞大,其查询日趋复杂,对数据库系统性能的要求也越来越高。另一方面,并行计算机系统迅速发展,许多商品化的高性能并行计算机系统相继投入市场。许多数据库研究者们认为,在并行计算机系统上实现数据库管理系统能够极大地提高数据库管理系统的性能,并行数据库管理系统有望成为未来的高性能数据库管理系统。     

基于并行及异构数据库联合系统

用PowerBuilder开发异构数据库的联合使用是一种好方法，然而它不支持数据库服务器间的并行工作。本文提出了在PowerBuilder应用程序与数据库接口之间通过构造“并行桥”的策略解决这一问题的思想，并由此设计实现了一个“异构数据库联合使用系统”。该系统将分布在网络不同节点上的ORACLE、SYBAS及MSSQLSERVER数据库服务器中的局部库集成为一个全局库并提供全局事务管理和并行查询处理的异构数据库系统。     

基于网络集群系统的并行数据库中数据均衡分布研究

1 引言随着信息处理技术的不断发展,信息量的急剧膨胀,对数据库系统提出了更高的要求;并行计算机系统的快速发展,使得并行运行环境逐渐趋向成熟,广泛应用于科学计算与研究的众多领域,并行数据库的研究也越来越受到广泛的关注,并已经成为数据库研究中一个重要的研究领域。     

并行数据库上的并行CMD－Join算法

并行数据库在多处理机之间的分布方法(简称数据分布方法)对并行数据操作算法的性能影响很大.如果在设计并行数据操作算法时充分利用数据分布方法的特点,可以得到十分有效的并行算法.本文研究如何充分利用数据分布方法的特点,设计并行数据操作算法的问题,提出了基于CMD多维数据分布方法的并行CMD－Join算法.理论分析和实验结果表明,并行CMD－Join算法的效率高于其它并行Join算法.     

日新月异的数据库研究领域--数据库技术的回顾与展望

本文回顾十年来数据库技术的进展和主要成就，包括面向对象的和对象关系的数据库系统、多媒体数据的支持、并行数据库、web数据集成与检索、三级存储器技术、数据仓库、数据挖掘、数据可视化技术。本文还讨论了影响数据库研究的三个重要趋势，即Internet/Web技术、程序逻辑和数据的统一管理技术、迅速发展的计算机硬件技术。最后，本文探讨了嵌入式数据库系统、未来的联邦数据库系统、未来数据库系统的体系结构、程序逻辑和数据统一管理技术、结构化和半结构化数据的集成技术等几个主要数据库研究新方向。     

Performance evaluation of a parallel cascade semijoin algorithm for computing path expressions in object database systems

With the emerging of new applications,especially in Web,Such as E-Commerce,Digital Library and DNA Bank,object database systems show their stronger funcitons than other kinds of database systems due to their powerful representation ability on complex semantics and relationshiop.One distinguished feature of object database systems is path expression,and most queries on an object database ar based on path expression because it is the most natural and convenient way to access the object databse,for example,to navigate the hyper-links in a web-based database,The execution of path expression is usually extremely expensive on a very large database.Therefore,the improvement of path expression eecution efficiency is critical for the performance ofobject databases.As an importan approach realizing high-performance query processing ,the parallel processing of path expression on distributed object databases is explored in this paper.Up to now,some algorithms about how to compute path expressions and how to optimize path expression processing have been proposed for centralizedenvironments.But,few approaches have been presented for computing path expressions in parallel.In this paper,a new paralle algorithm for computing path expression named Parallel Cascade Semijoin(PCSJ)is proposed.Moreover,a new scheduling strategy called right-deep zigzag tree is designed to further improve the performance of the PCSJ algorithm.The exper-iments have been implemented in an NOW distributed and parallel environment.The results show that the PCSJ algorithm outperforms the other two parallel algorithms(the parallel version of forward pointer chasing algorithm(PFPC)and the index splitting parallel algorithm(IndexSplit) when computing path expressions with restrictive predicates and that the right-deep zigzage tree scheduling strategy has better performance than the right-deep tree scheduling strategy.     

关联挖掘中的时效度研究

传统的关联挖掘算法,以支持度和置信度作为评价标准来衡量规则是否有价值。然而,这种模式不能体现出数据的时效敏感特性,如Web数据和长期积累数据。文中将首次建立一个全新的时基模型来重新估计数据规则的价值,并给出时效度(time validity)作为新的规则价值衡量标准。最后,给出了基于这个新的时基模型的一种新并行算法。这种算法使得我们在挖掘过程中使用增量挖掘,而且使得用户可以通过互操作来优化挖掘过程。     

支持深度学习的视觉数据库管理系统研究进展

计算机视觉因其强大的学习能力,在各种真实场景中得到了广泛应用.随着数据库的发展,利用数据库中成熟的数据管理技术来处理视觉分析应用,已成为一种日益增长的研究趋势.图像、视频和文本等多模态数据的相互融合处理,也促进了视觉分析应用的多样性和准确性.近年来,因深度学习的兴起,支持深度学习的视觉分析应用开始受到广泛关注.然而,传统的数据库管理技术在深度学习场景下面临着复杂视觉分析语义难以表达、应用执行效率低等问题.因此,支持深度学习的视觉数据库管理系统得到了广泛关注.综述了目前视觉数据库管理系统的研究进展:首先,总结了视觉数据库管理系统在不同层面上面临的挑战,包括编程接口、查询优化、执行调度和数据存储;其次,分别探讨了上述4个层面上的相关技术;最后,对视觉数据库管理系统未来的研究方向进行了展望.     

一种并行数据库的动态多维数据分布方法

并行数据库系统的性能与数据库在多处理机之间的分布密切相关.目前已经出现一些并行数据库的数据分布方法.但是,这些方法都不能有效地支持动态数据库.文章提出了一种并行数据库的动态多维数据分布方法.该方法不仅能够有效地支持动态数据库的分布,还具有多维数据分布的诸多优点.此方法由初始数据分布机构和启发式动态数据分布调整机构组成.初始分布机构完成给定数据库文件的初始分布.动态数据分布调整机构实现动态数据库数据分布的动态调整.理论分析和实验结果表明,这种方法十分有效,并且能够有力地支持动态数据库上的各种并行数据操作算法.     

基于热点内容的动态数据调整方法

数据倾斜和热点的存在对并行数据库系统的性能有极大影响,目前国内外对这类问题的研究主要着眼于让数据均匀地分布在各节点上。但这些方法均无法避免由于某些节点访问过于频繁而导致的热点问题。文章提出的方法将目标放在解决热点问题上,通过在过载节点上寻找那些对负载影响最大的热点数据并对其分解,来达到平衡负载的目的。     

Graph-Based Parallel Query Processing and Optimization Strategies for Object-Oriented Databases

Much work has been accomplished in the past on the subject of parallel query processing and optimization in parallel relational database systems; however, little work on the same subject has been done in parallel object-oriented database systems. Since the object-oriented view of a database and its processing are quite different from those of a relational system, it can be expected that techniques of parallel query processing and optimization for the latter can be different from the former. In this paper, we present a general framework for parallel object-oriented database systems and several implemented query processing and optimization strategies together with some performance evaluation results. In this work, multiwavefront algorithms are used in query processing to allow a higher degree of parallelism than the traditional tree-based query processing. Four optimization strategies, which are designed specifically for the multiwavefront algorithms and for the optimization of single as well as multiple queries, are introduced. The query processing algorithms and optimization strategies have been implemented on a parallel computer, nCUBE2; and the results of a performance evaluation are presented in this paper. The main emphases and the intended contributions of this paper are (1) data partitioning, query processing and optimization strategies suitable for parallel OODBMSs, (2) the implementation of the multiwavefront algorithms and optimization strategies, and (3) the performance evaluation results.