并行数据库数据分布策略研究

并行数据库系统的实现基础就是数据分布,并行数据库的运行效率直接收到其方法的好坏。本文主要通过对一维以及多维等几种类型的数据分布方法进行分析和比较,讲述了并行数据库的数据分布策略及其运行的方向。     

一种并行数据库的动态多维数据分布方法

并行数据库系统的性能与数据库在多处理机之间的分布密切相关.目前已经出现一些并行数据库的数据分布方法.但是,这些方法都不能有效地支持动态数据库.文章提出了一种并行数据库的动态多维数据分布方法.该方法不仅能够有效地支持动态数据库的分布,还具有多维数据分布的诸多优点.此方法由初始数据分布机构和启发式动态数据分布调整机构组成.初始分布机构完成给定数据库文件的初始分布.动态数据分布调整机构实现动态数据库数据分布的动态调整.理论分析和实验结果表明,这种方法十分有效,并且能够有力地支持动态数据库上的各种并行数据操作算法.     

并行数据库上的并行CMD－Join算法

并行数据库在多处理机之间的分布方法(简称数据分布方法)对并行数据操作算法的性能影响很大.如果在设计并行数据操作算法时充分利用数据分布方法的特点,可以得到十分有效的并行算法.本文研究如何充分利用数据分布方法的特点,设计并行数据操作算法的问题,提出了基于CMD多维数据分布方法的并行CMD－Join算法.理论分析和实验结果表明,并行CMD－Join算法的效率高于其它并行Join算法.     

并行数据库上的并行CMD_Join算法

并行数据库在多处理机之间的分布方法(简称数据分布方法)对并行数据操作算法的性能影响很大.如果在设计并行数据操作算法时充分利用数据分布方法的特点,可以得到十分有效的并行算法.本文研究如何充分利用数据分布方法的特点,设计并行数据操作算法的问题,提出了基于CMD多维数据分布方法的并行CMD_Join算法.理论分析和实验结果表明,并行CMD_Join算法的效率高于其它并行Join算法.     

无共享并行数据库中的数据分布研究

并行数据库系统的性能与数据分布密切相关。文章介绍了基于无共享并行数据库结构中目前流行的各类数据分布方法,并在此基础上详细讨论了数据分布涉及的错开问题、动态维护问题及高可用性问题,且对这些问题提出相应的解决方法。最后提出了优化数据分布的一些考虑。     

并行数据库上的进行CMD—Join算法

并行数据库在多处理机之间的分布方法对并行数据 算法的性能影响很大，如果在设计并行数据操作算法时充分利用数据分布方法的特点，可以得到十分有效的并行算法。本研究如何充分利用数据分布方法的特点，设计并行数据操作算法的问题，提出了基ＣＭＤ多维数据分布方法的并行ＣＭＤ－Ｊｏｉｎ算法，理论分析和实验结果表明，并行ＣＭＤ－Ｊｏｉｎ算法的效率高于其它并行Ｊｏｉｎ算法。     

一种有效的并行数据库数据分布方法RCMD

在并行数据库中,数据的分布方法是影响系统查询处理性能的主要因素。目前已有的几种数据分布方法都只适用于某一类查询,而处理其它类型的查询则效率较低。本文提出了一种新的数据分布方法RCMD,可以高效地支持多种查询类型。理论分析和试验结果表明本文提出的RCMD方法优于现有的数据分布方法,具有最好的查询处理性能。     

并行文件系统中高效遥感数据分布技术之研究

本文简要回顾了并行文件系统领域方面的研究,介绍了一种高效的基于大数据量遥感信息的并行文件系统PIPFS(ParallelRemoteSensingImageProcessingFileSystem)中的数据分布机制和元数据格式,说明了该并行文件系统设计中数据分布的主要特点,并对系统特有的数据分布方式和元数据格式进行了详细说明,进行了相关数据测试,用以说明该并行文件系统利用数据分布策略来提高效率的独特特点。     

LS SIMD C编译器的数据通信优化算法

1 引言当前理想的程序自动并行化系统的实现存在许多难于解决的问题,因此较为流行的并行计算方法是利用并行语言编写并行程序,编译器对并行程序进行编译生成相应的节点程序执行。并行语言按并行执行的粒度分为基于任务的并行语言(主要面向一般应用领域的计算)和数据并行语言(主要应用于科学数值计算),典型的数据并行语言如HPF。对于数据并行语言而言,程序执行的并行性已由程序设计人员根据程序中的数据相关性给出。因此,如何确定数据的分布、优化数据的通信是影响并行程序执行效率的重要问题。数据分布大致可以分为两个阶段:首先对源程序中数据的相关性分析得到数据在抽象处理机上的分布,然后将抽象处理机上的数据分布映射到物理处理机上。数据分布的确定通常有以下几种实现方式:一种是由程序员给出抽象数据分布,编译     

并行文件系统中高效遥感数据分布技术之研究

本文简要回顾了并行文件系统领域方面的研究,介绍了一种高效的基于大数据量遥感信息的并行文件系统PIPFS(Parallel Remote Sensing Image Processing File System)中的数据分布机制和元数据格式,说明了该并行文件系统设计中数据分布的主要特点,并对系统特有的数据分布方式和元数据格式进行了详细说明,进行了相关数据测试,用以说明该并行文件系统利用数据分布策略来提高效率的独特特点.     

基于K-D树的多维数据分布方法

系统地介绍了基于并行化k-d树的多维数据分布方法。给出了几种构造k-d树的策 略和相应算法，并从理论上分析和比较了各种策略的通信花费及其应用范围。     

Cluster based parallel database management system for data intensive computing

This paper describes a computer-cluster based parallel database management system (DBMS), InfiniteDB, developed by the authors. InfiniteDB aims at efficiently support data intensive computing in response to the rapid growing in database size and the need of high performance analyzing of massive databases. It can be efficiently executed in the computing system composed by thousands of computers such as cloud computing system. It supports the parallelisms of intra-query, inter-query, intra-operation, inter-operation and pipelining. It provides effective strategies for managing massive databases including the multiple data declustering methods, the declustering-aware algorithms for relational operations and other database operations, and the adaptive query optimization method. It also provides the functions of parallel data warehousing and data mining, the coordinatorwrapper mechanism to support the integration of heterogeneous information resources on the Internet, and the fault tolerant and resilient infrastructures. It has been used in many applications and has proved quite effective for data intensive computing.     

Cluster based parallel database management system for data intensive computing

This paper describes a computer-cluster based parallel database management system (DBMS), InfiniteDB, developed by the authors. InfiniteDB aims at efficiently support data intensive computing in response to the rapid growing in database size and the need of high performance analyzing of massive databases. It can be efficiently executed in the computing system composed by thousands of computers such as cloud computing system. It supports the parallelisms of intra-query, inter-query, intra-operation, inter-operation and pipelining. It provides effective strategies for managing massive databases including the multiple data declustering methods, the declustering-aware algorithms for relational operations and other database operations, and the adaptive query optimization method. It also provides the functions of parallel data warehousing and data mining, the coordinatorwrapper mechanism to support the integration of heterogeneous information resources on the Internet, and the fault tolerant and resilient infrastructures. It has been used in many applications and has proved quite effective for data intensive computing.     

并行XML数据库系统中数据分片策略的研究

数据分片策略是影响并行数据库系统性能的重要因素之一．着重探讨并行XML数据库系统中大规模XML文档的数据分片问题，提出与传统数据库分片策略不同的两种新的分片方法：基于路径模式的路径实例平衡法(PSPIB)和基于结点模式的结点轮循法(NSNRR)．前者的思想是析散DOM树中具有相同路径模式的路径实例，将其分配到不同站点；后者的思想是将DOM树中具有不同结点模式的元素结点以轮循方式析散到不同站点，而将具有相同结点模式的元素结点聚簇到同一站点．还介绍了这两种分片策略的实现，并给出了相应的基于RPE查询的性能测试、分析和评价．     

Iterative-improvement-based declustering heuristics for multi-disk databases

Data declustering is an important issue for reducing query response times in multi-disk database systems. In this paper, we propose a declustering method that utilizes the available information on query distribution, data distribution, data-item sizes, and disk capacity constraints. The proposed method exploits the natural correspondence between a data set with a given query distribution and a hypergraph. We define an objective function that exactly represents the aggregate parallel query-response time for the declustering problem and adapt the iterative-improvement-based heuristics successfully used in hypergraph partitioning to this objective function. We propose a two-phase algorithm that first obtains an initial K-way declustering by recursively bipartitioning the data set, then applies multi-way refinement on this declustering. We provide effective gain models and efficient implementation schemes for both phases. The experimental results on a wide range of realistic data sets show that the proposed method provides a significant performance improvement compared with the state-of-the-art declustering strategy based on similarity-graph partitioning.     

A Hypergraph Based Approach to Declustering Problems

Parallelizing I/O operations via effective declustering of data is becoming essential to scale up the performance of parallel databases or high performance systems. Declustering has been shown to be a NP-complete problem in some contexts. Some heuristic methods have been proposed to solve this problem. However, most methods are not effective in several cases such as queries with different access frequencies or data with different sizes. In this paper, we propose a hypergraph model to formulate the declustering problem. Several interesting theoretical results are achieved by analyzing the proposed model. The proposed approach will allow modeling a wide range of declustering problems. Furthermore, the hypergraph declustering model is used as the basis to develop new heuristic methods, including a greedy method and a hybrid declustering method. Experiments show that the proposed methods can achieve better performance than several declustering methods.