首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到18条相似文献,搜索用时 125 毫秒
1.
并行查询处理,特别是并行连接查询处理技术是并行数据库中的关键技术.然而,目前的并行查询处理方法尚存在着一些局限性,如绝大多数的并行Join算法依赖于Hash方法对数据进行分治,因此只能支持等值Join等查询类型.为了解决这一问题,提出了一种基于伪半连接的通用θ-Join查询处理算法,并给出了基于查询语法树及并行执行计划的并行数据库通用查询处理方法.在此基础上,实现了一个并行分布式数据库原型系统PD-DBMS,实验结果表明,此方法提供了良好的并行查询处理性能.  相似文献   

2.
多元连接查询的并行执行   总被引:1,自引:0,他引:1  
文中首先分析了传统的并行查询处理算法,然后针对面向对象数据库及其查询的特点,结合查询处理的分阶段执行策略,基于对象类的混合式数据放置策略和基于合格标记的数据操作并行执行算法,提出了基于semijoin的并行查询处理算法,对算法的正确性进行了证明,并给出了性能评价的结果。  相似文献   

3.
基于Hadoop 的高效连接查询处理算法CHMJ   总被引:3,自引:0,他引:3  
赵彦荣  王伟平  孟丹  张书彬  李均 《软件学报》2012,23(8):2032-2041
提出了一种并行连接查询处理算法CoLocationHashMapJoin(CHMJ).首先,设计了多副本一致性哈希算法,将具有连接关系的表根据其连接属性的哈希值在机群中进行分布,在提升了连接查询处理中数据本地性的同时,保证了数据的可用性;其次,基于多副本一致性哈希数据分布,提出了HashMapJoin并行连接查询处理算法,有效地提高了连接查询的处理效率.CHMJ算法在腾讯公司的数据仓库系统中进行了应用,结果表明,CHMJ连接查询的处理效率比Hive系统提高了近5倍.  相似文献   

4.
基于机群系统的数据存储分布是并行数据库领域的一个重要问题。已有的研究工作多集中在基于单个关系的存储分布,不能有效支持复杂多连接查询处理。文章提出了多个关系整体分布方法,给出分布属性选择和处理机分配算法。实验结果表明,算法具有良好的性能,有助于提高并行多连接查询效率。  相似文献   

5.
一种有效的并行数据库动态负载平衡连接算法   总被引:1,自引:0,他引:1  
在基于Shared-nothing结构的并行数据库中,负载平衡一直是影响查询处理性能的重要因素。在数据库中频繁使用的连接操作会因为各种因素导致的负载倾斜和额外的通讯开销而降低数据库的整体性能。提出了一种基于RCMD分布方法的动态负载平衡连接算法,能够在连接操作的执行过程中动态调整各个结点的负载。理论分析和实验结果证明提出的算法能够有效地平衡负载,提高并行数据库的执行效率。  相似文献   

6.
分布式数据库中基于半连接的查询优化算法研究   总被引:2,自引:0,他引:2  
首先阐述了分布式查询优化的主要目标,介绍了半连接算法和基于半连接的二分劈开缩减算法,分析了两者的特点和不足并在其基础上提出了一种新的优化算法——两次半连接对接算法。通过进行两次半连接减少了通信信息量,并且利用多结点的并行性处理提高了查询的响应时间和处理速度。通过对三种算法的比较对新算法的性能进行了分析,结果表明,该算法在某些特定的环境下确实具有较高的处理速度、节点利用率和实际可行性,适合大规模的数据库查询。  相似文献   

7.
黄海  骆绍烨 《福建电脑》2009,25(1):63-64
如何排列多连接表达式的连接顺序,是优化并行查询和提高数据库性能的关键技术之一.但多连接最优顺序是NPC问题。本文章研究了数据库多连接的特征,提出一种结合启发式和穷举搜索的Ghme算法,结合启发式和穷举搜索处理多连接查询,并从实验和理论证明其有效性。  相似文献   

8.
对于云数据库中查询过程中的连接操作来说,具有代价高且费时的特点,在分析大量的重复查询操作在云数据库应用中的基础上,为了提高查询效率,使得传输时间和计算时间极可能缩短,这里提出对于半连接过程进行优化处理,云数据库查询操作中间结果数量,包括相应的网络传输数量能在优化的半连接查询算法中大大减少.所以,对于复杂查询问题具有一定的实用价值.  相似文献   

9.
分布式数据库系统中的查询优化处理   总被引:1,自引:0,他引:1  
分布式查询处理是用户与分布式数据库的接口,也是分布式数据库研究的主要问题之一。在分布式查询处理中基于不同的目标有不同的查询优化算法,文章主要讨论基于最小传输代价原则的半连接算法,分析了半连接算法的原理并给出了多关系半连接查询优化算法思考。  相似文献   

10.
数据库查询优化技术的历史、现状与未来   总被引:1,自引:0,他引:1       下载免费PDF全文
传统的查询树优化方法,即基于左线性树、右线性树、浓密树、操作森林的并行数据库查询优化方法,各有优劣,对其的研究比较深入、成熟;基于多重加权树的查询优化方法,研究了其并行查询计划模型、并行查询计划的复杂性模型和查询优化算法;语义查询优化方法将一个查询变换成一个或数个语义等价的查询,进而寻找并执行这些等价查询中具有较好实现策略的一个;基于Agent的并行数据库查询优化采用Multi-Agent技术自动查找与给定查询有关的完整性约束条件,使得多个关系间连接操作的效率得到很大的提高;基于遗传算法的并行优化算法,深入研究了基于机群并行数据库中关系存储的选择、多连接查询优化和查询处理等关键技术。  相似文献   

11.
面向对象数据库的并行查询处理   总被引:1,自引:0,他引:1  
一、引言随着数据库规模日趋庞大,其查询日趋复杂,对数据库系统性能的要求也越来越高。另一方面,并行计算机系统迅速发展,许多商品化的高性能并行计算机系统相继投入市场。许多数据库研究者们认为,在并行计算机系统上实现数据库管理系统能够极大地提高数据库管理系统的性能,并行数据库管理系统有望成为未来的高性能数据库管理系统。  相似文献   

12.
Shared-nothing并行数据库系统查询优化技术   总被引:15,自引:0,他引:15  
查询优化是并行数据库系统的核心技术。该文介绍作者自行研制的一个Shared-nothing并行数据库系统PBASE/2中独特的两阶段优化策略。为了缩减并行相称优化庞大的搜索空间,PBASE/2将并行查询优化划分为顺序优化和并行化两个在阶段。在顺序优化阶段对并行化后的通信代价进行预先估算,将通信开销加入顺序优化的代价模型,同时对动态规划搜索算法进行了修正和扩展,保证了顺序优化阶段得到的最小代价计划在  相似文献   

13.
Much work has been accomplished in the past on the subject of parallel query processing and optimization in parallel relational database systems; however, little work on the same subject has been done in parallel object-oriented database systems. Since the object-oriented view of a database and its processing are quite different from those of a relational system, it can be expected that techniques of parallel query processing and optimization for the latter can be different from the former. In this paper, we present a general framework for parallel object-oriented database systems and several implemented query processing and optimization strategies together with some performance evaluation results. In this work, multiwavefront algorithms are used in query processing to allow a higher degree of parallelism than the traditional tree-based query processing. Four optimization strategies, which are designed specifically for the multiwavefront algorithms and for the optimization of single as well as multiple queries, are introduced. The query processing algorithms and optimization strategies have been implemented on a parallel computer, nCUBE2; and the results of a performance evaluation are presented in this paper. The main emphases and the intended contributions of this paper are (1) data partitioning, query processing and optimization strategies suitable for parallel OODBMSs, (2) the implementation of the multiwavefront algorithms and optimization strategies, and (3) the performance evaluation results.  相似文献   

14.
不确定数据流上的Skyline查询技术逐步引起研究者的关注,传统的集中式流处理算法难以满足海量数据的查询需求,并且云计算所提供的海量计算资源和有效的存储管理模式,为研究并行Skyline查询技术提供了充足的条件。基于上述事实,提出了一种不确定数据流上的并行Skyline查询算法(parallel Skyline over uncertain data streams,PSUDS)。该算法通过交叉划分滑动窗口的方式,将集中式流查询转化为并行处理,以并行执行的方式来解决集中式算法处理性能不足的问题。大量实验结果表明,该算法具有较好的并行可扩展性。  相似文献   

15.
Database query processing can benefit significantly from parallelism. Parallel database algorithms combine substantial CPU and I/O activity, memory requirements, and massive data exchange between processes, all of which must be considered to obtain optimal performance. Since parallel external sorting is a very typical example, we have focused on sorting to tune Volcano, a new query processing system. The purpose of the Volcano project is to provide efficient, extensible tools for query and request processing in novel application domains, particularly in object-oriented and scientific database systems, and for experimental database performance research. It includes all query processing algorithms conventionally used in relational database systems as well as several new ones, and can execute all of them in parallel. In this article, we present Volcano's parallel external sorting algorithm and a sequence of enhancements to improve its performance. We obtained very good absolute performance, 84 seconds for 100 MB of data, as well as near-linear speedup with sixteen CPUs and disks. Furthermore, these results were achieved on a shared-memory machine despite the common belief that parallel query processing is best implemented on distributed-memory systems. We detail our tuning measures and report on their effectiveness.  相似文献   

16.
基于遗传算法的多连接表达式并行查询优化   总被引:6,自引:0,他引:6  
曹阳  方强  王国仁  于戈 《软件学报》2002,13(2):250-257
多连接表达式的并行查询优化是提高数据库性能的关键问题之一.提出了使用遗传算法来解决多连接表达式的并行查询优化问题.为了提高查询处理器的执行效率,采用启发式规则来搜索最优的多连接表达式并行调度执行计划.文中给出了详细的测试结果和性能分析.实验结果表明,结合启发式知识的遗传算法是解决多连并行查询优化的有效途径,对提高数据库的性能起到重要作用.  相似文献   

17.
数据库数据量日益增多,造成了用户在使用数据库系统查询时费时费力,传统的查询优化方式已无法满足如今的数据查询要求,提高数据库系统优化的效率也成为计算机研究工作的热点。提出基于半连接算法的分布式查询处理技术对数据库系统进行查询优化,提出半连接操作的查询优化算法(SDD-1),并采用实验分析的方法进行验证,计算查询算法的代价。结果表明,基于半连接的研究策略的分布式数据库查询优化可以显著降低传输代价,使查询总效率得到有效提高。  相似文献   

18.
Fundamentally, semantic grid database is about bringing globally distributed databases together in order to coordinate resource sharing and problem solving in which information is given well-defined meaning, and DartGrid II is the implemented database gird system whose goal is to provide a semantic solution for integrating database resources on the Web. Although many algorithms have been proposed for optimizing query-processing in order to minimize costs and/or response time, associated with obtaining the answer to query in a distributed database system, database grid query optimization problem is fundamentally different from traditional distributed query optimization. These differences are shown to be the consequences of autonomy and heterogeneity of database nodes in database grid. Therefore, more challenges have arisen for query optimization in database grid than traditional distributed database. Following this observation, the design of a query optimizer in DartGrid II is presented, and a heuristic, dynamic and parallel query optimization approach to processing query in database grid is proposed. A set of semantic tools supporting relational database integration and semantic-based information browsing has also been implemented to realize the above vision.  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号