基于半连接的并行查询处理算法的研究

多元连接查询的并行执行是并行数据库的研究重点,传统的并行查询处理算法没有利用面向对象数据库及其查询的特点,算法效率较低.借鉴分布式数据库查询处理中基于半连接的优化思想,提出了基于半连接的并行查询处理算法.性能评价表明了其实用性和有效性.     

排序合并Join算法的新结果

Join操作是数据库中最昂贵和最常用的操作.排序合并Join算法是实现Join操作的重要算法,得到了普遍接受并广为应用.在重新研究了排序合并Join算法后发现,同时对两个Join关系进行外排序是不必要的,会带来很大的额外开销.针对这个问题,提出了一种基于单关系外排序的分治Join算法,并在该算法的基础上提出了基于单关系外排序的并行分治Join算法.理论和实验结果证明,基于单关系排序的分治Join算法高于排序合并Join算法.特别是在并行计算环境下,基于单关系排序的并行分治Join算法的效率远远高于排序合并     

并行数据库上的并行CMD－Join算法

并行数据库在多处理机之间的分布方法(简称数据分布方法)对并行数据操作算法的性能影响很大.如果在设计并行数据操作算法时充分利用数据分布方法的特点,可以得到十分有效的并行算法.本文研究如何充分利用数据分布方法的特点,设计并行数据操作算法的问题,提出了基于CMD多维数据分布方法的并行CMD－Join算法.理论分析和实验结果表明,并行CMD－Join算法的效率高于其它并行Join算法.     

基于蚁群遗传混合算法改进的连接查询研究

连接查询优化技术对提升数据库性能至关重要,提出一种改进的连接查询算法,结合Wander Join连接查询算法,使用蚁群遗传混合算法对连接顺序进行优化。执行新的连接计划后,用剪枝策略降低样本的连接复杂度,达到了减少存储代价的目的。 理论分析和基于TPC-H数据集、TPC-DS数据集的算法对比实验表明,在多表连接的样本置信区间大于或等于95%的条件下,根据选择率的不同,加入蚁群遗传混合算法和剪枝策略的连接查询算法的相对错误率与Wander Join连接查询算法相比下降了20%～70%。     

优化处理并行数据库查询的并行数据流方法

本文使用并行数据流技术优化和处理并行数据库查询的方法,提出了一整套相关算法,并给出了一个基于并行数据流方法的并行数据库查询优化处理器的完整设计.这些算法和相应的查询优化处理器已经用于作者自行设计的并行数据库管理系统原型.实践证明,并行数据流方法不仅能够快速有效地实现并行数据库管理系统,也能够有效地进行并行数据库查询的优化处理.     

空间数据库中连接运算的处理与优化

空间数据库的性能问题严重制约了它的应用与发展 .由于空间连接运算是空间数据库中最复杂、最耗时的基本操作 ,因此其处理效率在很大程度上决定了空间数据库的整体性能 .尽管目前已经有许多空间连接算法 ,但空间连接运算的代价估计和查询优化仍然有待进一步研究 .众所周知 ,大部分空间连接算法都是基于 R树索引实现的 ,如果参与空间连接运算的关系上没有索引或只有部分索引 ,那么就需要使用特殊的算法来处理 .另外 ,各种算法的代价评估模型需要一个相对统一的计算方法 ,实践证明 ,根据空间数据库的实际情况 ,使用 I/ O代价来估计算法的复杂性较为合理 .在此基础上 ,针对复杂的空间查询中可能出现多个关系参与空间连接运算的情况 ,故还需要合理地应用动态编程算法来找出代价最优的连接顺序 ,以便最终形成一个通用的算法框架 .通过对该算法框架的复杂性分析可以看出 ,在此基础上实现的空间数据库查询优化系统将具有较高的时空效率 ,并且能够处理非常复杂的空间查询     

数据库查询优化技术的历史、现状与未来

传统的查询树优化方法,即基于左线性树、右线性树、浓密树、操作森林的并行数据库查询优化方法,各有优劣,对其的研究比较深入、成熟;基于多重加权树的查询优化方法,研究了其并行查询计划模型、并行查询计划的复杂性模型和查询优化算法;语义查询优化方法将一个查询变换成一个或数个语义等价的查询,进而寻找并执行这些等价查询中具有较好实现策略的一个;基于Agent的并行数据库查询优化采用Multi-Agent技术自动查找与给定查询有关的完整性约束条件,使得多个关系间连接操作的效率得到很大的提高;基于遗传算法的并行优化算法,深入研究了基于机群并行数据库中关系存储的选择、多连接查询优化和查询处理等关键技术。     

支持关键词搜索的空间连接查询研究

近年来,许多实际应用不仅需要支持空间连接查询而且需要具备关键词搜索功能,以帮助用户查找那些既满足空间连接条件又包含指定关键词的空间对象组合.正是在这种需求的驱动之下,定义了一种具备关键词搜索功能的空间连接查询(Spatial Join with Keyword Search,缩写SJKS),并提出了一种基于IR2-Tree的SJKS查询处理算法(IR2-TreeSJKS算法),旨在实现关键词搜索与空间连接查询的高效结合.实验表明,本算法可有效支持具有关键词搜索功能的空间连接查询处理.     

基于机群环境的并行多连接存储分布技术

基于机群系统的数据存储分布是并行数据库领域的一个重要问题。已有的研究工作多集中在基于单个关系的存储分布,不能有效支持复杂多连接查询处理。文章提出了多个关系整体分布方法,给出分布属性选择和处理机分配算法。实验结果表明,算法具有良好的性能,有助于提高并行多连接查询效率。     

一种有效的并行数据库动态负载平衡连接算法

在基于Shared-nothing结构的并行数据库中,负载平衡一直是影响查询处理性能的重要因素。在数据库中频繁使用的连接操作会因为各种因素导致的负载倾斜和额外的通讯开销而降低数据库的整体性能。提出了一种基于RCMD分布方法的动态负载平衡连接算法,能够在连接操作的执行过程中动态调整各个结点的负载。理论分析和实验结果证明提出的算法能够有效地平衡负载,提高并行数据库的执行效率。     

分布式数据流连接查询算法

分布式处理是数据流管理系统发展的必然趋势。文章研究了分布式数据流的连接查询，提出DM3Join算法，它由2部分组成：一是通过分解并发的连接请求，合并相同的连接谓词，形成分布式查询操作算子；二是数据流在各分布式代理(Agent)中流转实现部分连接，并在查询引擎处组合成最终结果。DM3Join算法采用了一种类似路由表的结构执行窗口连接，由于可以共享中间结果，算法只需扫描数据1遍。分析和实验证明，该连接算法是高效的。     

数据库查询优化研究

随着信息技术的快速发展以及人们对信息依赖程度的提高,数据库在整个信息化建设中具有更加重要的作用。如何提高数据库的效率。特别是数据库查询的效率十分关键。论文分别研究了分布式数据库和并行数据库的查询优化方法。在分布式数据库中,论文侧重基本原理的分析,主要从基于关系代数的优化、基于直接连接查询的优化、半连接优化、索引优化以及查询优化搜索策略,这5个方面系统的论述了查询优化的方法、策略。在并行数据库部分,论文侧重于常见算法的研究,主要论述了基于查询树的传统优化方法、多重加权树优化方法、语义查询优化方法以及基于遗传的优化方法,该4类查询优化算法是目前并行数据库查询优化中应用最广的,代表了当前的研究水平。论文研究这两类典型的数据库查询优化算法,就是让我们能了解数据库优化的发展情况,有利于开发更加有效的查询优化技术。     

面向多核处理器平台的并行Hash JOIN算法设计与实现

利用多核处理器提供的强大计算能力提升数据库系统性能是当前国内外数据库研究的重要问题.利用基于多核处理器上的并行编程模型MSI和Intel处理器上的SIMD(单指令流多数据流)指令有效地加速了数据库查询的Join操作,与串行实现相比其最大加速可以达13倍.同时,还对比不同数据分块大小情况下对算法的影响,找到了优化的数据分块方法.     

并行数据库上的并行CMD_Join算法

并行数据库在多处理机之间的分布方法(简称数据分布方法)对并行数据操作算法的性能影响很大.如果在设计并行数据操作算法时充分利用数据分布方法的特点,可以得到十分有效的并行算法.本文研究如何充分利用数据分布方法的特点,设计并行数据操作算法的问题,提出了基于CMD多维数据分布方法的并行CMD_Join算法.理论分析和实验结果表明,并行CMD_Join算法的效率高于其它并行Join算法.     

MapReduce框架下基于R-树的k-近邻连接算法

针对大规模空间数据的高性能k-近邻连接查询处理,研究了MapReduce框架下基于R-树索引的k-近邻连接查询处理。首先利用无依赖并行和串行同步计算的形式化定义抽象了MapReduce并行编程模型,基于此并行计算模型抽象,分别提出了 R-树索引快速构建算法和基于 R-树的并行 k-近邻连接算法。在索引构建过程中,提出一种采样算法以快速确立空间划分函数,使得索引构建符合无依赖并行和串行同步计算抽象,在MapReduce框架下非常容易进行表达。在k-近邻连接查询过程中,基于构建的分布式R-树索引,引入k-近邻扩展框限定查询范围并进行数据划分,然后利用 R-树索引进行 k-近邻连接查询,提高了查询效率。从理论上分析了所提出算法的通信和计算代价。实验与分析结果表明,该算法在真实数据集的查询上具有良好的效率和可扩展性能,可以很好地支持大规模空间数据的k-近邻连接查询处理,具有良好的实用价值。     

基于Fermi架构的Join算法

在列数据库中,连接操作依然是最核心和最耗时的操作,GPU强大的计算能力可为此提供新的优化手段。基于Fermi架构,提出了新的Hash Join算法和Sort merge Join算法,其基本思想是充分利用该架构新增的缓存结构来减少连接操作的cache缺失率。与CUDA stream技术相结合,新算法在输出结果较多时可以有效地隐藏主存与显存间数据传输带来的延迟,进一步提升其执行效率。实验结果证实了基于Fcrmi架构的Hash Join算法处理偏抖数据的高效性及Sort merge Join算法的稳定性,并且通过比较表明,这两种算法的性能全面优于基于多核CPU充分优化的Join算法,最大加速2.4倍,在外键分布高偏抖时新的Hash Join算法的执行速度甚至达到每秒217M元组。     

基于Hadoop 的高效连接查询处理算法CHMJ

提出了一种并行连接查询处理算法CoLocationHashMapJoin(CHMJ).首先,设计了多副本一致性哈希算法,将具有连接关系的表根据其连接属性的哈希值在机群中进行分布,在提升了连接查询处理中数据本地性的同时,保证了数据的可用性;其次,基于多副本一致性哈希数据分布,提出了HashMapJoin并行连接查询处理算法,有效地提高了连接查询的处理效率.CHMJ算法在腾讯公司的数据仓库系统中进行了应用,结果表明,CHMJ连接查询的处理效率比Hive系统提高了近5倍.     

一种空间数据挖掘查询索引的研究及应用

从数据库技术角度出发,对空间数据挖掘查询的数据库支持技术和空间数据挖掘系统与GIS数据库的集成技术进行了研究;首先介绍了空间数据挖掘与GIS的关系,及目前在该领域存在的一些问题和缺陷;然后提出了一种支持空间数据挖掘查询的索引和数据访问方法——距离方向连接索引(Distance-Direction associated Join Indices,DDJI),并给出了基于这种索引技术的空间数据挖掘算法及实现技术,研究了基于DDJI的各种空间数据挖掘算法的统一实现技术;实验研究证明,与传统方法相比,DDJI的实现方法在性能上具有较大优势。     

并行XML数据库查询处理算法的性能评价

基于父子关系的并行流水线连接查询方法PCPPJ(Parallel Pipeline Joining based on Parent Child relationship)是一种在并行多处理机环境下,利用分布式对象数据库对XML进行并行查询的新方法,对这种并行XML查询方法的测试结果进行分析和说明.PCPPJ查询方法在长路径和大文档情况下有更好的查询效果.     

GHMC_一种混合的数据库多连接查询优化算法

如何排列多连接表达式的连接顺序,是优化并行查询和提高数据库性能的关键技术之一．但多连接最优顺序是NPC问题。本文章研究了数据库多连接的特征,提出一种结合启发式和穷举搜索的Ghme算法,结合启发式和穷举搜索处理多连接查询,并从实验和理论证明其有效性。