Postgres数据管理系统查询优化的研究与实现

查询优化是传统和并行数据库管理系统中的重要组成部分。该文通过介绍传统和并行数据库的查询优化技术,对Postges数据库中查询优化模块的工作流程及主要实现算法进行了分析,并对其进一步并行化提出了思考性建议。     

基于空间代数的数据库系统

应用的需求刺激了空间数据库技术的研究，到目前为止，发表了多个空间数据库系统原型。然而，基于开发空间数据库管理系统的策略尚未很好的实现其目标本文主要讨论了空间数据管理系统的数学基础，即空间数据类型的空间代数，同时讨论了空间数据库系统的体系结构和查询，我们认为：坚实的数学基础是空间数据库系统最重要的保证。     

关系数据库查询优化方法研究

查询优化是数据库管理系统设计和实现所采用的一项重要技术,也是影响数据库性能的关键因素.对关系数据库查询现状进行分析研究,并通过实践,提出了一些如何利用关系数据库查询技术实现数据库查询优化的方法.     

查询优化器的面向对象框架

设计实现具有良好可扩展性的查询优化器可以大幅度地提高数据库管理系统开发的效率和质量。提出了查询优化器的一种面向对象框架,使得优化器实现者可以容易地扩展逻辑查询代数、物理查询代数和查询重写子系统,同时利用面向对象的继承和多态机制实现优化器中各个子系统的弱耦合。     

优化处理并行数据库查询的并行数据流方法

本文使用并行数据流技术优化和处理并行数据库查询的方法,提出了一整套相关算法,并给出了一个基于并行数据流方法的并行数据库查询优化处理器的完整设计.这些算法和相应的查询优化处理器已经用于作者自行设计的并行数据库管理系统原型.实践证明,并行数据流方法不仅能够快速有效地实现并行数据库管理系统,也能够有效地进行并行数据库查询的优化处理.     

文本对象查询的相关性计算

本文把特征文件，符号对象模型及时间戳排序等概念引入到文本对象查询系统的设计之中，提出了基于索引调组集的用户查询和文本对象相关性计算，以词组标识解决词组同义词等价性判定问题以及借助于时间戳排序技术充分利用查询反馈信息以提高系统时空效率的算法和方法，并讨论了面向文本数据库管理系统的文本对象查询的优化策略及逻辑实现等问题。     

OSCAR查询优化器的设计与实现*

查询优化是数据库管理系统的一个重要组成部分。首先介绍了查询优化在数据库设计中的重要作用,给出了OSCAR数据库系统的查询处理器工作步骤,然后主要讨论了OSCAR数据库系统查询优化器的设计和实现。在查询优化模块,介绍了查询优化预处理技术和子查询提升技术,接着详细讨论了存取路径的选择和路径代价的估算方法。最后对测试结果进行了分析,结果表明优化后的系统查询效率比原系统有了显著提高。     

探讨面向Oracle的远程日志查询系统

分析了数据库日志查询系统的需求,剖析了Oracle数据库管理系统的结构,详细设计了远程日志查询系统在Oracle环境下的体系结构以及功能模块,并进一步研究了系统的实现。     

利用.NET技术构建分布式人口管理信息系统

本文在分析了人口数据信息特点的基础上,提出了采用分布式数据库技术实现人口数据管理系统的体系结构,并通过一实例阐述了使用ASP.NET、ADO.NET、链接数据库技术实现对分布式数据库的访问.为了实现查询优化,系统采用了C#下的多线程编程技术,实现对远程分布式数据库的并行访问,从而缩短了系统的响应时间.     

关系数据库的查询优化

查询优化是数据库管理系统设计和实现所采用的一项重要技术．它是影响数据库性能的关键因素。在对数据库查询优化所涉及的因素例如文件组织、存储介质、查询策略、查询算法、查询的操作方式、存储映射算法等讨论的基础上,全面地研究关系数据库的各种查询优化技术。     

基于XML数据的通用路径表达式的查询

查询重写是数据库研究的一个基本问题,它和查询优化、数据仓库、数据集成、语义缓存等数据库问题密切相关。同时,查询重写也是在关系数据库中存储和查询XML数据的关键问题。由于XML数据是元素嵌套和元素引用的,嵌套层数可以任意,并且模式和数据混合,因此XML的查询会涉及到广义路径表达式(GPE)。文中着重研究了如何解决XML数据的查询重写的方案,把含有广义路径表达式的XML查询语句重写为含有简单路径表达式(SPE)的XML查询语句,再转化为基于关系数据库的SQL语句。     

A foundation for conventional and temporal query optimizationaddressing duplicates and ordering

Most real-world databases contain substantial amounts of time-referenced, or temporal, data. Recent advances in temporal query languages show that such database applications may benefit substantially from built-in temporal support in the DBMS. To achieve this, temporal query representation, optimization, and processing mechanisms must be provided. This paper presents a foundation for query optimization that integrates conventional and temporal query optimization and is suitable for both conventional DBMS architectures and ones where the temporal support is obtained via a layer on top of a conventional DBMS. This foundation captures duplicates and ordering for all queries, as well as coalescing for temporal queries, thus generalizing all existing approaches known to the authors. It includes a temporally extended relational algebra to which SQL and temporal SQL queries may be mapped, six types of algebraic equivalences, concrete query transformation rules that obey different equivalences, a procedure for determining which types of transformation rules are applicable for optimizing a query, and a query plan enumeration algorithm     

Comparing columnar,row and array DBMSs to process recursive queries on graphs

Analyzing graphs is a fundamental problem in big data analytics, for which DBMS technology does not seem competitive. On the other hand, SQL recursive queries are a fundamental mechanism to analyze graphs in a DBMS, whose processing and optimization are significantly harder than traditional SPJ queries. Columnar DBMSs are a new faster class of database system, with significantly different storage and query processing mechanisms compared to row DBMSs, still the dominating technology. With that motivation in mind, we study the optimization of recursive queries on a columnar DBMS focusing on two fundamental and complementary graph problems: transitive closure and adjacency matrix multiplication. From a query processing perspective we consider the three fundamental relational operators: selection, projection and join (SPJ), where projection subsumes SQL group-by aggregation. We present comprehensive experiments comparing recursive query processing on columnar, row and array DBMSs to analyze large graphs with different shape and density. We study the relative impact of query optimizations and we compare raw speed of DBMSs to evaluate recursive queries on graphs. Results confirm classical query optimizations that keep working well in a columnar DBMS, but their relative impact is different. Most importantly, a columnar DBMS with tuned query optimization is uniformly faster than row and array systems to analyze large graphs, regardless of their shape, density and connectivity. On the other hand, there is no clear winner between the row and array DBMSs.     

SQL能耗建模及优化研究

IT系统能耗的节节攀升,使得设计新一代DBMS时必须考虑其能耗效率问题。由于SQL语句的执行过程大约消耗70%~90%的数据库资源,因此对SQL进行能耗建模及优化对提高数据库的能源使用效率具有重要的意义。在对SQL查询处理机制进行研究的基础上,构建了SQL能耗模型,并对一系列查询优化原则进行了实验,以表明不同优化原则对性能提升及能耗减少的有效性。实验及能耗数据分析表明:CPU利用率是影响系统功耗的最关键因素,SQL能耗优化方法可忽略内存优化且应该均衡考虑性能优化及功耗优化两方面,提出的SQL能耗模型及节能优化方法具有较强的应用价值。     

PROLOG-DBMS系统的数据库维护

数据库查询、更新、维护是ＰＲＯＬＯＧ－ＤＢＭＳ系统的基本功能。优化方法,例如子名间优化技术,是使系统实用化的关键。在执行数据库更新操作时,优化技术引入的缓存数据库和原数据库可能产生数据不一致。文中分析了更新数据和查询历史之间的逻辑关系,指出一致性的约束条件,讨论了在单用户情况下数据库维护的有效策略。     

能效查询处理与优化可行性初探

随着数据管理需求的不断增长,降低与控制数据中心的能耗成为一个挑战性问题. DBMS 是数据中心核心软件,能效查询处理与优化是其中一个重要议题. 本文提出了新型的能耗代价评估模型,通过评估查询计划的时间和能耗代价,考察了不同优化目标在不同硬件条件下对查询处理的影响. 实验表明,传统硬件下面向性能的优化与面向能耗的优化结果是一致的;在新硬件条件下,两者结果则不同,可以改进数据库系统能效.     

支持第三级存储器的查询优化方法的研究

目前的关系数据库代价模型及查询优化算法无法处理保存在第三级存储器中的海量数据.提出了估算第三级关系代数操作的代价模型,通过定义若干基本数据访问模式及两种模式合成方法的代价,导出关系代数操作的代价.提出了针对第三级存储器的查询优化方法,该方法不仅可以选择最高效的关系代数操作实现算法,而且可以选择I/O代价最小的关系副本,从而提高查询效率.实验结果表明,应用提出的代价模型及查询优化方法后可以显著地提高第三级存储器上数据的查询效率.关系副本的引入充分证明了用存储空间换取查询执行时间的策略的可行性.     

面向网络数据管理的并行查询处理

随着互联网的迅猛发展,监控网络的所产生的海量数据对查询处理提出挑战。根据数据明显分为大量的事件数据和少量、稳定的配置数据的特点,提出了一种基于单机DBMS的并行查询处理方法。从关系代数的角度,将任意查询分解成对水平数据分区的子查询和汇总中间结果的后处理查询。借助DBMS提供的数据库链路,在不改动DBMS的情况下,方便地构造查询处理器。用真实负载的测试表明：在中间结果集不很大的情况下,能获得接近线性的扩展比。     

Optimizing complex queries based on similarities of subqueries

As database technology is applied to more and more application domains, user queries are becoming increasingly complex (e.g. involving a large number of joins and a complex query structure). Query optimizers in existing database management systems (DBMS) were not developed for efficiently processing such queries and often suffer from problems such as intolerably long optimization time and poor optimization results. To tackle this challenge, we present a new similarity-based approach to optimizing complex queries in this paper. The key idea is to identify similar subqueries that often appear in a complex query and share the optimization result among similar subqueries in the query. Different levels of similarity for subqueries are introduced. Efficient algorithms to identify similar queries in a given query and optimize the query based on similarity are presented. Related issues, such as choosing good starting nodes in a query graph, evaluating identified similar subqueries and analyzing algorithm complexities, are discussed. Our experimental results demonstrate that the proposed similarity-based approach is quite promising in optimizing complex queries with similar subqueries in a DBMS.     

一种外联接优化的设计与实现

一、引言关系代数中联接运算将两个关系中相匹配的元组结合起来,生成新的元组对。如果,一个关系中的元组在另一个关系中没有相匹配的元组,那么这个元组中的数据就不会出现在联接结果中。Codd在1979年提出了关系数据库的扩展模型,引进了外联接(outerjoin)的概念,作为普通联接的补充。外联接保存了进行联接运算的两个关系中的一个或两个中的所需要的信息。外联接已被列入ISO-ANSI的SQL92标准。目前流行的关系数据库管理系统如Sybase,SQL Server,ORACLE等均支持这种联接方式。在我们自行研制开发的数据库管理系统DM3中,也实现了这种联接方式,并研究了其优化方法。