HTAP 评测基准的评测能力综述

对数据库系统即时修改数据的高效实时分析需求推动了数据库系统向同时支持 OLTP 业务和 OLAP 业务两种场景的 HTAP 数据库系统的快速发展. 面对众多的HTAP数据库系统, 为了推动HTAP数据库系统的公平比较和健康发展, 定义和实现相应的评测基准来评估HTAP数据库系统的新特性至关重要. 首先, 分析HTAP数据库系统的关键特征并抽象总结HTAP数据库系统实现的关键技术. 然后, 提炼出HTAP数据库系统的设计难点和构建HTAP 评测基准的挑战, 并基于此提出HTAP评测基准应考虑的设计维度, 包括数据生成、负载生成、评价指标和一致性模型支持性. 对比现有HTAP 评测基准在设计维度和实现技术上的差异, 总结评测基准在不同设计维度上的优劣. 此外, 运行已公开的典型评测基准, 展示并分析它们对HTAP数据库系统关键特征的评测能力以及对不同HTAP数据库系统的横向对比的支持能力. 最后, 总结对HTAP 评测基准的能力需求和未来的一些研究方向, 指出语义一致的负载控制和新鲜数据访问度量是HTAP数据库系统评测基准定义的关键问题.     

HTAP数据库系统数据共享模型和优化策略

混合事务与分析处理数据库系统(HTAP)因其在一套系统上可以同时处理混合负载而逐渐获得大众认可.为了不影响在线事务处理(OLTP)业务的写入性能, HTAP数据库系统往往会通过维护数据多版本或额外副本的方式来支持在线分析处理(OLAP)任务,从而引入了TP/AP端版本的数据一致性问题.同时, HTAP数据库系统面临资源隔离下实现高效数据共享的核心挑战,且数据共享模型的设计综合权衡了业务对性能和数据新鲜度之间的要求.因此,为了系统地阐释现有HTAP数据库系统数据共享模型及优化策略,首先根据TP生成版本与AP查询版本的差异,通过一致性模型定义数据共享模型,将HTAP数据共享的一致性模型分为3类,分别为线性一致性,顺序一致性与会话一致性.然后,梳理数据共享模型的全流程,即从数据版本标识号分配,数据版本同步,数据版本追踪3个核心问题出发,给出不同一致性模型的实现方法.进一步,以典型的HTAP数据库系统为例对具体实现进行深入的阐释.最后,针对数据共享过程中涉及的版本同步、追踪、回收等模块的优化策略进行归纳和分析,并展望数据共享模型的优化方向,指出数据同步范围自适应,数据同步周期自调优和顺序一致性的新鲜度阈值约束控制是提高HTAP数据库系统性能和新鲜度的可能手段.     

移动数据库若干关键技术探讨

移动数据库作为分布式数据库的延伸和扩展,拥有分布式数据库的诸多优点和独特的特性,能够满足未来人们访问信息的要求,具有广泛的应用前景。     

浅论移动数据库

本文从技术角度论述了移动数据库技术的体系结构,同步服务器结构等环节,并以SQL ServerCE为例,说明了移动数据库运行环境的实际构建过程。     

内嵌式数据库引擎实现中的优化方法

近年来,PROLOG获得了越来越广泛的应用,进化也很快。但是人们在用PROLOG开发实际应用时常常希望访问外部数据库,特别是XBASE数据库中的数据,为此WIN一PROLOG作出了努力。虽然WIN一PROLOG可以通过ODBC访问符合ODBC标准的数据库系统,但是存在如下问题; 1.访问数据库是不透明的; 2.效率不高。如果能够为PROLOG研制一个内嵌式(BUILT一IN)数据库引擎     

时序数据库关键技术综述

随着工业物联网（industrial Internet of things,IIoT）的不断发展,越来越多的设备和传感器开始连接到网络中,产生了大量的时间序列数据（简称“时序数据”）,时序数据爆炸式的增长给数据库管理系统带来了新的挑战：持续高吞吐量数据摄取、低延迟多维度数据查询、高性能时间序列索引以及低成本数据存储. 近年来时序数据库技术已经成为一个研究热点,一些学者对时序数据库技术进行了深入的研究,同时出现了一些专门用于管理时序数据的时序数据库,并且已经被应用在多个领域,成为工业物联网中不可缺少的关键组成. 现有的时序数据库相关综述侧重于时序数据库的功能和性能比较,以及在特定领域中对时序数据库的选择建议,缺少对时序数据库持久化存储、查询、计算和索引等关键技术的研究,同时这些综述工作出现的时间较早,缺少对现代时序数据库关键技术的研究. 对学术界时序数据存储研究和工业界时序数据库进行了全面的调查和研究,凝练了时序数据库的4类关键技术：1）时间序列索引优化技术;2）内存数据组织技术;3）高吞吐量数据摄取和低延迟数据查询技术;4）海量历史数据低成本存储技术. 同时分析总结了时序数据库评测基准. 最后,展望了时序数据库关键技术在未来的发展方向.     

GPU数据库核心技术综述

GPU以其超高速计算能力和超大数据处理带宽受到数据库厂商及研究人员的青睐,以GPU计算为核心的数据库分支(GDBMS)蓬勃发展,以其吞吐量大、响应时间短、成本低廉、易于扩展的特点,与人工智能、时空数据分析、数据可视化、商务智能交互融合能力,彻底改变了数据分析领域的格局.将对GDBMS的四大核心组件——查询编译器、查询处...     

语义查询优化技术研究综述

1.引言传统的查询优化器利用语法变换对查询进行优化,从生成的查询计划中选择一个具有最小代价的执行计划。然而,随着数据库技术和网络技术的发展,尤其是在异构数据库环境下和面向对象的数据库中,处理的对象结构更为复杂,传统的查询优化器显得力不从心。语义查询优化利用数据库上的语义规则将一个查询变为一个语义等价且更加高效地查询,以此来弥补传统查询优化技术的不足。虽然,语义查询优化能够产生较好的优化效果,但必须有效地解决以下一些问题:     

支持Web深层数据库网格的部分关键技术的研究

当前,深层Web数据库数量急剧增加,然而其知识并没有得到有效的利用.本文提出将特定的深层Web数据库应用于网格环境中的思想,并针对支持深层Web数据库网格的部分关键技术进行研究,主要包括：（1）深层Web数据库元信息定义模型与模式抽取模型的研究;（2）多层次的模式匹配模型和自协调模型研究;（3）基于属性松弛的Web数据库查询与集成模型研究;（4）多目标函数代价模型和面向局部性的自适应优化调度模型研究.研发成果将为构建深层Web数据库网格提供良好的支持,就像网格的概念所定义的一样,为用户提供统一的接口,可按需为消费者提供集成的深层Web数据知识.其具有广阔的应用前景.     

SQL Server数据库性能优化

提出了影响SQL Server数据库性能的一些因素及SQL Server进行性能优化的原理，并给出了一些指导性的原则来优化数据库的性能。     

Optimizing Recursive Information Gathering Plans in EMERAC

In this paper we describe two optimization techniques that are specially tailored for information gathering. The first is a greedy minimization algorithm that minimizes an information gathering plan by removing redundant and overlapping information sources without loss of completeness. We then discuss a set of heuristics that guide the greedy minimization algorithm so as to remove costlier information sources first. In contrast to previous work, our approach can handle recursive query plans that arise commonly in the presence of constrained sources. Second, we present a method for ordering the access to sources to reduce the execution cost. This problem differs significantly from the traditional database query optimization problem as sources on the Internet have a variety of access limitations and the execution cost in information gathering is affected both by network traffic and by the connection setup costs. Furthermore, because of the autonomous and decentralized nature of the Web, very little cost statistics about the sources may be available. In this paper, we propose a heuristic algorithm for ordering source calls that takes these constraints into account. Specifically, our algorithm takes both access costs and traffic costs into account, and is able to operate with very coarse statistics about sources (i.e., without depending on full source statistics). Finally, we will discuss implementation and empirical evaluation of these methods in Emerac, our prototype information gathering system.     

查询重写关系数据库查询优化技术

随着数据仓库技术应用越来越广泛,数据仓库中查询使用频率也越来越高,基于查询重写的关系数据库查询优化技术,通过视图重写、子查询合并、等价谓词替换、使用临时表、以及用集合运算UNION代替逻辑运算OR等技术的使用。本文详细讨论了数据库查询优化器中查询重写模块的设计与实现;探讨了XML、SQL语句等查询重写方法。     

Query Processing and Optimization on the Web

The advent of the Internet and the Web and their subsequent ubiquity have brought forth opportunities to connect information sources across all types of boundaries (local, regional, organizational, etc.). Examples of such information sources include databases, XML documents, and other unstructured sources. Uniformly querying those information sources has been extensively investigated. A major challenge relates to query optimization. Indeed, querying multiple information sources scattered on the Web raises several barriers for achieving efficiency. This is due to the characteristics of Web information sources that include volatility, heterogeneity, and autonomy. Those characteristics impede a straightforward application of classical query optimization techniques. They add new dimensions to the optimization problem such as the choice of objective function, selection of relevant information sources, limited query capabilities, and unpredictable events. In this paper, we survey the current research on fundamental problems to efficiently process queries over Web data integration systems. We also outline a classification for optimization techniques and a framework for evaluating them.     

优化处理并行数据库查询的并行数据流方法

本文使用并行数据流技术优化和处理并行数据库查询的方法,提出了一整套相关算法,并给出了一个基于并行数据流方法的并行数据库查询优化处理器的完整设计.这些算法和相应的查询优化处理器已经用于作者自行设计的并行数据库管理系统原型.实践证明,并行数据流方法不仅能够快速有效地实现并行数据库管理系统,也能够有效地进行并行数据库查询的优化处理.     

基于多目标优化的Holonic-C2组织协作式资源动态调度方法

针对Holonic-C2组织协作式资源的动态调度问题,对战场上的突发事件进行分析,面向任务属性变化、可用平台减少和任务数量变化3类基本突发事件,提出Holonic-C2组织双层结构下针对突发事件的协作机制,在战术决策Holon模块构建两种多目标优化模型,在战役决策Holon模块提出战术Holon协作选择方法.仿真实验表...     

基于多重加权树的并行数据库查询优化方法

本文提出了一种基于多重加权树的查询优化方法，包括多重加权树并行查询计划模型、并行查询计划的复杂性模型和查询优化处工法。     

数据流上的一种适应性调度策略 MultiFactor

本文针对数据流系统中的查询处理机制进行了深入的研究,从内存使用量、系统的响应时间和查询的实时性三个方面进行综合考虑,提出了一种基于多因素的动态调度策略MultiFactor.该策略根据单位时间查询内各操作符消耗的元组数动态调整操作符调度次序,按系统截止时间确定各操作符调度时间.本文还给出了MultiFactor策略的相应算法,并通过实验证明了其性能优势.     

数据流上的一种适应性调度策略MultiFactor

本文针对数据流系统中的查询处理机制进行了深入的研究,从内存使用量、系统的响应时间和查询的实时性三个方面进行综合考虑,提出了一种基于多因素的动态调度策略MultiFactor.该策略根据单位时间查询内各操作符消耗的元组数动态调整操作符调度次序,按系统截止时间确定各操作符调度时间.本文还给出了MultiFactor策略的相应算法,并通过实验证明了其性能优势.     

An efficient processing of a chain join with the minimum communication cost in distributed database systems

This paper investigates the optimization problem when executing a join in a distributed database environment. The minimization of the communication cost for sending data through links has been adopted as an optimization criterion. We explore in this paper the approach of judiciously using join operations as reducers in distributed query processing. In general, this problem is computationally intractable. A restriction of the execution of a join in a pre-defined combinatorial order leads to a possible solution in polynomial time. An algorithm for a chain query computation has been proposed in [21]. The time complexity of the algorithm isO(m ² n ²+m ³ n), wheren is the number of sites in the network, andm is the number of relations (fragments) involved in the join. In this paper, we firstly present a proof of the intuitively well understood fact—that the eigenorder of a chain join will be the best pre-defined combinatorial order to implement the algorithm in [21]. Secondly, we show a sufficient and necessary condition for a chain query with the eigenordering to be a simple query. For the process of the class of simple queries, we show a significant reduction of the time complexity fromO(m ² n ²+m ³ n) toO(mn+m ²). It is encouraging that, in practice, the most frequent queries belong to the category of simple queries. Editor: Peter Apers     

基于Web的异质数据库共享集成的建模研究

基于Ｗｅｂ的异质数据库是由若干自然分布、管理自治、模式异构的成员数据库组成的,旨在为用户提供一个完整的数据库视图和一致的访问接口．本文在分析异质数据库共享集成系统的特征和功能需求的基础上,提出了一种基于Ｗｅｂ的包括表示层、ＷＷＷ服务器层、事务管理层和数据库层的四层体系结构,并就全局数据字典、一致命名服务、事务调度等关键问题作了分析与论述．本文提出的建模方法和实现技术在实际中得到了应用．