一个基于部分求值的增量式数据库引擎

文中介绍一个采用增量计算进行数据库操作的数据库引擎,阐述了利用部分求值技术实现增量式数据库查询的方法,给出了增量式数据库引擎的系统框架与实现方法。性能测试的实验结果的说明了这种数据库引擎的使用能够有效地提高数据库查询的效率。     

Sybase新一代数据库ASE15简介（二）——查询引擎（QPE）

我们使用数据库的最终目的是查询、检索数据。我们继续向您介绍ASE15“聪明的大脑”—查询引擎(QueryProcessingEngine)。对数据库查询引擎的新要求在当今的应用环境中,数据库既要做好交易处理,还要成为用户的决策支持系统(DSS)平台。这种使用上的新趋势给数据库产品带来了新的挑战。原先针对OLTP中简单查询的数据库引擎,现在不但要能处理包含大量复杂的聚集操作、数据分类和多表关联操作的DSS查询,还要能根据不同的应用需求,做出有针对性的优化。ASE15查询引擎的功能灵活的优化策略ASE15共有三种优化目标。第一种是对整个结果集进…     

基于Coreseek+Python的分布式全文检索方法

将Coreseek全文检索引擎应用到分布式数据检索引擎的构建中,利用Python数据源程序接口对多种类型的数据库进行连接,使检索引擎能够同时对不同类型的数据库进行检索。该方法较好地解决了海量数据查询系统中,单极查询性能有限、数据融合复杂问题,提高了系统的数据检索速度和对不同数据库服务器的兼容性。     

数据库查询方法优化研究

随之数据库的广泛使用,数据库的性能日益受到人们的关注.然而,因数据库的系统结构复杂,它的性能受到多方面的影响,其中查询操作是影响其性能的重要因素.为提高数据库的查询效率,达到数据库的性能优化目的.该文提出了数据库查询优化的一些策略,其中包含了使用合理的索引、查询语句优化、合理使用临时表、窗口优化以及利用优化器实现查询优...     

一个基于三元组存储的列式OLAP查询执行引擎

大数据与传统的数据仓库技术相结合产生了大数据实时分析处理需要（volume+velocity）,它要求大数据背景下的数据仓库不能过多地依赖物化、索引等高存储代价的优化技术,而要提高实时处理能力来应对大数据分析中数据量大、查询分析复杂等特点.这些查询分析操作一般表现为在事实表和维表之间连接操作的基础上对结果集上进行分组聚集等操作.因此,表连接和分组聚集操作是ROLAP（relational OLAP）性能的两个重要决定因素.研究了新硬件平台下针对大规模数据的OLAP查询的性能,设计新的列存储OLAP查询执行引擎CDDTA-MMDB（columnar direct dimensional tuple access-main memory databasequeryexecutionengine,直接维表元组访问的内存数据库查询执行引擎）.基于三元组的物化策略,使得CDDTA-MMDB能够减少内存列存储模型上表连接操作访问基表和中间数据结构的次数.首先,CDDTA-MMDB将查询分解为作用在维表和事实表上的子查询,如果只涉及过滤操作,子查询将生成<代理键,布尔值>二元组;否则,子查询生成<代理键,关键字,值>三元组.然后,只需一趟扫描事实表,利用事实表的外键映射函数直接定位相应三元组或者二元组,完成相应的过滤、连接或聚集操作.CDDTA-MMDB充分考虑了内存列存储数据库的设计原则,尽量减少随机内存访问.实验结果表明：CDDTA-MMDB是高效的,与具代表性的列存储数据库相比,比MonetDB 5.5快2.5倍,比C-store的invisible join快5倍;并且,CDDTA-MMDB在多核处理器上具有线性加速比.     

数据库系统中SQL语句优化

查询是数据库中最基本、最常用、最复杂的操作,查询操作的优劣直接影响数据库应用程序的性能。本文主要讨论了基于SQL查询重写技术的数据库查询优化策略,通过查询重写可以把用户所写的效率不高的SQL语句重新优化组合,使之成为效率较高的查询语句。     

面向异构计算平台的列数据库调度方法研究与实现

由多核CPU和GPU构成的异构计算平台已经成为当前高性能计算的重要发展方向。为了有效提升列数据 库的查询性能,充分利用异构计算平台的计算资源,在一套已定义的列数据库原语集合的基础上,提出了一套原语调 度方法。该方法包括原语执行机制、基于动态规划的CPU原语调度方法和基于〔}PU显存管理机制的GPU原语调度 方法。这使得系统可合理利用多核CPU计算资源,有效利用GPU显存中数据的局部性,以提升整体性能。对"I'PG H基准程序中几个典型查询进行了测试,结果表示,CPU原语调度方法使查询更稳定,GPU原语调度方法使查询更 快。同时通过实验发现了此异构计算平台下的列数据库调度方法存在的不足,这为后续工作指明了改进方向。     

基于kd树的多维索引在数据库中的运用

该文突破在数据库查询中建立传统索引进行数据的查询,而是针对微型数据库引擎的设计中要实现的嵌套查询和多表连接查询引进了kd树,kd树在B 树的基础上进行了改进,从而来加快查询速度.该文介绍了kd树的结构、kd树的操作以及其实现的查询.     

多源异构数据融合与高性能图数据库查询引擎设计

文章针对多源异构数据整合及高性能图数据库查询引擎设计问题,提出创新技术解决方案。通过深度融合实现数据整合与高效存储,并引入先进图数据库技术,以快速响应复杂查询请求。实验证明,该系统在多源异构数据融合和图数据库查询方面具有明显的性能优势,为实际应用提供了可行解决方案。     

Oracle数据库查询优化方法研究

Oracle数据库是当前应用最广泛的大型数据库之一,其系统结构复杂,性能受多方面因素影响,其中查询操作是影响其性能的关键因素。为了提高Oracle数据库查询效率,本文通过分析Oracle处理查询语句的过程以及优化器的工作原理,结合实例,讨论了Oracle数据库查询优化的多种有效方法。     

基于MapReduce框架的SQL引擎设计

近年来,随着计算机网络和数据库技术的发展,对分布式数据库的应用越来越广泛.然而分布式数据库提供的SQL查询引擎的不足:节点扩展性差、加载数据造成整个系统服务的抖动、屏蔽了应用人员直接访问数据接口.针对这种情况,提出一种基于MapReduce框架的SQL查询引擎,描述了它的架构和设计,它具有扩展性强、容错性较强、性能好、低延时,并提供全面的SQL特性和一些高级操作特性,为高级用户暴露更多数据接口.     

基于属性相关性的SPARQL查询优化方法

目前主流的RDF存储系统都是基于关系数据库的,其查询引擎都是将SPARQL转换为SQL,然后由数据库的查询引擎来执行查询.但是,目前的数据库查询优化器对于连接查询的选择度估计都是基于属性独立假设的,这往往导致估计错误而选择了效率低的执行计划,所以属性相关性信息对于SPARQL查询优化器能否找到效率高的执行计划是非常重要的.针对SPARQL转换为SQL后,因连接操作没有优化导致查询效率不高的问题,提出了利用本体信息自动计算属性相关性的方法,从而调整连接操作的选择度估计值,调整连接顺序,提高SPARQL查询中基本图模式的连接查询效率.     

一种基于管算存分离的内存数据库实现技术

在多核处理器、大内存、非易失内存等新硬件技术的支持下,异构存储与计算平台成为主流的高性能计算平台.传统的数据库引擎采用一体化设计,新兴数据库则采用存算分离和算子下推技术以更好适应新型分布式存储架构.提出了一种新颖的基于管算存分离方法的内存数据库实现技术,在存算分离技术的基础上进一步根据数据库模式、数据分布与负载计算特征将数据集划分为元数据集和数值集,将统一的查询引擎分解为元数据管理引擎、计算引擎和存储引擎,将包含语义信息的元数据管理抽象为独立的管理层,将无语义的数值存储和计算抽象为计算存储层,其中计算密集型负载定义为计算层,数据密集型负载设计为存储层,并根据硬件平台的不同分离或合并计算与存储层.内存数据库的实现技术分为几个层次:1)模式优化,实现数据库存储中“数(数值)”与“据(元数据)”的分离,根据数据的内在特性选择不同的存储与计算策略;2)模型优化,采用Fusion OLAP模型,实现在关系存储模型上的高性能多维计算;3)算法优化,通过代理键索引、向量索引支持优化的向量连接、向量聚集算法,提高OLAP性能;4)系统设计优化,通过数据库引擎分层技术实现管理与计算分离、存储与计算分离以...     

针对战场态势时空数据的中文查询技术研究

战场态势时空数据引擎是基于时空数据库技术实现的,面向战场时空数据查询的战场态势辅助分析系统.针对时空数据库查询语言的复杂性,设计了战场态势时空数据引擎的中文查询系统,研究了中文查询任务到时空查询语句的映射过程,设计了时空查询词库,研究了分词算法,查询文法以及STQL生成方法.通过原型系统验证了中文查询技术的可行性,提高了时空数据库查询的可用性和易用性.     

M2:一种有效的XPath求值方法

XPath求值性能极大关系到XML应用程序的整体性能.提出的M2(Matrix Match)方法基于节点关系矩阵查询.根据XML区间编码构建关系矩阵,通过查询原语序列的执行实现XPath表达式求值.M2的导航式特点使得XPath的各种查询语义容易实现,包括反向轴操作和以谓词表达的分支查询.对应相同XML数据的关系矩阵可...     

Android数据库SQLite性能优化

SQLite是Android平台的重要数据库引擎,具有零配置、支持事务、移植性好等特点,负责多种格式数据的存储. 随着用户数据规模的扩大与复杂度的增加,对数据库性能提出更高的要求. 数据库性能直接影响应用程序的性能和用户的体验. 本文分析了SQLite事务机制和索引结构,并通过手动添加事务和合理创建B-tree索引,大大缩短了Android SQLite数据库的插入与查询时间,提高了SQLite性能.     

面向数据库查询加速的异构体系结构设计与实现

数据库是数据分析、人工智能、云计算和大数据等领域的关键工作负载,是提高系统整体性能的关键。传统数据库系统查询执行效率偏低,并且CPU通常需要优先处理事务性负载,使数据查询逐渐成为制约整个数据库系统性能和效率提升的瓶颈。为了提高数据库在大规模并发访问时的数据处理能力,提出了一种CPU+FPGA加速数据库查询的异构体系结构,通过使用异构缓存一致性加速接口将加速器集成到CPU中,在FPGA内定制可配置的多引擎查询方式,对数据库查询进行加速。聚焦常用的SQL查询语句SELECT,详细分析了系统在延迟和简化的软件堆栈方面的优势,最后使用浪潮F37X加速卡和浪潮服务器对加速模型功能和性能进行了验证。实验结果表明,与使用POWER 9 CPU进行同样的查询操作相比,数据库系统整体处理速度提高了3～9倍,这种先进的异构计算加速结构可应用在未来数据库硬件专业化的设计中。     

列数据库的SQL查询语句编译与优化

基于多核CPU和GPU异构平台的列数据库可用于海量数据和复杂查询,但其优化主要集中在底层,并且后端的执行序列只能通过手工硬编码生成,不能适应多样的SQL查询语句.针对该问题,设计并实现一个将SQL查询语句自动转化成执行序列的编译器,研究多个复杂表达式中的公共子表达式消除和原语依赖图合并方法.与手工编码的比较结果表明,该编译器能够提高算术表达式的计算速度,缩短执行SQL查询语句的时间.     

谈关系数据库查询优化方法

以数据库为中心的管理信息系统,查询操作最多。查询操作的优劣直接影响数据库应用程序的性能,因此必须对数据库的查询进行优化。提出了一些如何利用关系数据查询技术实现数据库查询优化的方法。     

谈关系数据库查询优化方法

以数据库为中心的管理信息系统,查询操作最多。查询操作的优劣直接影响数据库应用程序的性能,因此必须对数据库的查询进行优化。提出了一些如何利用关系数据查询技术实现数据库查询优化的方法。