联机分析查询处理中的一种聚集算法

联机分析处理(online analytical processing,简称OLAP)查询是涉及大量数据的即席复杂查询,从SQL(structured query language)角度来看,这些查询通常都包含多表连接和分组聚集操作.从OLAP查询处理角度出发,提出一种新的基于排序的聚集查询算法MuSA(sort-based aggregation with multi-table join).该方法充分考虑到数据仓库星型模式的特点,将聚集操作和新的多表连接算法MJoin相结合,排序时采用     

星型模型的轮廓连接查询算法

轮廓查询在多标准决策中具有重要应用价值,对于单表轮廓查询已有大量研究,但在实际中,轮廓查询的属性很可能分布在多张表中。如果在多表连接之后进行轮廓查询,随着维度和元组数目的增加,计算代价会越来越大。为此,针对数据仓库中星型模型的数据特点,提出了三种此模型下的多表连接轮廓查询算法并对算法进行了实验比较分析。结果表明,此算法比先连接再做单表轮廓查询的算法更为有效,并且这三种算法在不同特点的数据集合下会表现出各自的优势。     

数据仓库中的一种提高多表连接效率的有效方法

联机分析处理OLAP查询经常涉及多表连接,所以提高多表连接的性能就成了提高OLAP查询处理的关键性问题.针对目前直接提高多表连接效率的方法、并行多表连接算法和连接索引,提出了变形多表连接索引.该方法基于使用SQL语句表述的查询模型库QMB建立一系列符合条件的变形多表连接事实表,并建立这些变形多表连接事实表的索引.在特定的多表连接查询中,变形多表连接事实表能替代原事实表与各维表连接,并在查询处理过程中动态更新.理论分析和实验结果表明,该方法可以有效地提高多表连接的查询效率.     

提高数据仓库中查询性能的一种并行多表连接算法

星型模式是当前数据仓库设计中广泛采用的逻辑模式,针对星型模式数据仓库中潜在的查询性能问题,结合数据仓库中的ORV,利用面向对象中的消息机制,提出了基于对象关系视图（ORV）的多表连接并行查询算法,并对算法的磁盘I／O操作次数、算法的时间复杂度进行了分析。     

一种改进的联机分析处理中的聚集算法

联机分析查询处理是一种涉及大量数据的即席复杂查洵,它通常都包含分组聚集运算。分析了关系数据仓库星型模式存储结构和数据更新的特点,把实体关系看成分布式数据库中以内存排序缓冲区人小为分段条件的全局关系,对分组操作进行分布式聚集运算,给出了一种改进的MuSA算法,有效地提高了算法性能。     

基于改进蚁群算法的数据仓库多连接查询优化

传统蚁群算法在解决数据仓库查询优化问题时存在过早收敛、收敛速度慢的缺点。为此,对传统蚁群算法进行改进,将伪随机状态转移规则引入最大最小蚁群系统,在每次迭代结束后进行迭代局部搜索。实验结果表明,改进算法在多表连接查询优化中具有较快的收敛速度,能提高最优解的质量。     

数据仓库中雪花模式的Skyline-Join查询

Skyline查询能够有效地实现多目标最优化,而数据仓库中的OLAP也是针对多维数据进行分析,因此,针对Skyline查询在数据仓库中的应用,提出了数据仓库中雪花模式的Skyline-Join查询算法.该算法首先将子维表M-Join父维表,然后渐进选择式地对事实表和父维表进行连接.每次连接之前都对事实表进行分组和组内Skyline计算,删除组内非Skyline元组,这样可以减少许多不必要的连接操作,使得查询效率大大提高.通过实验证明,在事实表元组数量逐渐变大和维表个数逐渐增多的情况下,提出的算法比先Join后Skyline计算的naive算法效率上有明显改善.     

多维数据实视图的动态选择

提出了多维数据中实视图的动态选择方案.其基本思想是由系统跟踪查询的分布情况,并据此动态地调整实视图集合.具体实现了该方案,并证明了在一定条件下,单次选择算法的效果与最优效果的差具有一定的上限.实验结果表明,动态方案的效果优于已有的其他选择方案.     

面向Flink的多表连接计算性能优化算法

分布式计算引擎Flink已经被广泛应用到大规模数据分析处理领域,多表连接是Flink常见作业之一,因此提升Flink多表连接的性能可以加快数据处理和分析的速度.然而,直接将现有的多表连接优化算法应用到Flink上会带来两个问题:现有算法不能充分发挥Flink基于线程的轻量级计算模型的性能优势;连接算法需要shuffle...     

结合哈希过滤的一种改进多连接查询优化算法

多连接查询优化是提高数据库性能的关键问题之一。Chiang Lee提出了一种启发式多连接查询优化算法MVP,分析发现该算法并没有考虑减小执行计划的计算代价。该文结合哈希过滤的特点提出一种改进的多连接查询优化算法,与MVP算法相比该算法降低了执行计划的计算代从,从而使查询响应时间更短。     

基于分组序号的聚集算法

联机分析处理OLAP(online analytical processing)查询作为一种复杂查询,当使用SQL(structured query language)语句来表述时,通常都包含多表连接和分组聚集操作,因此提高多表连接和分组聚集计算的性能就成为ROLAP(relational OLAP)查询处理的关键问题.提出一种基于分组序号的聚集算法MuGA(group number based aggregation with multi-table join),该方法充分考虑数据仓库星型模式的特点,将聚集操作和新的多表连接算法MJoin(multi-table join)相结合,使用分组序号进行分组聚集计算,代替通常的排序或者哈希计算,从而有效地减少CPU运算以及磁盘存取的开销.算法的实验数据表明,提出的MuGA算法与传统的关系数据库聚集查询处理方法以及改进后的基于排序的聚集算法相比,性能都有显著提高.     

一种改进的分组序号聚集算法

ROLAP是OLAP（联机分析处理）中使用最广泛的一种类型,其主要功能是管理决策所需要的总结数据。总结数据一般都涉及多表连接和分组聚集操作,提高这些操作的性能成为提高OLAP操作响应速度的关键。为此,提出一种基于分组序号的新聚集算法IMuGA。算法充分利用时间维表特殊性,通过对事实表关键字直接获得分组属性值,减少了多表连接中时间维度的连接次数,提高了联机分析处理查询效率。实验结果表明,该算法是有效的。     

基于层次有序维的分组聚集算法

在联机分析处理(OLAP)中,有效地维度模型对海量数据的即席复杂分组聚集查询起着关键的作用.在偏序和映射的基础上,通过定义层次有序维,提出一种基于层次有序维的分组聚集算法.该算法利用维属性之间的聚集关系,通过约束层次链中的元素次序,实现了分组聚集计算中多表连接转换为维范围的查询,提高了连接和聚集效率.最后,实验结果验证了该算法的有效性.     

用于数据仓储的一种改进的多维存储结构

对于数据仓库中数据的物理存储组织,目前主要有关系和多维数组两种方式.这两种方式各有自己的优缺点,从提高联机分析处理(online analytical processing,简称OLAP)查询处理性能的角度出发,多维数组方式相对较优,目的主要是解决数据仓库的多维存储结构问题.针对当前多维数组存储组织方式存在的一些问题,提出了Cube(立方体)逻辑存储和物理存储的概念,首先将原多维数据空间划分为逻辑子空间,逻辑块再划分为多个物理块.在物理存储时充分考虑了多维数组的大容量和高稀疏度的问题,并采用新的多维数组的分布和压缩方法.这些概念和方法有效地解决了维内部层次结构的聚集操作和Cube操作的效率问题,显著提高了涉及维内部层次的聚集查询的响应速度,同时还解决了增量维护的效率问题.     

基于数据仓库的并行星型联结策略

在本文中,我们探讨一种基于并行处理技术并且能够改进数据仓库查询方法。而且,我们设计运算法则对于任务和数据进行分割来实现并行星型联结。     

无须附加空间的数据立方体联机聚集

以往在数据立方体上实现的联机聚集往往需要附加空间来存储联机聚集估算所需要的信息,极大地影响了数据立方体的存储和维护性能.提出了基于QC-Tree的用于范围查询处理的联机聚集PE(progressively estimate)算法以及它与简单聚集算法相结合的混合聚集算法HPE(hybrid progressively estimate);还提出了一种能够同时处理多个范围查询的联机聚集算法MPE(multiple progressively estimate).与以往联机聚集算法不同,这些算法不需要任何附加空间,而是利用QC-Tree自身保存的聚集数据和语义关系来估算聚集结果.由于QC-Tree是一种极为高效的数据立方体存储结构,因此能够以较理想的性能实现数据立方体上的联机聚集.对算法的分析和实验结果表明,所提出的算法具有较好的性能.     

烟草业务联机分析处理系统的实现

数据库技术的广泛应用以及数据仓库技术的出现为决策支持系统提供了新的发展方向。联机分析(onlineanalyticalprocessing,简称OLAP)正是在数据仓库的基础上发展起来的一门崭新的决策技术。文章结合某市烟草决策支持系统,介绍了基于联机分析处理技术的烟草数据分析系统的设计思路与实现方法,并对其中关键环节进行了较为详细的探讨与阐述,为联机分析处理技术的实用化提供了可借鉴的成功经验。     

电信计费分析数据仓库系统的设计与实现

该文主要研究如何用数据仓库及其技术解决电信计费分析的实际问题。