基于缓存机制的ROLAP系统改进方法研究

ROLAP相对于MOLAP在处理多维数据性能方面有很多不足.给出ROLAP的体系结构,研究了改进ROLAP系统性能的若干方法,如实视图技术、索引技术以及并行处理技术,重点分析了如何在SQL生成器中处理查询优化,并提出在ROLAP设计和应用中引入缓存机制,进一步提高ROLAP系统的查询性能.     

基于时间维层次查询频率的数据仓库粒度模型

数据仓库中的事实数据一般以最小粒度存储。而大量的细粒度数据具有很大的随机性,很少直接进行分析和处理,往往被聚集到一定层次的粗粒度数据。另一方面若采用ROLAP存储数据,则大量的细粒度数据将会影响查询的效率。本文介绍了一种基于时间维层次查询频率的粒度调整模型,它能根据用户在时间维层次的查询频率实现对数据粒度的调整。     

0LAP中多维数组的一种改进压缩算法

基于多维数组MOLAP技术,针对目前使用较多的多维数组线性化压缩存储方法在处理维内部层次的聚集查询方面效率比较低的问题,本文提出了一种新的压缩存储方法,即采用二进制编码存储维方法,能有效提高存储和查询效率。     

OLAP性能测试方法研究与实现

随着商业智能市场的逐步扩大,联机分析处理(OLAP)系统的使用质量评估已经成为数据库应用的研究热点.作为效用特性的OLAP系统性能评估需要一个性能基准.以OLAP委员会推出的APB-1性能基准为基础,首先设计了面向多维数据库的立方体(Cube)模型以及相应的多维表达式(MDX)查询模板,在Cube模型设计的过程中修改了APB-1基准ROLAP星型模型的不足之处;接着在测试数据一致和测试参数一致的前提下,通过对设计的MOLAP模型查询结果与ROLAP模型查询结果进行对比分析,证明了MOLAP模型及MDX查询模板设计的正确性;然后给出了OLAP性能测试流程,描述了支持ROLAP和MOLAP性能测试的工具框架及其主要模块.最后使用该测试框架在商业数据库管理系统上对ROLAP和MOLAP进行并发查询实践,验证了框架的有效性.提出的方法及技术实现为未来OLAP产品性能的测试和评价提供多维数据模型、业务模型和工具的支持.     

基于层次聚簇的Cube存储结构的研究

数据仓库中的维数据通常都是有层次的,基于维层次路径的聚簇能有效地在物理空间上将关联数据组织到一起,减少查询访问磁盘的次数。而现在的Cube存储结构都关注于Cube操作的计算和存储,忽视了这一特点。论文提出基于维层次聚簇的Cube存储结构HC(HierarchicallyClustered)Cube及相关算法,解决了目前存在的问题。     

RR_tree:多维索引的关系模式实现新方法

为了有效地管理多媒体信息、地理信息及空间数据,提出了多种针对多维数据的索引方法。其中一些索引方法已经在现有的商用数据库系统(DBMS)得以实现,然而学术研究及实际应用中需要更多种的多维乃至高维数据索引方法的支持。有研究提出在关系数据库上利用存储结构、存储过程、触发器来模拟并实现X_tree的多维数据索引功能。在此基础上加以改进,重新设计了模式结构,增加了关键的索引,引入了聚簇存储,以关系模式实现多维索引的创建、插入、查询等操作;并且与现有的商用数据库系统的多维索引Oracle Spatial进行了插入、查询的性能比较。实验结果充分证明这种以关系模式实现多维索引方法的可行性与可用性。     

基于位图连接索引的复杂多维层次的连接和聚集算法

在ROLAP中往往涉及到大量数据的复杂即席查询，从SQL角度看，这些查询通常都包含多表连接和分组聚集操作。本文提出了一种连接和聚集操作的新算法JAMDHBJI，该算法充分考虑了ROLAP中复杂多维层次的特点，同时考虑到并非全部维都具有维层次的语义特性，将维层次编码和位图连接索引有效结合，把复杂的连接和分组聚集操作转化为在事实表上的区域查询，从而大大提高了连接和分组聚集的效率。理论分析表明该算法是高效的。     

一种用于多属性范围查询的聚簇方法

为提高多属性区域的查询效率,在物理层重新安排记录排列顺序,以减少查询访问磁盘块数。在此基础上,构造数学模型,将待查询记录按属性值映射至多维坐标空间中的点,以求解一个线性序,使空间中相距越远的点在线性序中也相距越远,并提出一种适用于多属性范围查询的聚簇方法。实验结果表明,与光谱算法及传统聚簇算法相比,该方法查询性能更优。     

海量多维数据的存储与查询研究

基于数据仓库的OLAP系统是当前海量多维数据分析的主要工具。随着信息技术的发展,海量多维数据的规模急剧增长,结构日益复杂,OLAP系统的性能严重下降,已经无法满足人们的数据分析需求。基于分布式计算系统Hadoop给出了新的海量多维数据的存储方法和查询方法。设计了HDFS上的列存储文件格式HCFile,基于HCFile给出了海量多维数据存储方案,该方案能够提高聚集计算效率,并有很好的可扩展性。同时,利用多维数据的层次性语义特征,设计了维层次索引,并给出了利用维层次索引和MapReduce进行聚集计算的方法。通过和Hive的对比实验,表明了数据存储方案和查询方法能够有效提高海量多维数据分析的性能。     

数据立方体聚集范围查询分块方法研究

范围查询是数据立方体数据分析的有效工具,预计算技术通过预先计算并存储范围查询的结果,可以实现快速的用户响应。近年来研究人员对基于MOLAP的预计算技术的研究主要以prefix sum及分块技术为基础。本文对预计算技术的分块方法进行研究,分析了现有分块技术的方法和性能,并提出了两种新的分块方法：嵌套分块和基于前缀区域边界的分块。本文对这两种分块的方法和特点做了阐述,研究表明这两种方法为分块技术提出了新的思路,是对现有分块方案的有力补充。     

提高0LAP系统性能的方法研究

1.引言随着市场竞争的日趋激烈,近年来企业更加强调决策的及时性和准确性,这使得以支持决策管理分析为主要目的的应用迅速崛起,这类应用被称为联机分析处理(OLAP),OLAP应用主要是指通过各种即席复杂查询,对数据仓库中存储的数据进行各种统计分析的应用。由于各种OLAP查询涉及大量的数据,非常复杂,并要求比较快的响应速度,因此除了研究如何形式化描述OLAP查询与操作外,还需要研究各种OLAP查询和处理的有效方法。本文首先介绍OLAP的概念和分类,然后研究了提高OLAF系统应用性能的主要的技术。文章的第四部分分析ROLAP和MOLAP两种方式的优缺点,给出了一个结合ROLAP和MOLAP的查询解决方案。最后给出结论和进一步的研究方向。     

ScanChunk:一种在数据方体中寻找密集区域的有效算法

为实现ＭＯＬＡＰ和ＲＯＬＡＰ的有机融合,达到较好的存储效率和操作效率,提出了一种基于密集区域的新的数据方体组织结构,给出了确定数据方体中密集区域的明确定义,分析了现有的相关算法的可行性,在此基础上,提出了一种在数据方体中寻找密集区的算法ＳｃａｎＣｈｕｎｋ同时分析了算法的计算精度和复杂度,并进行了详细的实验,结果表明,ＳｃａｎＣｈｕｎｋ在方体维数不超过ＳｃａｎＣｈｕｎｋ在方体维数不超过６的情况下是一     

ROLAP和MOLAP的研究

如今许多企业已构建了数据仓库,并且通过使用联机分析处理OLAP技术可以使决策人员从数据仓库中获取有用信息。然而应用OLAP时,人们遇到的问题是,到底采用ROLAP还是MOLAP。本文将对这两种模式做相应的比较分析。     

基于关系数据库构造多维数据模型

该文重点研究基于关系型数据库如何组织数据以满足多维分析的需要,即如何对星形模式的维表进行分割。分解成多个具有层次关系的,标准化的,低粒度的维表,以易于实而下（ｄｒｉｌｌ ｄｏｗｎ）及由下而上（ｒｏｌｌ ｕｐ）的数据挖掘（ｄａｔａ ｍｉｎｉｎｇ）。     

CubiST++: Evaluating Ad-Hoc CUBE Queries Using Statistics Trees

We report on a new, efficient encoding for the data cube, which results in a drastic speed-up of OLAP queries that aggregate along any combination of dimensions over numerical and categorical attributes. We are focusing on a class of queries called cube queries, which return aggregated values rather than sets of tuples. Our approach, termed CubiST⁺⁺ (Cubing with Statistics Trees Plus Families), represents a drastic departure from existing relational (ROLAP) and multi-dimensional (MOLAP) approaches in that it does not use the view lattice to compute and materialize new views from existing views in some heuristic fashion. Instead, CubiST⁺⁺ encodes all possible aggregate views in the leaves of a new data structure called statistics tree (ST) during a one-time scan of the detailed data. In order to optimize the queries involving constraints on hierarchy levels of the underlying dimensions, we select andmaterialize a family of candidate trees, which represent superviews over the different hierarchical levels of the dimensions. Given a query, our query evaluation algorithm selects the smallest tree in the family, which can provide the answer. Extensive evaluations of our prototype implementation have demonstrated its superior run-time performance and scalability when compared with existing MOLAP and ROLAP systems.     

MOLAP中层次维的存储

支持层次推是OALP的一个重要特征，在ROLAP中已有相关的研究，但对MOLAP，已有的文献很少注意到，该文给出了层次维的一个概念模型，在此基础上，给出了两种用数组存储层次维的方法，并加以比较。     

数据仓库及联机分析处理

主要介绍数据仓库基本特征，体系，结构，ＣＬＤＳ设计方法，以及基于数据仓库ＯＬＡＰ的ＲＯＬＡＰ和ＭＯＬＡ两种方法。     

论OLAP的三种实现技术

OLAP(On-LineAnalyticalProcessing)是数据仓库系统的主要应用,它支持复杂的分析操作,侧重决策支持。文章从数据的存储方式,钻取操作,数据更新,和性能上研究了OLAP的三种实现技术ROLAP(RelationalOLAP),MOLAP(MultidimensionalOLAP)HO-LAP(HybridOLAP)的不同和三种实现技术的适用范围。     

一种适应GPU的混合OLAP查询处理模型

通用GPU因其强大的并行计算能力成为新兴的高性能计算平台,并逐渐成为近年来学术界在高性能数据库实现技术领域的研究热点.但当前GPU数据库领域的研究沿袭的是ROLAP(relational OLAP)多维分析模型,研究主要集中在关系操作符在GPU平台上的算法实现和性能优化技术,以哈希连接的GPU并行算法研究为中心.GPU拥有数千个并行计算单元,但其逻辑控制单元较少,相对于CPU具有更强的并行计算能力,但逻辑控制和复杂内存管理能力较弱,因此并不适合需要复杂数据结构和复杂内存管理机制的内存数据库查询处理算法直接移植到GPU平台.提出了面向GPU向量计算特性的混合OLAP多维分析模型semi-MOLAP,将MOLAP(multidimensionalOLAP)模型的直接数组访问和计算特性与ROLAP模型的存储效率结合在一起,实现了一个基于完全数组结构的GPU semi-MOLAP多维分析模型,简化了GPU数据管理,降低了GPU semi-MOLAP算法复杂度,提高了GPU semi-MOLAP算法的代码执行率.同时,基于GPU和CPU计算的特点,将semi-MOLAP操作符拆分为CPU和GPU平台的协同计算,提高了CPU和GPU的利用率以及OLAP的查询整体性能.