大型压缩数据仓库上的Iceberg Cube算法

Iceberg Cube操作是OLAP(on-line analysis processing)分析中的一种重要操作.数据压缩技术在有效减小数据仓库所需的数据空间和提高数据处理性能方面的作用越来越明显.在压缩的数据仓库上,如何快速、有效地计算Iceberg Cube是目前亟待解决的问题.简要介绍了数据仓库的压缩,然后给出了在压缩数据仓库中计算Iceberg Cube的算法.实验结果表明,该算法的性能优于先在压缩数据上计算Cube再检查having条件这种方法.     

用于数据仓储的一种改进的多维存储结构

对于数据仓库中数据的物理存储组织,目前主要有关系和多维数组两种方式.这两种方式各有自己的优缺点,从提高联机分析处理(online analytical processing,简称OLAP)查询处理性能的角度出发,多维数组方式相对较优,目的主要是解决数据仓库的多维存储结构问题.针对当前多维数组存储组织方式存在的一些问题,提出了Cube(立方体)逻辑存储和物理存储的概念,首先将原多维数据空间划分为逻辑子空间,逻辑块再划分为多个物理块.在物理存储时充分考虑了多维数组的大容量和高稀疏度的问题,并采用新的多维数组的分布和压缩方法.这些概念和方法有效地解决了维内部层次结构的聚集操作和Cube操作的效率问题,显著提高了涉及维内部层次的聚集查询的响应速度,同时还解决了增量维护的效率问题.     

HDC结构的数据更新算法实现

数据更新是数据仓库上支持联机分析处理的一种重要操作。增量更新是一种有效的数据更新方法。实现了二维层次式数据立方体(Cube)存储结构HDC的建立以及基于此结构的数据增量更新算法。     

种基于OLAP的Cube存储结构

Cube计算对OLAP有着极其重要的作用。本文根据数据仓库模式的前端用户接口之一OLAP,设计了一个多维的超压缩立方体结构HierarchicalCompressCube(CHCube)HH,并详细讨论了它的创建、增量更新及快速查询算法。在创建CHCube结构时,充分利用了元数据信息,因而在OLAP查询及更新等操作上具有很好的时空有效性。在实际的OLAP应用系统中,使得对多维数据的描述更加灵活,对多维数据的操作更加高效。     

一种复杂多维层次的连接和聚集算法

由于数据仓库中存储着不同粒度、容量巨大的数据记录，所以如何有效地执行联机分析处理(OLAP)查询操作，特别是连接和聚集操作，便成为数据仓库领域的核心问题之一．为此，提出了一种降低连接和聚集操作的新算法(join and aggregation based on the complex multi-dimensional hierarchies，JACMDH)．算法充分考虑了复杂多维层次的特点，在原有的位图连接索引(bitmap join index)的基础上，采用层次联合代理(hierarchy combined surrogate)和预先分组排序的方法，使得复杂的多维层次上的连接和聚集操作转化成事实表上的区域查询，从而在处理多维层次聚集的同时，提高了连接和聚集的效率．算法性能分析和实验数据表明，JACMDH算法和目前流行的算法相比，其性能有显著的提高．     

数据仓库中的多维数据模型及其对象关系的实现

数据仓库和联机分析处理(OLAP)是当今商业数据处理领域的研究重点。传统的关系数据库技术已经很难满足联机分析处理对数据仓库的大量数据进行分析查询的要求。多维数据模型已成为数据仓库和联机分析处理的核心技术。该文设计了一种直观、有效的多维数据模型并给出了基于对象关系的实现。     

一种数据仓库的多维数据模型

数据模型是数据仓库研究的核心问题之一.很多研究表明,传统数据模型(如实体联系模型和关系模型)不能有效地表示数据仓库的数据结构和语义,也难以有效地支持联机分析处理(on-line analysis processing,简称OLAP).最近,人们提出了几种多维数据模型.但是,这些多维数据模型在表示数据仓库的复杂数据结构和语义以及OLAP操作方面仍显不足.该文以偏序和映射为基础,提出了一种新的多维数据模型.该数据模型能够充分表达数据仓库的复杂数据结构和语义,并提供一个以OLAP操作为核心的操作代数,支持层次结构间的复杂聚集操作序列,能够有效地支持OLAP应用.该数据模型支持聚集函数约束的概念,提供了表示层次结构间聚集函数约束的机制.     

层次立方体(H-Cube)的自适应计算

多维数据立方（Cube）的计算对联机分析处理（online analytical processing，OLAP）有着极为重要的作用。针对传统的多维数据Cube计算中的不足，提出了自适应的计算方法，并给出了带有层次的Cube计算算法HCA算法。     

基于有向图描述数据仓库中复杂维层次结构的方法研究

针对数据仓库中复杂维结构的特点，提出建立基于有向图的维字典图以辅助联机分析中有关维层次的定义，并利用维字典图重新定义了数据仓库多维数据模型和关于维层次的重要OLAP操作．该方法能够在复杂维层次结构的情况下灵活地适应用户的分析需求，提高了联机分析系统的处理能力．     

数据仓库,联机分析处理和联机分析开采研究

本文介绍了当前数据仓库系统的应用需求、基本特征、体系结构和构建技术;对传统的联机事务处理（ＯＬＴＰ）与联机分析处理（ＯＬＡＰ）进行了比较;分析了在数据仓库中实施ＯＬＡＰ使用的多维数据视图概念模型,同时介绍了建立在多维数据库（ＭＤＤ）上的ＭＯＬＡＰ,以及建立在星型（雪花）模型基础之上的ＲＯＬＡＰ两种联机分析技术,并对数据开采联机分析处理在数据仓库系统中的集成－联机分析开采（ＯＬＡＭ）进行了研究。     

Efficient aggregation algorithms on very large compressed data warehouses

Multidimensional aggregation is a dominant operation on data warehouses for on-line analytical processing(OLAP).Many efficinet algorithms to compute multidimensional aggregation on relational database based data warehouses have been developed.However,to our knowledge,there is nothing to date in the literature about aggregation algorithms on multidimensional data warehouses that store datasets in mulitidimensional arrays rather than in tables.This paper presents a set of multidimensional aggregation algorithms on very large and compressed multidimensional data warehouses.These algorithms operate directly on compressed datasets in multidimensional data warehouses without the need to first decompress them.They are applicable to a variety of data compression methods.The algorithms have different performance behavior as a function of dataset parameters,sizes of out puts and ain memory availability.The algorithms are described and analyzed with respect to the I/O and CPU costs,A decision procedure to select the most efficient algorithm ,given an aggregation request,is also proposed.The analytical and experimental results show that the algorithms are more efficient than the traditional aggregation algorithms.     

Efficient aggregation algorithms for compressed data warehouses

Aggregation and cube are important operations for online analytical processing (OLAP). Many efficient algorithms to compute aggregation and cube for relational OLAP have been developed. Some work has been done on efficiently computing cube for multidimensional data warehouses that store data sets in multidimensional arrays rather than in tables. However, to our knowledge, there is nothing to date in the literature describing aggregation algorithms on compressed data warehouses for multidimensional OLAP. This paper presents a set of aggregation algorithms on compressed data warehouses for multidimensional OLAP. These algorithms operate directly on compressed data sets, which are compressed by the mapping-complete compression methods, without the need to first decompress them. The algorithms have different performance behaviors as a function of the data set parameters, sizes of outputs and main memory availability. The algorithms are described and the I/O and CPU cost functions are presented in this paper. A decision procedure to select the most efficient algorithm for a given aggregation request is also proposed. The analysis and experimental results show that the algorithms have better performance on sparse data than the previous aggregation algorithms     

New Algorithm for Computing Cube on Very Large Compressed Data Sets

Data compression is an effective technique to improve the performance of data warehouses. Since cube operation represents the core of online analytical processing in data warehouses, it is a major challenge to develop efficient algorithms for computing cube on compressed data warehouses. To our knowledge, very few cube computation techniques have been proposed for compressed data warehouses to date in the literature. This paper presents a novel algorithm to compute cubes on compressed data warehouses. The algorithm operates directly on compressed data sets without the need of first decompressing them. The algorithm is applicable to a large class of mapping complete data compression methods. The complexity of the algorithm is analyzed in detail. The analytical and experimental results show that the algorithm is more efficient than all other existing cube algorithms. In addition, a heuristic algorithm to generate an optimal plan for computing cube is also proposed     

压缩数据集上的快速Cube计算方法

现有压缩数据集上的Cube计算方法只适用于稀疏数据,针对该问题,设计一种用于压缩常量和基本单一元组的压缩方法并提出一种新的Cube算法。该算法在计算过程中无需解压缩、计算速度快、数据压缩率高,适用于冰山计算。实验结果表明,与自底向上立方体算法相比,新算法计算速度快、所需存储空间小。     

基于划分的数据仓库查询归并缓冲算法

在数据仓库中存在着大量的数据。联机分析处理包含着对大量数据的复杂的查询过程。在对这些数据的存储与查询中都遇到了许多困难。解决这一问题的有效办法就是先将数据划分成便于处理的数据块,再分别对每个数据块进行处理,最后将个数据块的处理结果归并在一起。对几种常用的归并算法进行了比较,并讨论了归并中的缓冲区分配问题。     

基于实时数据仓库的OLAP研究

传统数据仓库及OLAP应用侧重对历史数据的分析.为了满足实时分析的要求,本文提出了一种实时数据仓库的分区结构.在分析了传统OLAP设计在实时性方面的缺陷后,我们提出了基于分区结构的实时OLAP的设计,使OLAP分析能够达到实时或准实时的要求.     

基于数据立方体的数据仓库安全控制

针对数据仓库与在线分析处理(OLAP)系统存在的数据仓库非法访问和敏感信息间接推理问题,在原有统计数据库安全体系架构的基础上,构建OLAP的3层安全控制体系架构,并结合该架构提出一种新的基于数据立方体的推理控制方法。该方法先预防m维推理,然后清除一维推理,简化了m维推理的检测过程。     

Finding an application-appropriate model for XML data warehouses

Decision support systems help the decision making process with the use of OLAP (On-Line Analytical Processing) and data warehouses. These systems allow the analysis of corporate data. As OLAP and data warehousing evolve, more and more complex data is being used. XML (Extensible Markup Language) is a flexible text format allowing the interchange and the representation of complex data. Finding an appropriate model for an XML data warehouse tends to become complicated as more and more solutions appear. Hence, in this survey paper we present an overview of the different proposals that use XML within data warehousing technology. These proposals range from using XML data sources for regular warehouses to those using full XML warehousing solutions. Some researches merely focus on document storage facilities while others present adaptations of XML technology for OLAP. Even though there are a growing number of researches on the subject, many issues still remain unsolved.     

基于XML的数据立方体的实现

数据仓库系统正广泛用于联机分析处理系统，为了能将多个数据仓库集成到一起，需要解决技术上和语义上的一些问题。一种基本的解决方法是建立一种标准化的、独立于各供应商的多维数据描述格式。本文介绍一个基于XML的文档模板集——xCube，它可在任何网络上交换数据仓库数据。由于XCube被组织成模块化的形式，所以立方体的多维模式、维数据和事实数据能分步传输，因此立方体都能很容易从一个数据仓库传输到另一个数据仓库。