大型压缩数据仓库上的Iceberg Cube算法

Iceberg Cube操作是OLAP(on-line analysis processing)分析中的一种重要操作.数据压缩技术在有效减小数据仓库所需的数据空间和提高数据处理性能方面的作用越来越明显.在压缩的数据仓库上,如何快速、有效地计算Iceberg Cube是目前亟待解决的问题.简要介绍了数据仓库的压缩,然后给出了在压缩数据仓库中计算Iceberg Cube的算法.实验结果表明,该算法的性能优于先在压缩数据上计算Cube再检查having条件这种方法.     

超大型压缩数据仓库的查询研究

查询速度是联机分析处理中的一个关键性能指标,人们通过事先生成所有可能的聚集来提高查询速度,然而这样的完全物化是以存储空间为代价的.针对数据立方体数据分布特点和结合压缩技术,本文介绍如何最大化节省存储空间来进行完全物化,然后在此基础上对查询进行了研究,以达到最小存储空间以及较好的查询速度的目的.     

数据仓库查询处理中的一种多表连接算法

在进行数据仓库的OLAP(onlineanalyticalprocessing,联机分析处理)查询处理时,经常会涉及到多表连接操作,因此,提高多表连接的性能就成了数据仓库领域的关键性问题.基于数据仓库的星型模式,给出了一种新的多表连接算法(M-Join).与传统关系数据库管理系统的多表连接查询处理相比,该算法充分考虑了数据仓库中的数据本身和多表连接的特点,采用对多个表进行一次性连接的方法,使得查询的性能有明显的改善.同时,还给出了算法的实验结果和分析.     

基于Web的数据仓库技术

本文的目的是对基于Web的数据仓库技术进行回顾,探讨数据仓库当前形式的局限性,然后引入基于Web的数据仓库技术,并介绍企业如何利用它来克服传统数据仓库的不足。给出一个模型使读者更容易理解基于Web数据仓库的构成。本文也讨论了企业在采用这项技术过程中可能面临的挑战及对策。     

数据仓库中CUBE大小估计算法

文章叙述了数据仓库中Cube估计的三个相关算法,提出了一种优化的估计方法。这种新的优化方法在一定程度上弥补了常用估计方法的缺陷,大大提高了估计值的准确性。Cube的大小估计对于数据仓库进行多维分析是非常重要的。原因是为了提高多维分析的查询速度,要进行一定程度的预计算,这种计算是相当复杂的,而且会占用大量数据库的存储空间,因此预先估计出所需空间大小是非常必要的。     

浅谈数据仓库中的OLAP技术

随着数据仓库技术和联机分析处理(OLAP)技术的发展,多维数据查询与分析已经广泛应用到商务、金融以及军事等多个领域的信息处理中,为各行业的决策分析提供了强大的支持。本文主要从数据仓库及OLAP技术的相关概念,OLAP多维数据模型及核心技术方面进行了分析总结。     

基于数据仓库技术的决策支持系统

本文阐述了数据库与人工智能相结合的产物——数据仓库这一新的信息管理技术对决策支持系统的支持,介绍了一种新的基于数据仓库技术支持的决策支持系统的可行性方案。     

基于数据仓库的证券研究信息平台

该文以一个实际系统为背景,针对我国券商证券研究的现状,对证券公司研究信息平台的实现目标、整体构架、软件体系结构、数据结构和功能结构进行了探索,提出了系统的设计思路。     

数据仓库的多维数据模型的研究

多维数据模型是数据仓库和联机分析处理研究中的一个重要问题,该文根据电力负荷数据集的特点,提出了一种新模型,解决不同维公用一个底层层次属性,把系统中不完全的低粒度数据集和完全的粗粒度数据集在逻辑上无缝地结合起来支持联机分析处理的问题,这是其他多维数据模型所没有解决的。     

基于数据仓库的决策支持系统

基于传统数据库的决策支持系统存在数据分散、数据规范不统一、数据可分析能力低等缺点,文中针对这些缺点提出基于数据仓库的决策支持系统概念模型,并以实际应用说明、验证其概念模型.     

数据仓库中的一种立方体数据模型

数据仓库和联机分析处理(OLAP)是商业数据处理领域中的两个最重大的新技术。OLAP应用要求对数据仓库中存储的大量数据进行分析,用标准关系数据库技术来实现非常复杂的查询是相当困难的。所以,在数据仓库中,数据被组织成立方体数据模型。该文提出了一种简单、直观的数据立方体模型以及在这个立方体上支持OLAP操作的代数。为复杂的查询提供了简要的表述方法。     

压缩数据集上的快速Cube计算方法

现有压缩数据集上的Cube计算方法只适用于稀疏数据,针对该问题,设计一种用于压缩常量和基本单一元组的压缩方法并提出一种新的Cube算法。该算法在计算过程中无需解压缩、计算速度快、数据压缩率高,适用于冰山计算。实验结果表明,与自底向上立方体算法相比,新算法计算速度快、所需存储空间小。     

一种数据仓库的多维数据模型

数据模型是数据仓库研究的核心问题之一.很多研究表明,传统数据模型(如实体联系模型和关系模型)不能有效地表示数据仓库的数据结构和语义,也难以有效地支持联机分析处理(on-line analysis processing,简称OLAP).最近,人们提出了几种多维数据模型.但是,这些多维数据模型在表示数据仓库的复杂数据结构和语义以及OLAP操作方面仍显不足.该文以偏序和映射为基础,提出了一种新的多维数据模型.该数据模型能够充分表达数据仓库的复杂数据结构和语义,并提供一个以OLAP操作为核心的操作代数,支持层次结构间的复杂聚集操作序列,能够有效地支持OLAP应用.该数据模型支持聚集函数约束的概念,提供了表示层次结构间聚集函数约束的机制.     

数据仓库系统中层次式Cube存储结构

区域查询是数据仓库上支持联机分析处理(on-line analytical processing,简称OLAP)的重要操作.近几年,人们提出了一些支持区域查询和数据更新的Cube存储结构.然而这些存储结构的空间复杂性和时间复杂性都很高,难以在实际中使用.为此,提出了一种层次式Cube存储结构HDC(hierarchical data cube)及其上的相关算法.HDC上区域查询的代价和数据更新代价均为O(log^dn),综合性能为O((logn)^2d)(使用C_qC_u模型)或O(K(logn)^d)(使用C_qn_q+C_un_u模型).理论分析与实验表明,HDC的区域查询代价、数据更新代价、空间代价以及综合性能都优于目前所有的Cube存储结构.     

Star Cube--一种高效的数据立方体实现方法

一个具有n个维的数据立方体有2^n个视图,视图越多,用于维护数据立方体的时间也就越长。通过将维分成划分维和非划分维,数据立方体可以转换成star cube．stal cube由一个综合表和那些仅包含划分维的视图组成。star cube使用前缀共享和元组共享技术不仅减少了所需的存储空间,还大大减少了计算和维护时间。在把一个分片限制在一个I/O单位的条件下,star cube的查询响应时间与数据立方体基本相同。实验结果也表明,star cube是一种在时空两方面均有效的数据立方体实现技术。     

基于PC集群的并行数据仓库架构

针对数据仓库规模不断增长而导致难以确保即席查询分析性能的问题,提出一种构建在PC集群上的并行数据仓库架构——HDW,采用Google的GFS和Bigtable技术进行分布式存储管理,采用MapReduce技术进行并行联机分析处理,为前台应用程序提供遵循XMLA规范的统一接口。在18个节点的集群上进行实验,结果表明,HDW系统扩展性好,能快速处理至少千万条元组的数据。     

空间数据立方体的建模方法研究

研究了基于空间数据仓库的一种决策分析工具——空间在线分析处理(OLAP)的支撑技术。将普通数据立方体与空间数据立方体进行比较,提出空间数据立方体的维和度量的建模方法,解决了空间维与非空间维、空间度量与数值度量的集成建模问题。     

数据立方梯度的联机挖掘

数据立方梯度是关联规则更富表达能力的扩展,可以通过带约束的数据立方梯度挖掘发现用户关心的各种数据变化趋势。研究了数据立方梯度的联机挖掘问题,并给出了基于BUBST浓缩数据立方的具体实现方案。利用联机分析处理服务中预先计算的数据立方进行数据立方梯度的联机挖掘,不仅可以消除同时保存立方梯度和立方元组而带来的冗余,而且更加符合用户在浏览数据立方过程中自然产生的挖掘兴趣。