基于混合存储结构的数据立方体生成算法

通过把数据立方体中的维分为划分维和非划分维，视图中的数据被分成两部分，分别存储在关系和多维数组中。针对这种混合存储结构，我们设计了一个数据立方体生成算法，它结合了流水线聚集方法和多维数组聚集方法的优点，大大减少了流水线的条数和所需要的存储空间，加快了计算速度。并用一个实际数据集进行了实验，结果表明该算法适用于计算高维的数据立方体。     

多维数据立方体的存储设计

多维数组进行存储通常是将其线性化为一维数组的方式进行存放,这种方法不利于数据的多维分析。首先,采用分块存储方法,将数据立方体划分为小的立方体为基本单位进行存储,然后,为每一个多维数据立方体创建一个数据文件,将划分后得到的有效数据块依次存放在数据文件的数据域中,在文件结束部分创建数据块的索引,即数据块在文件中的起始位置。     

用于数据仓储的一种改进的多维存储结构

对于数据仓库中数据的物理存储组织,目前主要有关系和多维数组两种方式.这两种方式各有自己的优缺点,从提高联机分析处理(online analytical processing,简称OLAP)查询处理性能的角度出发,多维数组方式相对较优,目的主要是解决数据仓库的多维存储结构问题.针对当前多维数组存储组织方式存在的一些问题,提出了Cube(立方体)逻辑存储和物理存储的概念,首先将原多维数据空间划分为逻辑子空间,逻辑块再划分为多个物理块.在物理存储时充分考虑了多维数组的大容量和高稀疏度的问题,并采用新的多维数组的分布和压缩方法.这些概念和方法有效地解决了维内部层次结构的聚集操作和Cube操作的效率问题,显著提高了涉及维内部层次的聚集查询的响应速度,同时还解决了增量维护的效率问题.     

基于多维数据库的MOLAP存储及查询技术研究

与关系数据库相比,基于多维数组的多维数据库更适合表示和存储多维数据。本文研究了基于多维数据库的MOLAP数据存储组织方法,主要讨论了3个方面内容：多维数据模式、MDDB(Multidimensional Data Base)的数据存储结构及MOLAP查询分析。     

基于多维数据库的MOLAP存储及查询技术研究

与关系数据库相比,基于多维数组的多维数据库更适合表示和存储多维数据。文章研究了基于多维数据库的MOLAP数据存储组织方法,主要讨论了三个方面内容:多维数据模式、MDDB(MultidimensionalDataBase)的数据存储结构及MOLAP查询分析。     

快速聚集算法 RunMerge

联机分析中涉及到大量的聚集运算。采用多维数组作为存储结构，聚集运算转换为空间变换，一般常用的方法是使用数组线性化公式进行地址转换。当从一个数组去掉一个维或多个连续的维时，可以给出一个快速地址转换公式，据此设计了算法RunMerge。并讨论了稀疏数据对算法的影响。     

面向数字城市多源数据的空间数据立方体数据组织研究*

定义了面向数字城市多源数据的空间数据立方体地理空间维、专题维和时间维分别包含的数据种类和内容;设计了它们的维和维层次数据结构;表述了地理空间维、专题维和时间维在概念层次上和物理层次上构成空间数据立方体的方法;确定了地理空间维、专题维和时间维数据的多维数组组织方法,以及多维数据的数据文件和虚拟内存存储策略;表达了多维数组中记录间的关联运算和多维数组的压缩方法。     

多路数组聚集优化算法

针对MOLAP服务器中多维数据的聚集操作，在传统的多路数组聚集算法的基础上，提出一种寻找最优聚集次序的计算方法。在实示计算中，应用这种方法可以方便、快捷地对以数据立方体形式存储于MOLAP服务器中的多维数据进行聚集操作。     

应用稀疏数组存储病案首页数据研究

病历数据性质特殊，一般数据模型用于其管理比较困难，因此需要研究寻找适合的特殊数据模型。病案首页是病历的一种摘要，病历数据的许多特性均反映到病案首页中。本文将介绍一种应用稀疏数组存储病案首页的存储结构设计，以及基于稀疏数组的病案首页系统如何利用稀疏数组的特性，使存储结构既能保证长久数据的应用连续性，又能不断适应结构变化，同时介绍其独特的数据存储体系和数据备份方案。     

港口数据MOLAP中层次维的存储

从港口企业面临的决策需求出发,分析港口现有数据来构建港口数据立方体。多维联机分析处理（MOLAP）是在数据立方体上进行的应用查询,支持维层次是MOLAP的一个重要特征,一般层次维是以数组形式进行存储的,但是数组存储不仅不能体现维的层次特征,还使得数据单元出现冗余。针对数组存储的不足,采用维层次存储树来保存层次维信息,体现了维的层次特性,消除了冗余数据,方便层次维的查询和更新,且各层维成员采用二进制编码方式,不仅节省了存储空间,还提高了查询效率。     

HAWK: A RUNTIME SYSTEM FOR PARTITIONED OBJECTS*

Hawk is a language-independent runtime system for writing data-parallel programs using partitioned objects. A partitioned object is a multidimensional array of elements that can be partitioned and distributed by the programmer. The Hawk runtime system uses the user-defined partitioning of objects and a runtime mechanism based on Partition Dependency Graphs (PDGs) to increase the granularity of data transfers and consistency checks to a partition. Hawk further oplimizes the execution of parallel operations by prefetching data and overlapping communication and computation.

We first present the partitioned object model. Then, we give an overview of Hawk and describe how it uses PDGs to reduce communication overhead and optimize parallel operations. Finally, we discuss the effectiveness of our optimization technique with two applications written on top of Hawk.     

磁盘数据恢复原理及实现综述

计算机中数据是最关键的,数据的丢失是最大的损失。论文在深入研究Windows文件系统的结构和文件的存储方式的基础上,给出了一种数据恢复的方法。此方法通过分析文件存储信息,可重建丢失的分区表,达到手动恢复被破坏数据的目的。     

数据仓库的存储优化设计

随着数据仓库逐渐成为企业决策支持的重要技术手段,对数据仓库的存储能力与性能的优化问题日益成为人们重视与关注的焦点之一。该文在数据仓库的模型结构以及数据分析过程中所采用的一些算法进行分析的基础上,对数据仓库与OLAP的数据存储方式以及优化的方法进行了深入的讨论,并在此基础上提出了一个通过数据分割技术存储细节数据,利用分层的方式来存储聚合数据,通过提高系统的并行处理能力来改善数据仓库系查询访问的效率的存储设计优化方案。     

并行PDBMS的数据划分方法

该文系统地分析了并行关系数据库的数据划分方法,指出在不同应用中,数据划分方法极大地影响了系统的性能,提出了综合不同方法以适应不同应用的思想。文章介绍了在并行关系数据库系统产ＤＢＭＳ中实现多种划分的方法。     

数据立方体聚集范围查询分块方法研究

范围查询是数据立方体数据分析的有效工具，预计算技术通过预先计算并存储范围查询的结果，可以实现快速的用户响应。近年来研究人员对基于MOLAP的预计算技术的研究主要以prefix sum及分块技术为基础。本文对预计算技术的分块方法进行研究，分析了现有分块技术的方法和性能，并提出了两种新的分块方法：嵌套分块和基于前缀区域边界的分块。本文对这两种分块的方法和特点做了阐述，研究表明这两种方法为分块技术提出了新的思路，是对现有分块方案的有力补充。     

A balanced hierarchical data structure for multidimensional datawith highly efficient dynamic characteristics

A new multidimensional data structure, multidimensional tree (MD-tree), is proposed. The MD-tree is developed by extending the concept of the B-tree to the multidimensional data, so that the MD-tree is a height balanced tree similar to the B-tree. The theoretical worst-case storage utilization is guaranteed to hold more than 66.7% (2/3) of full capacity. The structure of the MD-tree and the algorithms to perform the insertion, deletion, and spatial searching are described. By the series of simulation tests, the performances of the MD-tree and conventional methods are compared. The results indicate that storage utilization is more than 80% in practice, and that retrieval performance and dynamic characteristics are superior to conventional methods     

High Performance OLAP and Data Mining on Parallel Computers

On-Line Analytical Processing (OLAP) techniques are increasingly being used in decision support systems to provide analysis of data. Queries posed on such systems are quite complex and require different views of data. Analytical models need to capture the multidimensionality of the underlying data, a task for which multidimensional databases are well suited. Multidimensional OLAP systems store data in multidimensional arrays on which analytical operations are performed. Knowledge discovery and data mining requires complex operations on the underlying data which can be very expensive in terms of computation time. High performance parallel systems can reduce this analysis time. Precomputed aggregate calculations in a Data Cube can provide efficient query processing for OLAP applications. In this article, we present algorithms for construction of data cubes on distributed-memory parallel computers. Data is loaded from a relational database into a multidimensional array. We present two methods, sort-based and hash-based for loading the base cube and compare their performances. Data cubes are used to perform consolidation queries used in roll-up operations using dimension hierarchies. Finally, we show how data cubes are used for data mining using Attribute Focusing techniques. We present results for these on the IBM-SP2 parallel machine. Results show that our algorithms and techniques for OLAP and data mining on parallel systems are scalable to a large number of processors, providing a high performance platform for such applications.