基于多维数据库的MOLAP存储及查询技术研究

与关系数据库相比,基于多维数组的多维数据库更适合表示和存储多维数据。本文研究了基于多维数据库的MOLAP数据存储组织方法,主要讨论了3个方面内容：多维数据模式、MDDB(Multidimensional Data Base)的数据存储结构及MOLAP查询分析。     

一种基于多维数据库的OLAP实现方法ADT：数据仓库的工具应用讨论

“数据仓库”是近数年来兴起的一种数据处理技术,其特点是对数据的长期保留并作出分析的支持决策,在其应用的工具中,国外新兴了一门针对特定问题的联机数据访问和分析的软件技术,称之为OLAP(On_Line Analytical Process-ing).OLAP的两种实现技术MOLAP(多维数据库OLAP)和ROLAP(关系型OLAP)现在正处于激烈的竞争之中.事实上,这两种技术各有特色,各有利弊,本文结合了ROLAP与MOLAP两种技术的特点,阐述了采用MOLAP ADT方法来实现的OLAP技术,相信研究数据库和数据仓库的读者会对此有一定的兴趣.     

多路数组聚集优化算法

针对MOLAP服务器中多维数据的聚集操作，在传统的多路数组聚集算法的基础上，提出一种寻找最优聚集次序的计算方法。在实示计算中，应用这种方法可以方便、快捷地对以数据立方体形式存储于MOLAP服务器中的多维数据进行聚集操作。     

0LAP中多维数组的一种改进压缩算法

基于多维数组MOLAP技术,针对目前使用较多的多维数组线性化压缩存储方法在处理维内部层次的聚集查询方面效率比较低的问题,本文提出了一种新的压缩存储方法,即采用二进制编码存储维方法,能有效提高存储和查询效率。     

基于数据仓库联机分析处理技术的研究

随着数据仓库理论的发展,数据仓库系统已逐步成为新型的决策管理信息系统的解决方案,而数据仓库系统的核心是联机分析处理。主要介绍了OLAP技术和多维数据领域中的一些基本概念及多维数据分析的主要方法和多维数据的3种存储模式：ROLAP、MOLAP、HOLAP。     

联机分析处理的实现及其性能调优

本文首先对联机分析处理(OLAP)技术进行了简要的介绍．接下来提出了联机分析处理的三种实现方式．关系型联机分析处理(ROLAP)．多维联机分析处理(MOLAP)．混合联机分析处理(HOLAP)．其中对多维联机分析处理的存储方式进行了重点描述．并阐述了基于多维数据组织的MOLAP的性能调优方法．用以提高联机分析处理工具的开发效率．推动计算机应用技术的进一步发展。     

港口数据MOLAP中层次维的存储

从港口企业面临的决策需求出发,分析港口现有数据来构建港口数据立方体。多维联机分析处理（MOLAP）是在数据立方体上进行的应用查询,支持维层次是MOLAP的一个重要特征,一般层次维是以数组形式进行存储的,但是数组存储不仅不能体现维的层次特征,还使得数据单元出现冗余。针对数组存储的不足,采用维层次存储树来保存层次维信息,体现了维的层次特性,消除了冗余数据,方便层次维的查询和更新,且各层维成员采用二进制编码方式,不仅节省了存储空间,还提高了查询效率。     

一种多维数据库和多维视图模型

“多维”是数据仓库／ＯＬＡＰ应用普遍采用的模型化方法,文中提出了一种对多维数据库和在多维数据库上进行的查询／统计进行模型化的方法,并给出了模型的形式化定义,鉴于数据库本身与一次具体任务产生的结果两种对象的性质不同,特别区分了多维数据库和多维视图。多维数据库是对全部数据及其内在关系的全面描述;多维视图则是针对一次任务的对多维数据库的选择和重组。文中还着重讨论了多维数据库的划分问题,以函数依赖为主要依     

面向主题的关系—多维数据模型建立与数据集市

基于关系型数据库如何构建多维数据库的关键技术进行了深入研究,采用对星形模式分解成维表的方法,优化数据库结构,大大提高了数据的查询和处理性能,并用多维数据库实现了一个数据集市。     

MOLAP ROLAP可以兼得

OLAP 有三种流派 MOLAP,ROLAP,HOLAP。MOLAP 国内经常称其为“多维数据库”技术。当进行大数据量的复杂查询时,利用多维数据库技术可大大加快查询(与传统数据库相比)的速度。但他的限制是,多维数据库不能支撑太大的数据量(通常300GB 就已经是上限了)。ROLAP 实际上就是用传统的关系型数据库来模拟多维数据库。其特点是可以支撑大数据量,但缺陷是查询速度表较慢。真是鱼和熊掌不能兼得。HOLAP 中文称为“混合型 OLAP”。其工作时把访问较频繁的汇总数据存储在多维数据库中,把大量的原始数据存放于传统的关系型数据库中。查询时 HOLAP引擎需要自动判断从何处取得查询数据并集中计算,返     

联机分析多维存储结构的研究

联机分析使用多维数组作为存储结构以加快查询响应时间。为了等同的对待每个维,适应稀疏数据,必须对多维数组进行划分。目前,有两种划分方法。本文分析了它们的优缺点,给出了一种统一的存储结构,实验结果表明,为了达到转换时间短和压缩比高的目的,要选择合适的划分向量和数据块体积。     

一种改进的强相关的数据挖掘算法研究

关联规则在商业中的广泛应用使得它成为数据挖掘中最活越的研究方向之一。近来在交易数据库上的具有统计意义的强相关项目对的挖掘受到一定的重视。为了在关系数据库上进一步减少候选项目对测试的代价。本文通过1NF的性质，对Taper算法进行改进，设计改进的TaperR算法，在挖掘过程中减少候选项目对的数目，从而提高算法的效率。     

High Performance OLAP and Data Mining on Parallel Computers

On-Line Analytical Processing (OLAP) techniques are increasingly being used in decision support systems to provide analysis of data. Queries posed on such systems are quite complex and require different views of data. Analytical models need to capture the multidimensionality of the underlying data, a task for which multidimensional databases are well suited. Multidimensional OLAP systems store data in multidimensional arrays on which analytical operations are performed. Knowledge discovery and data mining requires complex operations on the underlying data which can be very expensive in terms of computation time. High performance parallel systems can reduce this analysis time. Precomputed aggregate calculations in a Data Cube can provide efficient query processing for OLAP applications. In this article, we present algorithms for construction of data cubes on distributed-memory parallel computers. Data is loaded from a relational database into a multidimensional array. We present two methods, sort-based and hash-based for loading the base cube and compare their performances. Data cubes are used to perform consolidation queries used in roll-up operations using dimension hierarchies. Finally, we show how data cubes are used for data mining using Attribute Focusing techniques. We present results for these on the IBM-SP2 parallel machine. Results show that our algorithms and techniques for OLAP and data mining on parallel systems are scalable to a large number of processors, providing a high performance platform for such applications.     

无线传感器网络数据管理技术研究进展

无线传感器网络本质上是一个以数据为中心的网络,它处理的数据为传感器采集的连续不断的数据流.因此,现有的数据管理技术把无线传感器网络看作为来自物理世界的连续数据流组成的分布式数据库.由于传感器节点的计算能力、存储容量、通信能力以及电池能量有限,再加上flash存储器以及数据流本身的特性,给数据管理带来了传统分布式数据库系统没有的一些新挑战.从数据库系统的体系结构、数据存储与索引技术、数据模式、查询处理及优化技术等方面介绍了无线传感器网络的数据管理技术的研究现状.     

Flexible online association rule mining based on multidimensional pattern relations

Most incremental mining and online mining algorithms concentrate on finding association rules or patterns consistent with entire current sets of data. Users cannot easily obtain results from only interesting portion of data. This may prevent the usage of mining from online decision support for multidimensional data. To provide ad-hoc, query-driven, and online mining support, we first propose a relation called the multidimensional pattern relation to structurally and systematically store context and mining information for later analysis. Each tuple in the relation comes from an inserted dataset in the database. We then develop an online mining approach called three-phase online association rule mining (TOARM) based on this proposed multidimensional pattern relation to support online generation of association rules under multidimensional considerations. The TOARM approach consists of three phases during which final sets of patterns satisfying various mining requests are found. It first selects and integrates related mining information in the multidimensional pattern relation, and then if necessary, re-processes itemsets without sufficient information against the underlying datasets. Some implementation considerations for the algorithm are also stated in detail. Experiments on homogeneous and heterogeneous datasets were made and the results show the effectiveness of the proposed approach.     

基于秘密共享协议的移动数据存储研究

针对移动数据库各方面的资源和能力均受到限制的问题,提出了基于秘密共享协议的移动数据存储方案。在移动客户端的应用程序上采用轻量级内存数据库仅存储少量数据,将大部分移动客户端所需数据存储在数据库服务器上。对存储在数据加密服务器上的敏感数据利用AES加密,对密钥利用秘密共享技术进行拆分后存储在不同的数据存储服务器上,使除了移动客户端的任何一方都不能同时拥有密钥和密文,减轻了移动客户端的存储压力,实现了数据控制权限的分离,保证了移动客户端对数据的访问具有最高权限,提高了数据的安全性。测试实验结果表明,该方案是可行的,具有较好的性能和应用前景。     

一种通用OLAP系统的研究与设计

OLAP(联机分析处理)是一种新的多维数据分析处理技术。本文提出了一种具有通用性和可扩展性的OLAP系统。该系统能够有效地处理多种数据源,如数据仓库、关系数据库、多维数据库等,并根据用户需求建立多种数据存储模式,对用户屏蔽了数据模式的细节,界面友好。     

基于Hadoop的大数据查询系统简述

近年来,随着计算机技术的迅猛发展,其领域迎来了大数据时代。随着大数据的出现,传统的关系型数据库已经不能满足高储存量的要求,此时成本低廉、有着良好并行性和伸缩性的云数据库应运而生,它采用键值对数据模型和分布式的计算环境。但是海量数据在Key-value数据库中的查询效率低下、实时性差等问题又普遍存在。为了解决查询效率低下这一问题,将多维数据模型和索引技术应用于Key-value数据库,将事实数据以多维的形式进行存储并在多维模型上建立索引以加快查询速度。论文将系统地描述多维数据模型的建立和索引技术的实现,最后简单地和主流Key-value数据库进行优缺点对比。     

Storage Support for Multidimensional Discrete Data in Multimedia Databases

Multidimensional discrete data (MDD) is enormously important for multimedia applications since diverse types of such data are used simultaneously by any multimedia application. However, multidimensional discrete data is not adequately supported by most existing database systems. In this paper we discuss the major management requirements imposed by such data on multimedia database management systems both at the conceptual level and at the internal level. At the internal level, the spatial structure of the data must also be preserved and special emphasis must be given to the efficient spatial access to subrectangles of very large data of arbitrary dimensionality. Our major contribution is the presentation of a Storage Manager for this kind of data which preserves the spatial nature of the data at the internal level of the database management system and provides efficient spatial access. This Storage Manager is based on an innovative combination of the subdivision of data in multidimensional tiles and of a spatial index to access those tiles. Furthermore, it supports advanced registration data. The lower level modules of the Storage Manager are responsible for the access to the data stored in secondary storage. The implementation of these modules can rely on any secondary storage access system to access data on disk. The Storage Manager was implemented using the functionality of a relational database system. The implementation of this relational Storage Manager is presented.     

基于TYKY cNosql云数据库的医疗卫生信息存储架构研究

随着互联网Web 2.0技术的发展和医疗卫生信息数据的急剧增加,传统关系型数据库针对医疗海量大数据已出现存储效率低、高并发读写性能差、弹性存储扩展和数据管理困难等问题。研究采用非关系型数据库技术作为传统关系型数据库的补充,以模式自由的方式,设计具有海量大数据高效存储、高并发读写、易扩展、低成本等特点的医疗卫生信息存储架构,并阐述TYKY cNosql云数据库的关键技术和应用效果。