数据立方体计算方法研究综述

随着多维数据分析在各领域的广泛应用,基于数据立方体的计算方法受到大量研究者的关注.分析了影响 数据立方体计算的各种因素,其中包括数据存储空间、查询处理效率和数据立方体的维护消耗,并且阐述了数据立方体的物化策略.分别从冰山立方体、紧凑数据立方体、高维数据立方体、近似计算、流式数据立方体等几个方面综述了国内外现有的计算方法,分析了各种方法的特点以及适用范围.     

基于数据立方体的属性核计算方法

商业智能系统应用联机分析处理技术将数据组织为多维数据立方体。该文建立了数据立方体中非空单元与决策表中等价类的一一映射关系。通过复用数据立方体中的聚合结果,提出一种基于数据立方体计算相容决策表属性核的方法,并证明了该方法的正确性。利用UCI数据集进行实验,结果表明在大数据量下该方法具有较好的时间效率。     

基于混合存储结构的数据立方体生成算法

通过把数据立方体中的维分为划分维和非划分维，视图中的数据被分成两部分，分别存储在关系和多维数组中。针对这种混合存储结构，我们设计了一个数据立方体生成算法，它结合了流水线聚集方法和多维数组聚集方法的优点，大大减少了流水线的条数和所需要的存储空间，加快了计算速度。并用一个实际数据集进行了实验，结果表明该算法适用于计算高维的数据立方体。     

多维数据立方体的存储设计

多维数组进行存储通常是将其线性化为一维数组的方式进行存放,这种方法不利于数据的多维分析。首先,采用分块存储方法,将数据立方体划分为小的立方体为基本单位进行存储,然后,为每一个多维数据立方体创建一个数据文件,将划分后得到的有效数据块依次存放在数据文件的数据域中,在文件结束部分创建数据块的索引,即数据块在文件中的起始位置。     

联机分析处理数据立方体代数

数据立方体是多维数据库和以多维分析为基础的联机分析处理技术的核心机制.文章提出了一个支持多维数据库和多维分析的关于数据立方体的代数,从而为数据仓库及联机分析处理的语义描述提供了理论基础.同时,文章还论述了数据立方体的一些应用,以证明该工具所具有的强大功能.     

面向数字城市多源数据的空间数据立方体数据组织研究*

定义了面向数字城市多源数据的空间数据立方体地理空间维、专题维和时间维分别包含的数据种类和内容;设计了它们的维和维层次数据结构;表述了地理空间维、专题维和时间维在概念层次上和物理层次上构成空间数据立方体的方法;确定了地理空间维、专题维和时间维数据的多维数组组织方法,以及多维数据的数据文件和虚拟内存存储策略;表达了多维数组中记录间的关联运算和多维数组的压缩方法。     

基于切片的OLAP动态推理控制研究

针对OLAP系统存在的数据仓库敏感信息泄漏的问题,及已有的推理研究都是以数据立方体为粒度,细粒度的切片推理仍然存在的问题,提出了以切片为推理单元的推理控制方法。该方法将推理粒度细化到切片,使每次查询生成对应的切片格,根据格的依赖关系判定是否存在推理通道,实现动态地防止单切片的推理,提高了敏感信息的保护力度。     

基于数据立方体分块的多维关联规则挖掘

介绍了在数据立方体上对于不同可信度的数据进行分块的方法,阐述了基于数据立方体分块的多维关联规则挖掘的算法.     

多维时序数据中的相似子序列搜索研究

由于动态时间弯曲距离较之欧氏距离有更好鲁棒性,因此被广泛用作时序数据相似子序列搜索研究领域中的相似性度量.在单一维度上的相似子序列搜索可能不能获得足够的匹配结果作为继续深入分析的依据,因此通过引入在多维数据分析中常用的数据立方体模型将相似子序列搜索问题扩展到了多维场景之下,从而在多个维度上得到搜索结果以获取更多有价值的知识.在此基础上利用数据立方体相邻层次单元间的相关性对基本的搜索算法进行了改进,在保证准确性的基础上提高了搜索效率.在真实网络安全数据集上的实验验证了所提方法的有效性.     

基于度量波动时间框架的流立方体研究

流数据存在于很多动态环境中,一般具有多维属性,它能够实时描述系统状态,蕴含着大量信息.为了能近实时地对流数据进行分析,引入流立方体来对流数据进行建模,利用增量更新保证了立方体快速刷新.流数据的规模很大,为了节省存储空间,利用度量的波动性质提出一种新的时间框架.该时间框架能够在保持历史数据有效信息的前提下,缩减物化单元,减小立方体存储代价.     

水利普查成果分析中数据立方体计算研究

n维的立方体将生成2n个聚集立方体.如何进行立方体计算,在存储空间和查询时间方面寻求平衡,成为多维分析应用中的关键问题.基于部分物化的策略,并结合水利普查数据特征,改进Minimal cubing方法,提出了层次维编码片段方法HDEF cubing.该方法利用编码长度较小的层次维编码及其前缀,快速检索出与查询关键字相匹配的层次维编码,减少了多表连接操作,从而提高查询效率.以水利普查数据为例,验证了改进的立方体计算方法能高效地对立方体进行存储和查询,适用于水利普查成果分析.     

Data Cube: A Relational Aggregation Operator Generalizing Group-By, Cross-Tab, and Sub-Totals

Data analysis applications typically aggregate data across manydimensions looking for anomalies or unusual patterns. The SQL aggregatefunctions and the GROUP BY operator produce zero-dimensional orone-dimensional aggregates. Applications need the N-dimensionalgeneralization of these operators. This paper defines that operator, calledthe data cube or simply cube. The cube operator generalizes the histogram,cross-tabulation, roll-up,drill-down, and sub-total constructs found in most report writers.The novelty is that cubes are relations. Consequently, the cubeoperator can be imbedded in more complex non-procedural dataanalysis programs. The cube operator treats each of the Naggregation attributes as a dimension of N-space. The aggregate ofa particular set of attribute values is a point in this space. Theset of points forms an N-dimensional cube. Super-aggregates arecomputed by aggregating the N-cube to lower dimensional spaces.This paper (1) explains the cube and roll-up operators, (2) showshow they fit in SQL, (3) explains how users can define new aggregatefunctions for cubes, and (4) discusses efficient techniques tocompute the cube. Many of these features are being added to the SQLStandard.     

封闭数据立方体技术研究

数据立方体中有很多冗余信息,去除这些冗余信息不但可以节约存储空间,还可以加快计算速度.数据立方体中的元组可以划分为封闭元组和非封闭元组.对任何一个非封闭元组,一定存在一个封闭元组,它们都是从基本表的同一组元组中经过聚集运算得到的,因而具有相同的聚集函数值.去掉数据立方体中所有的非封闭元组就产生了一个封闭数据立方体.提出了封闭数据立方体的生成算法、查询算法和增量维护算法,并使用合成数据和实际数据做了一些实验.实验结果表明,封闭数据立方体技术是有效的.     

一种保持语义的压缩数据立方体结构

通常数据立方体体积较大,语义关系复杂,完整的语义立方体很难实现。基于商立方体,该文提出了语义数据立方体结构(SDC),将单元格中的单元以其上界替代,并保存下界,简化了单元格的表示,保持单元格的全部语义,并可以实现单元的上卷和下钻操作。把语义关系应用到数据立方体的查询、增量更新中,使查询响应时间及更新代价大大降低。实验结果表明,SDC是有效的。     

超大型压缩数据仓库的查询研究

查询速度是联机分析处理中的一个关键性能指标,人们通过事先生成所有可能的聚集来提高查询速度,然而这样的完全物化是以存储空间为代价的.针对数据立方体数据分布特点和结合压缩技术,本文介绍如何最大化节省存储空间来进行完全物化,然后在此基础上对查询进行了研究,以达到最小存储空间以及较好的查询速度的目的.     

一种数据仓库操作的优化方法

数据立方体在许多多维数据的数据仓库的高速OLAP操作中扮演着重要的角色.但是在许多高维的数据仓库的应用中,例如超过100维,大约106个元组,在这样高维下建立物化数据立方体是不可行的.利用最小方的方法可以在高维数据集上进行有效OLAP操作的方法.但每次进行OLAP操作所涉及的维大多有固定的分布,所以大量的查询都有重复计算.如果能部分物化与大多数OLAP操作相关维的立方体ID,就能在进行OLAP操作时可以大大的提高OLAP操作的效率.     

武器装备测试数据立方体模型的构建

针对大规模、高频率数据交换的实际需求,结合武器装备测试数据的特点,构建了装备测试系统的数据立方体模型;首先介绍了数据立方体的基本概念以及常用的基本模型,之后分析了装备测试系统的实际需求,以概念模型、逻辑模型以及物理模型三级数据模型的方法实现整体设计;数据立方体为装备测试数据提供多维的观测角度,满足了实际任务对高效率数据交换的要求,为之后的数据分析应用提供了良好的数据基础平台.