多维分析中数据立方体的模型研究

本文从更灵活的角度出发,提出了一种崭新的构建数据立方体的方法。首先定义了各数据体的代数表示模型,然后在此基础上阐述了如何建立数据立方体的操作,而且定义了在数据立方体形成之后添加或删除一个维或度量的操作,以及维与度量在一个数据立方体中转换的操作。     

水利普查数据更新维护对策研究

水利普查数据更新维护是全国水利普查成果长期有效应用的重要支撑和保障。第一次全国水利普查后,数据更新是否及时,质量能否保障,共享能否畅通,以及现有数据能否满足需求等问题将是影响普查成果在水利信息系统应用的重要制约因素。针对这些问题,着眼于构建\"统一化、专业化、标准化\"的水利数据中心,形成一体化的国家基础水信息平台为总体目标,提出数据更新维护应遵循的多样性、适用性、规范性、协同性、同步性等5项原则,重点研究数据更新维护实施的技术手段及路径,并初步探讨相关标准、管理制度及工作流程,以建立数据更新维护过程的长效机制,确保水利数据资源得到充分利用。     

数据立方体计算方法研究综述

随着多维数据分析在各领域的广泛应用,基于数据立方体的计算方法受到大量研究者的关注.分析了影响 数据立方体计算的各种因素,其中包括数据存储空间、查询处理效率和数据立方体的维护消耗,并且阐述了数据立方体的物化策略.分别从冰山立方体、紧凑数据立方体、高维数据立方体、近似计算、流式数据立方体等几个方面综述了国内外现有的计算方法,分析了各种方法的特点以及适用范围.     

基于Oracle数据仓库的水利普查数据展现系统

文章在介绍Oracle数据库服务及相关体系软件结构的基础上,给出了利用Oracle数据仓库建立水利普查数据展现系统的实现技术,解决了因为原始数据库数据量庞大,数据关系复杂,导致数据查询速度慢等性能问题,并从多方面清晰、简洁、直观地展现水利普查数据.     

一种基于数据立方体的数据泛化算法

数据预处理是KDD的关键一步,良好的数据预处理可以极大地提高数据挖掘的效率。该文提出了一种基于数据立方体的数据泛化算法用于数据预处理,能够为数据挖掘提供良好的数据环境,提高数据挖掘的有效性。     

数据仓库中基于模糊数据的数据立方体设计

数据仓库中的维数据或度量数据都是确定的,其多维分析也是基于确定数据展开的。在现实中,由于环境的复杂与不确定性,常常需要对模糊数据进行多维分析。文章利用隶属度函数实现确定数据的模糊化,形成基于模糊数据的数据立方体,用以展开多维分析。     

基于相似性搜索的水利普查数据融合

针对第一次全国水利普查数据融合存在的问题,提出自适应编辑距离相似性度量,通过调整编辑操作权重及启发式学习权重等措施,对传统的编辑距离进行改进,提高相似性搜索的准确性,并给出基于编辑距离的水利普查数据融合的方法和流程,算法的有效性在第一次全国水利普查数据处理中得到验证。     

基于数据立方体的多维关联规则的挖掘方法

总结了现有基于数据立方体的多维关联规则挖掘算法,在此基础上将联机分析处理(OLAP)的钻取操作引入关联规则挖掘过程,提出Apriori_cubc算法的改进算法。通过动态调整立方体的维层次,来挖掘出用户感兴趣的关联规则。     

水利普查成果数据立方体并行计算方法研究

水利普查成果数据具有数据量大、维度多、维度分层等特点,因此物化水利普查成果数据立方体,所需的时间空间成本非常高。提出一种基于Map/Reduce计算模型进行外壳片段立方体并行计算的新方法。实验结果表明,该方法能够有效地提高在大数据集上计算外壳片段立方体的效率,降低物化水利普查成果数据立方体的时间空间成本。将水利普查成果数据立方体应用于多维分析系统,从多方面清晰直观地展现水利普查成果数据。     

数据立方体的预计算方法

Cube算子的计算在OLAP应用中起着极为重要的作用。本文分析了在高维Cube算子计算中传统流水线方法的不足之处,提出了通过有选择地实例化Cube中的部分节点以提高OLAP性能的解决方案,并给出了一个获取需要实例化节点的算法。     

维上带层次数据立方的自底向上计算

通过扩展 BUC算法 ,提出了 HBUC算法 ,自底向上地计算维上带层次的数据立方 .HBU C算法的关键在于对层次之间的映像关系进行了合理地编码 ,并选择了恰当的层次扫描路线 ,这些不仅能够保证 HBU C算法继承和扩展BUC算法的优化过程 :Write- Ancestors和 Collapsing,而且使粗粒度级的聚集计算因为共享细粒度级的排序结果而得到加速 ,从而大大提高了 HBUC的计算效率 .     

Fully Dynamic Partitioning: Handling Data Skew in Parallel Data Cube Computation

Parallel data processing is a promising approach for efficiently computing data cube in relational databases, because most aggregate functions used in OLAP (On-Line Analytical Processing) are distributive functions. This paper studies the issues of handling data skew in parallel data cube computation. We present a fully dynamic partitioning approach that can effectively distribute workload among processing nodes without priori knowledge of data distribution. As supplement, a simple and effective dynamic load balancing mechanism is also incorporated into our algorithm, which further improves the overall performance. Our experimental results indicated that the proposed techniques are effective even when high data skew exists. The results of scale-up and speedup tests are also satisfactory.     

基于MS Analysis Services的数据挖掘的开发模式

利用Microsoft SQL Services2000提供的开发工具和数据挖掘模型,提出了一种完整的数据挖掘系统结构和实现方案,适用于中小型的数据挖掘应用。     

数据仓库中多重粒度划分的层次编码解决方案

数据仓库在决策支持系统（DSS）中起着核心作用,而要创建一个好的数据仓库,如何划分数据粒度是要解决的一个重要问题。通过数据粒度划分方法的分析,结合实例给出了一种划分多重粒度级别的层次编码解决方案,该方法具有安全高效、可基于概念层次对数据进行分析、编码易扩充、编码数据准确规范等优点。最后给出利用层次编码方案解决不同粒度级别数据查询统计的基本思路和方法,结合项目实践证明该方案确实可行,是解决多重粒度级别的好方法。     

地理信息系统在人口普查中的应用

系统将人口普查与地理信息系统有机地结合起来 ,能够对太原市人口普查数据进行管理和人口统计制图 ,并可对人口普查数据进行多方面分析 ,实现了数据的可视化表示。     

基于MapReduce的数据立方体分区优化算法研究

文章利用并行计算框架MapReduce,探索数据立方体的计算问题。数据立方体的计算存在两个关键问题,一个是计算时间的问题,另一个是立方体的体积问题。随着维度的增加,计算时间将呈现指数级的增长,立方体的体积也是如此。尽管MapReduce是一个优秀的并行计算框架,但在处理数据倾斜时,分区算法不够完善,导致一些计算任务时间过长,影响整个作业的完成时间。本文通过数据采样的方式,优化数据分区,实验结果表明,数据立方体的计算的性能明显提升。为解决数据立方体体积过大的问题,在Reduce阶段将最终的结果输出到基于NoSQL的HBase数据库进行存储,HBase方便水平扩展,同时也便于日后对数据立方体的查询。     

OLAP技术在电信领域中的应用

OLAP（联机分析处理）是一种数据分析技术，它和数据仓库有着密切的联系，详细阐述了OLAP技术在电信领域的应用，以及OALP技术和数据仓库的一些关系。以移动电话业务收入总量为分析主题，确定了分析方法，定义了维度，并构造分析了立方体和星型结构，最后对结果进行了分析。     

网络数据流传输中的混沌现象及其定量分析

文章基于LINUX环境,利用NS2仿真工具,对链路数据流的混沌特性进行了实验验证,并对关联维数、Lya-punov指数等重要的混沌参数进行了定量分析。