基于索引视图实现动态数据仓库的实时数据加载

随着数据仓库技术的不断普及,基于数据仓库技术的决策支持系统在企业得到了广泛应用,同时出现了动态数据仓库。随着动态数据仓库在决策支持领域扮演的角色越来越重要,企业利用决策支持系统从辅助进行战略决策开始向战术决策转变。而要进行战术性的分析,数据仓库中必须有动态变化的最新数据,实现数据仓库的“动态”特性的关键又在于实现“动态数据获取”,即实现实时数据捕获加载。提出了基于索引视图实现动态数据仓库的实时数据加载,并通过实验验证了其可行性。该方法对进一步深入研究实时数据捕获技术有一定的借鉴作用。     

面向市场分析预测的数据仓库技术应用与研究*

本文针对市场分析预测对数据的要求，探讨了数据仓库技术在“玉烟系统”中的应用，详细说明了“玉烟系统”中数据仓库的建立、数据转换与校验、数据规范化方法及其对分析预测的支持策略，提出了应用数据仓库的一些基本要求．     

面向市场分析预测的数据仓库技术应用与研究

本文针对市场分析预测对数据的要求，探讨了数据仓库技术在“玉烟系统”中的应用，详细说明了“玉烟系统”中数据仓库的建立、数据转换与校验、数据规范化方法及其对分析预测的支持策略，提出了应用数据仓库的一些基本要求。     

数据仓库中数据粒度的划分

为了提高银行数据仓库的性能,合理地确定数据仓库中数据单元的详细程度和级别,给出了一种银行数据仓库中数据粒度划分的方法.分析了数据仓库中的粒度模型,介绍了数据粒度划分的策略,在此基础上提出了一种估计数据仓库大小的方法,进而在明确数据粒度划分原则的基础上,提出了一种银行环境中数据粒度的划分.该划分方法有效的解决了银行数据仓库开发者面临的一个最重要的设计问题,使其设计和实现中的其余方面得以非常顺畅地进行.     

基于并行处理机制的数据复用策略研究

针对频繁出现的数据冗余、数据复用效率低下等问题,将列存储方式结合并行处理机制对数据复用策略进行优化。构建了基于MapReduce的数据复用并行化处理模型,利用改进型CSM模式匹配算法结合数据挖掘过程中的数据筛选算法,提出并行化数据复用算法。该算法利用数据属性的模式匹配确定属性列之间的对应关系,使用数据检测方式验证属性列数据复用的可行性,从而进行属性列数据筛选,实现并行化的数据复用策略。在大数据环境下的数据仓库中,对大规模基准数据属性集SSB和TPCH中提取的数据实证分析,实验结果分析中存储量和处理时间分别减少了17%和35%,实验结果验证了并行化数据复用策略在数据存储量、数据处理时间等方面比普通数据复用策略更具高效性。     

一种列存储数据仓库中的数据复用策略

数据复用是数据仓库管理中节约存储空间、提高查询效率的重要手段.列存储技术将来自同一属性的数据连续存储,极大地提高了数据仓库等分析型应用软件的性能,同时增加了复用的可行性和灵活性.为此,提出了一种列存储数据仓库中的数据复用策略.首先,利用模式匹配技术发掘候选可复用列,排除大量无法复用的数据列,在此基础上对候选可复用数据进行筛选和过滤,大大降低复用数据检测的复杂度.针对确定的可复用数据,提出了基于列存储的复用实现策略,分别给出了原始数据列、压缩数据列及索引数据列的复用实现方法.最后提出了基于复用数据的查询实现技术.在大规模数据仓库基准数据集上的实验结果验证了数据复用策略在减少存储量、节省数据装载时间及提升查询性能方面的有效性.     

基于生产线质量控制系统的动态数据仓库解决方案

如何实现数据仓库的"动态"特性是部署"动态数据仓库"系统的关键所在,而关键的关键又在于如何实现动态数据仓库中的实时数据获取。以一个实际系统为例,提出了一种适用的动态数据仓库体系架构及实时数据捕获与加载解决方案。在实际系统中验证了该方案的可行性。     

数据仓库中时间属性的研究

在基于数据仓库的CRM系统中，时态数据的更新与删除处理是一直倍受关注的问题之一，本文主要探讨了数据仓库中时间属性的变化处理方案，为数据仓库维表的时态数据的更新变化处理提供了依据。     

动态数据源在数据仓库中的应用

近年来,数据仓库技术在国内外信息技术领域中悄然兴起并日益成熟。对于许多数据仓库信息源,不仅它们的数据是可变的,而且信息源结构也是可变的。该文提出了一种中间件的模型,使不同的数据源信息可以存储到一个数据仓库中,以便最大限度地利用动态数据。     

基于Web和数据仓库的税务联机分析系统

数据仓库是为决策分析服务的。该介绍了基于数据仓库的联机分析系统，并以税务联机分析系统为例，分析了该系统的系统结构，详细介绍了联机分析处理系统中数据仓库的设计、实施、以及数据的展示。     

基于数据仓库技术的教务管理系统(EAS)

数据仓库和联机分析处理(OLAP)是信息技术领域的新兴技术,如何应用到高校教务管理信息化建设中是教务管理系统(EAS)面临的问题.基于数据仓库的EAS就是在面向应用的联机事务处理(OLTP)系统的基础上并引入数据仓库和OLAP技术发展起来的.本文结合高校教学管理业务提出了系统实现的解决方案,并给出了基于高校教学业务的数据仓库的体系结构、逻辑模型、粒度模型,以及联机分析处理(OLAP)系统的实现方法.     

数据仓库中的数据粒度确定原则

在设计数据仓库逻辑模型过程中,数据粒度的设计好坏对数据仓库的性能、功能有很大影响.本文结合实际的数据仓库建设,讨论数据粒度的设计原则.     

数据仓库方法论

数据仓库是面向主题的、集成的、非易失的且随时间变化的数据集合，本文简要讨论有关数据仓库的主要设计技术与管理技术，包括数据模型，元数据，粒度，数据分割，数据集成以及分布式数据仓库等。     

数据仓库在高职院校中的应用

以四川交通职业技术学院为例,主要讨论了高职院校信息化现状、建设数据仓库的基本策略、确定数据仓库的主题、数据仓库的粒度、选择数据仓库模型等.基于四川交通职业技术学院信息化建设现状,由数据集市开始,采用"自底向上"的策略建设数据仓库,是一种可行的方法.最后使用OLAP对学生成绩和收费数据进行了分析.     

位置编码在数据仓库ETL中的应用

为了保证数据仓库中数据的质量，在数据挖掘前必须进行数据清洗。ETL是构建数据仓库的重要环节，数据清洗就包含在其中。而检测和消除数据仓库中的相似重复记录是数据清洗和提高数据质量要解决的关键问题之一。该文将位置编码技术引入到数据仓库ETL中，提出了一种相似重复记录的检测算法，并给出了不同级别匹配阈值的动态确定方法。通过实验表明该算法具有较好的检测效果。     

对于数据仓库和数据挖掘的理解

数据仓库与数据挖掘是当今新的技术热点,数据仓库是一种解决数据使用的高效技术,数据挖掘为之提供更好的决策支持和服务,同时促进数据仓库技术的发展。主要介绍这两者的概念、应用,以及它们之间的关系。     

对于数据仓库和数据挖掘的理解

数据仓库与数据挖掘是当今新的技术热点,数据仓库是一种解决数据使用的高效技术,数据挖掘为之提供更好的决策支持和服务,同时促进数据仓库技术的发展。主要介绍这两者的概念、应用,以及它们之间的关系。     

ECAS数据仓库中数据集成的相关问题

数据仓库越来越广泛地应用于企业决策分析 ,从传统的操作型数据库集成数据是创建数据仓库必不可少的一步。结合宝钢能源部能源分析及成本分析系统 (ECAS)数据仓库 ,介绍了建立数据仓库时从不同的数据源抽取数据、清洗数据的相关问题。     

数据仓库的多维数据模型的研究

多维数据模型是数据仓库和联机分析处理研究中的一个重要问题,该文根据电力负荷数据集的特点,提出了一种新模型,解决不同维公用一个底层层次属性,把系统中不完全的低粒度数据集和完全的粗粒度数据集在逻辑上无缝地结合起来支持联机分析处理的问题,这是其他多维数据模型所没有解决的。