数据仓库中的数据提取

数据仓库的思想和工具在企业中得到了越来越广泛的体现和应用,在当前典型的数据仓库应用中,数据仓库的填充或者说数据的提取,转换和加载是设计人员遇到的最大挑战之一,预计在数据仓库的设计过程中,80％的努力都将用于此过程。该文从工程角度介绍了数据提取、转换和加载的过程和实现方式,并介绍了4种可灵活应用的数据提取方法。     

数据仓库中的数据集成转换

本文首先提出了数据仓库中数据集成的一个总体框架，然后列举了在数据转换中可能遇到的主要问题，最后根据这些转换规则，给出了一种描述性脚本语言来描述这些规则，继而给相应的处理模块解析处理。     

数据仓库中异构数据的转换

在大多数信息管理中都存在模式和数据转换，且都是单独被研究。相信有统一机制，将中间件看成是转换引擎，并且讨论在什么时候进行转换如何进行转换。     

面向客户数据仓库的数据集成方法

数据集成问题是建立数据仓库过程中的重要问题之一，而客户资料又是其中最难以集成的数据，对于该问题目前还没有一个很好的解决方法。我们总结在实际实践中取得的经验，提出了一套切实可行的解决方案，同时兼顾了集成效率和准确率两方面因素，实际应用效果比较理想。     

数据仓库的数据提取方法

数据提取是数据仓库系统中的重要任务，本文探讨了使用增量表正确进行数据提取的三个实用的方法：表锁定法，时间戳法和增量表轮转法。其中，着重对增量表轮转法进行论述，并给出用视图实现的具体方法。     

基于政务数据仓库的数据集成及关键技术

政府机关网络中的数据集成是进行数据挖掘的准备阶段，这一阶段需要以行政决策为依据来抽取和集成数据并导入数据仓库。文章根据政府机关网络中已有数据的特点和数据挖掘过程中对数据的要求，详细讨论了构建数据集成的对象模型的方法、运用元数据库来实现致务数据仓库的数据集成的途径、使用对象模型来实施异构数据集成的关键技术。     

ECAS数据仓库中数据集成的相关问题

数据仓库越来越广泛地应用于企业决策分析 ,从传统的操作型数据库集成数据是创建数据仓库必不可少的一步。结合宝钢能源部能源分析及成本分析系统 (ECAS)数据仓库 ,介绍了建立数据仓库时从不同的数据源抽取数据、清洗数据的相关问题。     

基于共享数据库的多数据源集成

鉴于企业和单位规模不断扩大、业务需求的不断更新，为能够进行更好的管理和决策分析．对于多数据源的集成需求越来越迫切。文中介绍了共享数据库模型，指出了它与数据仓库以及传统操作型数据库之间的差异。还讨论了基于共享数据库的多数据源集成问题，阐述了在数据源集成过程中解决模式冲突、处理异常数据的方法。对共享数据库中数据更新的方法和时机做了简要论述。     

数据仓库与数据发掘的应用

本文介绍了数据仓库的基本概念、特征以及创建数据仓库的方法及关键问题 论述了数据发掘的目的、一般过程及与此相关的一些技术。最后分析了当前市场上数据仓库和数据发掘工具产品的发展现状。     

基于XML技术的数据集成解决方案的研究与应用

企业为了提高相互之间的合作程度以及自身的竞争力，常常需要将企业内部或者企业之间的应用系统进行集成，数据集成作为系统集成的基础，它的成功与否直接影响到系统集成的成败，文章首先提出了一种基于XML技术的数据集成解决方案，研究了XML技术在数据整合与交换方面的原理与实现，然后结合它在“银保”合作中的应用，说明了基于XML技术的数据集成解决方案在实际应用中的可行性和优势。     

数据仓库构建过程中数据整合技术的研究

在分析数据仓库及数据整合技术的相关理论基础上,综合当前主要的数据整合技术的优缺点,提出了一种结合物化视图、日志等技术的数据整合技术方案,并将该方案应用于业务综合管理系统中,取得了较好的效果。     

数据仓库的填充与访问

数据仓库是连接底层数据源与上层应用的枢纽。该文介绍了数据仓库的填充(与数据源的连接)和数据仓库的访问(与应用界面的连接)技术,包括与数据库数据源和非数据库数据源的连接以及采用组件工具访问数据仓库的方式和实现方法。     

数据仓库在异构数据库集成中的应用

信息系统存在大量的异构数据库,如何集成异构数据库、解决信息孤岛现象是一个难题。本文给出了异构数据库的集成方案,提出了从异构数据库抽取和转换数据的新方法,提出了ODBC用于数据抽取过程的思路,提出了数据转换规则集的概念并用于数据转换过程中。利用数据仓库技术来集成异构数据库是一个理想的解决方案。     

企业数据整合与数据仓库设计

目前企业的数据资源可能已经很丰富,但是各系统之间数据不能相互连通。企业决策层组织需要看到的是一个企业跨职能部门的统一的数据联合展现和挖掘,所以需要构建数据仓库。数据仓库的构建过程主要包括：划分主题域、进行事实表和粒度分析、维度设计、元数据设计、数据库物理设计以及性能调优。     

生物数据仓库研究及应用

文章通过分析生物数据源和数据处理的特点,提出了采用综合的集成和管理策略的生物数据仓库框架,并在此基础上实现了一个面向疾病的基因数据仓库平台BioWorld,并且为生物数据挖掘、联机查询、统计分析等提供了统一的接口。     

基于数据仓库的供应链信息集成

信息集成是实现供应链应用的基础和关键技术之一,文章提出利用数据仓库技术实现供应链中信息集成的方法。首先对数据仓库的基本概念和设计方法进行了详细的介绍,并举例说明在供应链中建立数据仓库模型的设计方法。进一步基于数据仓库模型解决了供应链信息集成中物流、资金流、信息流的三流集成、企业信息门户、关键性能指标KPI监控和分析等重要问题。     

面向钻井工程的数据仓库解决方案研究

随着钻井工程信息数据的海量增加,各级部门都建立了钻井数据库。由于各个部门和系统在业务与数据关联上缺少总体规划和设计协调,这些数据库从某种程度上形成了一个个的“信息孤岛”,所以迫切需要一种集数据集成、管理、分析、辅助决策为一体的数据仓库解决方案,为数据的共享和综合性研究应用提供支持。文章通过对钻井工程数据的分析和信息技术的调研,提出了面向钻井工程的数据仓库解决方案,即一种基于本体论的钻井数据集成方法,在一定程度上解决了钻井数据多源异构的问题。钻井数据仓库的研究和开发,为不同层次和部门的工程管理及技术人员的决策分析提供了强大的数据库支撑,为实现信息化、科学化决策打下了基础。     

数据仓库中数据抽取技术的研究与应用

以煤矿系统为背景,利用DTS工具和.NET Remote框架,分析、设计并实现了一种由数据源端发起的数据抽取方法。该方法可将分散在不同地理位置上的操作型数据源加载到数据仓库中,并且考虑了抽取过程中可能遇到的系统故障和网络故障问题,具有较高的健壮性。     

Oracle物化视图在数据仓库中的应用

在数据仓库的开发中,随着业务数据量的剧增以及其数据量增加的不稳定性,如何使用一种合适的方式来实现ETL(数据的抽取,转换,装载)成为在数据仓库开发中最需要考虑的热点。本文介绍一种可以实现数据仓库ETL的技术——Oracle物化试图,并以作者在数据仓库开发实践作为例子,具体说明Oracle物化试图的实现方法。     

一种评估数据仓库设计质量的方法

数据仓库（Data Warehouse,DW）是支持决策管理过程的、面向主题的、集成的、随时间而变的、持久的数据集合,它集成了源数据库（Database,DB）和其他平面文件系统的相关数据,以支持决策管理活动。数据仓库结构是一个多维模型,主要分星形、雪花星和星座形三种。有别于传统关系型数据库的设计,数据库仓库的设计往往以数据作为驱动,其设计的好坏,直接影响了数据仓库系统的建设与应用。文中提出了一种评估数据仓库设计质量的定量分析方法,主要是量化了和数据仓库有血缘关系的数据源的相关质量指标,就是通过分析所选取的表和属性两方面的数据质量（Data Quality,DQ）指标,最终联合这些指标以计算数据仓库设计质量的评估值。其中,分析数据源相关质量指标的过程,也可以支持数据库仓库的设计。