谈数据仓库建设中的ETL过程

本文介绍了数据仓库建设中的ETL过程,包括ETL的概念、目标以及如何正确实施ETL以保证数据仓库成功。     

基于数据仓库的ETL过程优化

提出一种优化ETL整体过程的方法,包括：其一,针对现有ETL过程的局限性提出一个优化其整体流程的框架EICLF（Extracting/Integrating/Cleaning/Loading/Feedback）流程;其二,对现有相似重复记录的识别算法进行改进;其三,根据清理后得到的干净数据对源数据进行反馈处理。     

教学管理数据仓库ETL过程的设计与实现

本文设计了教学管理数据仓库ETL架构,提出了数据仓库的两段迁移法,利用临时数据库来减轻业务数据库压力,有效克服了传统ETL架构的缺陷。本文还详细说明如何利用SQL Server DTS实现这两阶段ETL过程。     

一种决策树算法在数据仓库ETL中的应用与研究

ETL是建立企业级数据仓库的核心环节,传统ETL受CPU、I/O等系统资源的影响较大,从而影响整个数据仓库运转性能.本文通过建立专家知识库,并在此基础上引入决策树算法,从而动态地调整ETL策略,并取得良好的实践效果,该架构具有一定实用价值.     

教学管理数据仓库ETL过程的设计与实现

本文设计了教学管理数据仓库ETL架构,提出了数据仓库的两段迁移法,利用临时数据库来减轻业务数据库压力,有效克服了传统ETL架构的缺陷.本文还详细说明如何利用SQL ServerDTS实现这两阶段ETL过程.     

数据仓库建模与ETL实践技巧

本文描述了成功建立企业级数据仓库的基本步骤和所使用的高级技巧。着重介绍了ETL构建企业级数据仓库的五步法．在对数据仓库分析、设计、建模方面提出了完备的解决方案和实用的高级技巧。尤其对数据仓库模型搭建以及ETL处理有非常好的指导意义和使用价值。[编者按]     

ETL执行的流水线优化

ETL工具是构建和维护数据仓库的基本构件，由于它处理的是海量数据．如何有效地加快响应时间成为值得研究的问题．本文提出了ETL过程的“主表衍生”模式．并针对这种模式采用流水线算法来提高并行性从而加快ETL过程的响应时间，理论分析和实验表明具有好的效果．     

数据仓库与ETL技术在超市中的应用研究

该文介绍了ETL的概念,分析了ETL在数据仓库中的应用,并介绍了一个ETL工具及其应用实例。通过利用ETL工具,可以将数据提取、清理、转换再加载到数据仓库。     

一种钻井数据仓库ETL系统的设计

随着企业信息化的不断发展,石油单位将数据整合纳入到重点规划中。面对分散在各处的异构数据源进行数据整合并非易事,首先仅靠手工进行脏数据的清洗不但费时费力,质量也难以保证;其次,数据的定期更新也存在困难。ETL系统为数据整合提供了令人满意的解决方案。它可以完成数据抽取、清洗、转换、装载等任务,满足了用户对异构数据源进行整合的需求,也实现了数据的后期更新。笔者对钻井数据仓库ETL系统的设计提出了一种基于元数据的ETL体系结构,并重点设计了数据准备区、ETL管理模块、任务管理模块和元数据管理模块。该工具已在中海油田化学技术专家支持系统中得到应用。     

一种钻井数据仓库ETL系统的设计

随着企业信息化的不断发展,石油单位将数据整合纳入到重点规划中。面对分散在各处的异构数据源进行数据整合并非易事,首先仅靠手工进行脏数据的清洗不但费时费力,质量也难以保证;其次,数据的定期更新也存在困难。ETL系统为数据整合提供了令人满意的解决方案。它可以完成数据抽取、清洗、转换、装载等任务,满足了用户对异构数据源进行整合的需求,也实现了数据的后期更新。笔者对钻井数据仓库ETL系统的设计提出了一种基于元数据的ETL体系结构,并重点设计了数据准备区、ETL管理模块、任务管理模块和元数据管理模块。该工具已在中海油田化学技术专家支持系统中得到应用。     

零售业数据仓库中ETL技术的研究

数据仓库中的数据不是传统数据库中数据的简单堆积,它是一个复杂的容纳数据集成的系统工程,为决策者提供访问、分析及共享信息的能力,从而发挥数据仓库的真正功效。本文针对于零售业,阐述了在零售业数据仓库系统中ETL的流程并结合实际应用提出了在零售业数据仓库系统中的ETL过程应考虑的诸多问题及解决方案。     

基于数据仓库的一种通用ETL工具的设计与实现

通过对基于数据仓库的ETL过程进行的研究,提出了一种通用ETL过程的解决方案,为企业管理者的决策过程提供了有力支持,同时给出了一套完整的系统体系架构。     

数据仓库实现中ETL的应用研究

通过外贸业务分析决策系统的实现,探讨在数据仓库项目应用过程中,如何针对来自不同应用系统、不同数据平台、不同数据源形式的源数据系统存在的数据质量的差异性、缺乏一致性等问题,设计较好的ETL(Extract, Transform, Load)过程解决方案,将数据从源数据系统中抽取、转换成数据仓库需要的格式和统一数据类型,并正确加载到数据仓库中,为决策支持系统的实现提供高质量的基础数据.     

数据仓库中ETL技术的研究

作为数据仓库的关键部件,支持数据抽取、清洗、转换和装载的工具集对任何数据仓库工程都是一个必不可少的成功因素。该文简单介绍了ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位以及现有的研究成果,然后重点介绍了ETL的具体设计和实现方法。     

ETL实施的数据质量问题研究

对数据仓库中数据质量的重要评价指标进行了介绍，对ETL实施时在数据源端和ETL过程中可能面临的数据质量问题进行了分析．对部分常见的数据质量问题给出了相应的解决方法。     

ETL实施的数据质量问题研究

对数据仓库中数据质量的重要评价指标进行了介绍,对ETL实施时在数据源端和ETL过程中可能面临的数据质量问题进行了分析,对部分常见的数据质量问题给出了相应的解决方法。     

ETL过程的思考

ETL是构建数据仓库的一个非常重要的环节,可以这样认为:ETL就是整个数据仓库系统乃至整个决策支持系统的基石。如何设计高效的ETL过程就成为了众多计划或正在实施数据仓库项目的企业考虑的重要问题。从前期的数据理解阶段入手,分别讨论了数据的抽取、清洗转换、装载等不同阶段需要考虑的设计问题及相应的解决方案。提出了以数据理解为根基,以清洗转换为中心的设计思想,并给出了具体的实施步骤。