半结构化数据装载到数据仓库的设计与实现*

通过分析半结构化数据的特点,以实际的采购退货数据（BokeDataInfo ．xml）为例,利用DOM 对象对基于XML的半结构化的数据进行抽取,设计并实现了一个基于半结构数据的数据仓库ETL工具,解决了商用ETL工具不能直接加载抽取XM L文件进行数据仓库数据加载的弊端,为XM L半结构化数据的抽取并装载到数据仓库当前细节级中的这一问题的解决进行了有益的探索。     

一种改进的分布式ETL体系结构

在分析了分布式数据仓库数据一致性维护的重要性,以及目前分布式ETL(Extract,transform and load)中存在问题的基础上,针对传统ETL体系结构对分布式数据仓库一致性维护的不足,提出一种新的分布式ETL的体系结构ETLM,并详细描述了数据一致性维护模块(M模块)的设计与实现。ETLM的体系结构免去了分布式数据仓库需要专门进行一致性维护的额外负担,可以更加正确、快捷、高效地支持OLAP。     

基于元数据驱动的ETL架构设计

ETL(Extract-Transform-Load)是数据仓库获得高质量数据的重要环节,一个设计良好、功能强大的ETL工具对于构建一个数据质量、结构良好的数据仓库有着重要意义。首先分析了传统ETL架构的局限性以及元数据管理对ETL过程的重要性,然后对传统的ETL架构进行改进,结合元数据管理思想,提出并设计了一种新的基于元数据驱动的ETL架构。结果表明,该ETL架构通过增加数据中转区并使整个ETL过程在元数据的指导下进行,有效保证了数据仓库的数据质量,提高了数据装载的效率,减轻了数据源和目标数据库的压力,增加了数据转换的灵活性和可靠性。     

基于Hadoop平台的分布式ETL系统设计与实现

为了解决传统的抽取、转换和加栽工具处理数据仓库中海量数据的效率问题,设计并实现了基于Hadoop平台的分布式ETL系统。详细的探讨了渐变维度、雪花维度、大维度数据和事实数据的并行处理。实验结果表明,与Hive数据仓库相比,该分布式ETL系统在并行处理数据仓库中海量数据的问题上,具有更高的效率和扩展性。     

一种可靠的数据仓库中ETL策略与架构设计

作为数据仓库系统的关键部件,ETL完成数据抽取、清洗、转换和装载的工作,它是构建数据仓库的重要环节,同时也是构建数据仓库过程中出现问题最多的环节,所以针对这点,该文给出了一个可靠的同时易于扩展的ETL策略和架构。文章首先简单地介绍了数据仓库技术和ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位;然后重点介绍了这种ETL的具体策略和架构设计。     

点击流数据仓库中的ETL设计

ETL是构建数据仓库过程中极其重要的部分,点击流数据仓库无论在体系结构上,维表与事实表设计上,还是点击流的抽取、转换和装载机制上,都比传统的数据仓库要复杂的多。本文以ETL基本原理出发,构造ETL体系结构,着重分析点击流数据仓库的ETL技术,进行数据抽取,数据转换,以及数据装载的ETL设计,为ETL系统的开发和ETL技术的应用提供了依据。     

数据仓库与ETL技术在超市中的应用研究

该文介绍了ETL的概念,分析了ETL在数据仓库中的应用,并介绍了一个ETL工具及其应用实例。通过利用ETL工具,可以将数据提取、清理、转换再加载到数据仓库。     

基于电信数据仓库系统的ETL研究与设计

电信行业大都建立了自己的数据仓库系统,而建立数据仓库的最重要环节便是数据的抽取、转换和加载ETL(Extracting、Transformation、Loading).通过对现有ETL系统的分析研究,设计并部分实现了基于某省电信公司数据仓库的ETL系统.采取XML格式编辑整个ETL过程,实现部分图形化交互界面,并针对电信系统大数据量的特点,提出性能优化及改进的方法,提高了ETL效率.     

增量ETL过程中对删除数据实现装载的设计

使用ETL过程将数据源数据装载到数据仓库,大多数时候是向数据仓库中追加数据,但有时也需要删除一些数据,以维持数据仓库中数据的正确性.文章结合Oracle ETL工具的装载特点提出了一种对增量数据进行预处理的方法,以实现有删除数据的ETL装载,并给出了具体的设计.     

ETL过程的思考

ETL是构建数据仓库的一个非常重要的环节,可以这样认为:ETL就是整个数据仓库系统乃至整个决策支持系统的基石。如何设计高效的ETL过程就成为了众多计划或正在实施数据仓库项目的企业考虑的重要问题。从前期的数据理解阶段入手,分别讨论了数据的抽取、清洗转换、装载等不同阶段需要考虑的设计问题及相应的解决方案。提出了以数据理解为根基,以清洗转换为中心的设计思想,并给出了具体的实施步骤。     

: towards the modeling, design, control and execution of ETL processes

Extraction-Transformation-loading (ETL) tools are pieces of software responsible for the extraction of data from several sources, their cleansing, customization and insertion into a data warehouse. Literature and personal experience have guided us to conclude that the problems concerning the ETL tools are primarily problems of complexity, usability and price. To deal with these problems we provide a uniform metamodel for ETL processes, covering the aspects of data warehouse architecture, activity modeling, contingency treatment and quality management. The ETL tool we have developed, namely , is capable of modeling and executing practical ETL scenarios by providing explicit primitives for the capturing of common tasks. provides three ways to describe an ETL scenario: a graphical point-and-click front end and two declarative languages: XADL (an XML variant), which is more verbose and easy to read and SADL (an SQL-like language) which has a quite compact syntax and is, thus, easier for authoring.     

: towards the modeling, design, control and execution of ETL processes

Extraction-Transformation-loading (ETL) tools are pieces of software responsible for the extraction of data from several sources, their cleansing, customization and insertion into a data warehouse. Literature and personal experience have guided us to conclude that the problems concerning the ETL tools are primarily problems of complexity, usability and price. To deal with these problems we provide a uniform metamodel for ETL processes, covering the aspects of data warehouse architecture, activity modeling, contingency treatment and quality management. The ETL tool we have developed, namely , is capable of modeling and executing practical ETL scenarios by providing explicit primitives for the capturing of common tasks. provides three ways to describe an ETL scenario: a graphical point-and-click front end and two declarative languages: XADL (an XML variant), which is more verbose and easy to read and SADL (an SQL-like language) which has a quite compact syntax and is, thus, easier for authoring.     

数据仓库中ETL技术的研究

作为数据仓库的关键部件,支持数据抽取、清洗、转换和装载的工具集对任何数据仓库工程都是一个必不可少的成功因素。该文简单介绍了ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位以及现有的研究成果,然后重点介绍了ETL的具体设计和实现方法。     

E T L综述

阐述了ETL在创建数据仓库过程中的重要地位；分析了整个ETL流程，把它分为数据源验证、数据源改造、一般性变换、装载目标表和数据聚合5个阶段。最后分析了ETL产品现状、现有ETL产品的功能特点，以及今后ETL产品的发展趋势。     

一种基于缓存的并发ETL数据流程处理框架

ETL(Extraction-Transformation-Loader)是企业内部和企业间信息资源交换和共享的关键技术。随着企业数据量的剧增,如何提高数据处理能力和执行效率成为ETL需要解决的难题之一。提出一个基于缓存的并发ETL数据流程处理框架,该框架使用基于组件分类的缓存复用技术来降低内存消耗和数据拷贝次数;同时使用一种并发的数据处理流程调度执行策略,该策略具有任务、流水线、数据处理多粒度并行的特点。该方法已在网驰平台ONCE DQ实现并得到验证。     

公共数据中心的ETL系统设计与实现

ETL过程是构建数据仓库的重要步骤。大多数现有ETL系统在数据量较大时处理效率偏低。根据ETL在公共数据中心的实际应用改进了原有的ETL结构。鉴于公共数据保密性的特点,设计了数据不同的获取方式;在设置数据转换规则的过程中结合相应领域知识,保证数据质量;前置机之间实行负载均衡,同时把数据转换的不同步骤分配到两台ETL服务器来完成,保证抽取和转换效率。通过实验证明了该ETL系统具有较好的效率。     

数据仓库中ETL技术的探讨与实践

支持数据抽取、转换、清洗和装载的工具集对任何数据仓库工程都是一个必不可少的关键部件。本文重点探讨了ETL技术以及ETL工具的选择原则,并结合具体实例详细介绍了ETL过程的设计和实现方法。     

应用元数据开发数据映射辅助工具

数据映射在数据仓库项目中扮演十分重要的角色,它是ETL开发的前提条件,也是ETL开发过程中详细设计的一部分。本文在中国太平洋保险公司（CPIC）建设企业数据仓库（EDW）的项目背景下对企业数据仓库中的元数据应用作了研究,记述一个简单的元数据驱动的数据映射工具的开发过程,以说明元数据对数据集成工具开发的重要性。     

应用元数据开发数据映射辅助工具

数据映射在数据仓库项目中扮演十分重要的角色,它是ETL开发的前提条件,也是ETL开发过程中详细设计的一部分。本文在中国太平洋保险公司(CPIC)建设企业数据仓库(EDW)的项目背景下对企业数据仓库中的元数据应用作了研究,记述一个简单的元数据驱动的数据映射工具的开发过程,以说明元数据对数据集成工具开发的重要性。     

基于ETL油水井工况宏观控制管理系统的实现

本文以油水井工况宏观控制图管理系统的设计实现为例,对ETL过程中数据清洗、数据多重转换以及应用ETL技术采取B/S/S系统架构进行了分析。提出了应用ETL技术进行数据挖掘改造原有系统时应注意的几个问题。