元数据驱动ETL的研究

对原始数据的提取、转换、加载(ETL)是数据仓库开发的重要步骤。一个稳定而可靠的ETL系统取决于它的总体设计。在原有ETL基础上,提出了元数据驱动ETL的思想,利用包引擎和SQL引擎以及相关算法,对传统ETL的方法进行改进,目的是提高ETL系统的稳定性和可靠性,使用户通过对元数据的维护来控制ETL的执行过程。     

移动经营分析系统中ETL的分析和设计

文章通过描述ETL原理,对比流行的各种ETL工具,针对移动数据的特点,提出了一种ETL平台的设计思想;指出了ETL平台要重点考虑的功能,并在ETL建设原则的指导下,结合移动业务实际分析和设计移动ETL平台,解决了移动ETL过程的瓶颈问题,在运行效率,日常开发和维护的方便性,应用扩展的灵活性方面得到大大的提高。     

分布式ETL负载均衡策略研究

在分析分布式ETL中负载均衡重要性的基础上,针对传统ETL应用于分布式数据仓库中效率低的缺陷,提出一种根据ETL节点所抽取的数据类型不同对分布式ETL节点抽取的数据进行分割的策略,以及一种新的负载均衡模型—链网模型和Routers相结合的R-CN模型。在此基础上提出一种基于ETL数据分片和R-CN模型相结合的分布式ETL节点负载调度和均衡策略。此策略使ETL节点的数据处理能力有了很大的提高,有效地提高了分布式ETL的效率。     

点击流数据仓库中的ETL设计

ETL是构建数据仓库过程中极其重要的部分,点击流数据仓库无论在体系结构上,维表与事实表设计上,还是点击流的抽取、转换和装载机制上,都比传统的数据仓库要复杂的多。本文以ETL基本原理出发,构造ETL体系结构,着重分析点击流数据仓库的ETL技术,进行数据抽取,数据转换,以及数据装载的ETL设计,为ETL系统的开发和ETL技术的应用提供了依据。     

增量ETL过程自动化产生方法的研究

ETL过程用于将数据从数据源装载到数据仓库中,它可以被划分为两种类型:全量ETL过程和增量ETL过程·全量ETL过程只能处理全量数据,但易于设计·而增量ETL过程设计起来比较复杂,但适用于处理增量数据·主要对增量ETL过程的自动化产生方法进行了研究,根据已有的全量ETL过程,可以自动产生增量ETL过程,从而降低设计增量ETL过程的代价·利用已有的物化视图增量维护的方法,给出了根据全量ETL过程自动产生增量ETL过程的方法·但是已有的研究集中在包含选择、投影、联接和聚合运算情况下物化视图的增量维护,未见对包括差运算情况下的讨论·作为研究工作的基础,还详细讨论了包含差运算情况下物化视图的增量维护问题·     

基于结构图的ETL过程建模方法*

ETL是数据仓库获得高质量数据的重要环节,在数据仓库建设过程中占有极其重要的地位。为了便于ETL过程的设计、维护和修改,提出一种基于结构图的ETL过程建模方法,并依据该方法完成了ETL概念模型的设计。通过图形化ETL过程中的元素和关联,该模型清晰直观地反映了数据的来源和流向、源数据与目标数据之间的映射和转换关系,辅助设计人员更好地进行ETL过程的设计和ETL过程的编码实现,使整个ETL设计过程更加方便、灵活。     

结构图ETL概念模型的设计方法

ETL过程是数据仓库获得高质量数据的重要环节,是任何数据仓库工程不可缺少的成功因素。为了便于ETL过程的设计和维护,降低ETL过程的设计、维护代价,提出一种基于结构图的ETL概念模型设计方法,给出一个用于描述ETL过程的模型,并基于CWM完成用以存储元数据的ETL元模型的设计。通过图形化ETL过程中的元素和关联,该模型清晰直观地反映了各个源数据库与目标数据仓库的内部结构和组成、数据的来源与流向、源数据和目标数据之间的映射和转换关系,辅助设计人员更好地进行ETL过程的设计和编码实现,使整个ETL的设计与维护过程更加方便、灵活、有效。     

E T L综述

阐述了ETL在创建数据仓库过程中的重要地位；分析了整个ETL流程，把它分为数据源验证、数据源改造、一般性变换、装载目标表和数据聚合5个阶段。最后分析了ETL产品现状、现有ETL产品的功能特点，以及今后ETL产品的发展趋势。     

数据仓库与ETL技术在超市中的应用研究

该文介绍了ETL的概念,分析了ETL在数据仓库中的应用,并介绍了一个ETL工具及其应用实例。通过利用ETL工具,可以将数据提取、清理、转换再加载到数据仓库。     

面向数据仓库的ETL工具的研究与实现

阐述了ETL工具在数据仓库系统的建设过程中所处的重要地位,提出了一个基于工作流引擎的ETL系统设计。系统实现一个轻量级的工作流引擎作为ETL流程的调度中心,利用元数据保存记录ETL流程的信息,创建基于数据库引擎的ETL操作组件库来完成从数据源到数据目标的数据映射,并初步实现了对大数据环境数据抽取的支持,从而构建了一个具有良好可扩展性和开放性的ETL系统。     

ETL技术在商业智能中的应用

ETL过程是整个商业智能系统实施的关键,因为商业智能中数据的正确性和有效性需要ETL过程来保证。同时,整个商业智能系统开发中70％左右的时间和工作量都花费在ETL过程的设计和实施上。本文分析了商业智能系统的基本架构．总结了商业智能系统中ETL设计的基本原则,阐述了商业智能系统中ETL设计的基本步骤,列举了ETL设计中的关键以及笔者积累的相关经验,对从事ETL设计的人员有一定的参考价值。     

基于元数据驱动的ETL架构设计

ETL(Extract-Transform-Load)是数据仓库获得高质量数据的重要环节,一个设计良好、功能强大的ETL工具对于构建一个数据质量、结构良好的数据仓库有着重要意义。首先分析了传统ETL架构的局限性以及元数据管理对ETL过程的重要性,然后对传统的ETL架构进行改进,结合元数据管理思想,提出并设计了一种新的基于元数据驱动的ETL架构。结果表明,该ETL架构通过增加数据中转区并使整个ETL过程在元数据的指导下进行,有效保证了数据仓库的数据质量,提高了数据装载的效率,减轻了数据源和目标数据库的压力,增加了数据转换的灵活性和可靠性。     

基于MapReduce的分布式ETL体系结构研究

针对传统ETL工具集中式执行方式的不足,提出了一种基于MapReduce的分布式ETL体系结构——M DETL(MapReduce Distributed ETL).该体系结构采用MapReduce并发处理海量数据的并行编程模型,结合分布式ETL的集群运算方法,实现了集群分布式执行ETL流程,从而提高了整个ETL系统的灵活性和吞吐率,并具有较好的可扩展性和负载平衡性能,提高了执行效率.     

谈数据仓库建设中的ETL过程

本文介绍了数据仓库建设中的ETL过程,包括ETL的概念、目标以及如何正确实施ETL以保证数据仓库成功。     

基于ETL技术的银行绩效考核系统的设计与实现

阐述ETL技术在某银行绩效考核系统中的设计与实现,在该系统中运用了改进的ETL架构,自行开发设计ETL工具,在ETL过程中通过增加中间文件服务器和临时数据库,把ETL的3个过程独立开来,达到提高数据抽取、转换和装载的效率,同时降低ETL代码编写的复杂度,减轻目标数据库的压力.     

并行ETL过程的研究与实现

文章首先介绍了ETL过程和实现并行ETL过程的意义。结合现有技术对并行ETL过程的设计与实现进行了探讨,归纳了当前实现中需要用到的核心技术。提出了一种利用集群系统和并行管道技术构建并行ETL过程的有效解决方案。     

基于数据质量监管的ETL设计

设计一个具有灵活性和可扩展性的ETL架构,对ETL架构进行灵活改进,把数据质量管理引入到ETL架构中,尝试以此提高数据仓库的数据质量,并提高ETL.流程的性能.     

一种基于Agent和活动优先度的ETL过程并行方法

ETL是数据仓库获得高质量数据的关键环节,在数据仓库的构建和实施中占有重要地位。针对传统ETL串行执行方式的不足,提出一种基于Agent和活动优先度相结合的ETL并行执行方法。该方法计算ETL执行过程中各个活动的优先度,利用Agent理论和多线程并行计算技术实现并行执行具有相同优先度且相互间没有依赖关系的ETL活动。实验结果表明,该方法在数据量较大时具有较好的加速比,提高了ETL过程的执行效率。     

公共数据中心的ETL系统设计与实现

ETL过程是构建数据仓库的重要步骤。大多数现有ETL系统在数据量较大时处理效率偏低。根据ETL在公共数据中心的实际应用改进了原有的ETL结构。鉴于公共数据保密性的特点,设计了数据不同的获取方式;在设置数据转换规则的过程中结合相应领域知识,保证数据质量;前置机之间实行负载均衡,同时把数据转换的不同步骤分配到两台ETL服务器来完成,保证抽取和转换效率。通过实验证明了该ETL系统具有较好的效率。     

一种可靠的数据仓库中ETL策略与架构设计

作为数据仓库系统的关键部件,ETL完成数据抽取、清洗、转换和装载的工作,它是构建数据仓库的重要环节,同时也是构建数据仓库过程中出现问题最多的环节,所以针对这点,该文给出了一个可靠的同时易于扩展的ETL策略和架构。文章首先简单地介绍了数据仓库技术和ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位;然后重点介绍了这种ETL的具体策略和架构设计。