ETL在高校信息化建设中的应用与研究

就目前高校信息化建设过程中,进行数据整合时所遇到的典型基本问题,讨论了相应的ETL解决方案。并针对可能出现的数据质量问题,提出了具体的ETL实施策略。     

ETL技术在商业智能中的应用

ETL过程是整个商业智能系统实施的关键,因为商业智能中数据的正确性和有效性需要ETL过程来保证。同时,整个商业智能系统开发中70％左右的时间和工作量都花费在ETL过程的设计和实施上。本文分析了商业智能系统的基本架构．总结了商业智能系统中ETL设计的基本原则,阐述了商业智能系统中ETL设计的基本步骤,列举了ETL设计中的关键以及笔者积累的相关经验,对从事ETL设计的人员有一定的参考价值。     

谈数据仓库建设中的ETL过程

本文介绍了数据仓库建设中的ETL过程,包括ETL的概念、目标以及如何正确实施ETL以保证数据仓库成功。     

一种基于Agent和活动优先度的ETL过程并行方法

ETL是数据仓库获得高质量数据的关键环节,在数据仓库的构建和实施中占有重要地位。针对传统ETL串行执行方式的不足,提出一种基于Agent和活动优先度相结合的ETL并行执行方法。该方法计算ETL执行过程中各个活动的优先度,利用Agent理论和多线程并行计算技术实现并行执行具有相同优先度且相互间没有依赖关系的ETL活动。实验结果表明,该方法在数据量较大时具有较好的加速比,提高了ETL过程的执行效率。     

ETL过程的思考

ETL是构建数据仓库的一个非常重要的环节,可以这样认为:ETL就是整个数据仓库系统乃至整个决策支持系统的基石。如何设计高效的ETL过程就成为了众多计划或正在实施数据仓库项目的企业考虑的重要问题。从前期的数据理解阶段入手,分别讨论了数据的抽取、清洗转换、装载等不同阶段需要考虑的设计问题及相应的解决方案。提出了以数据理解为根基,以清洗转换为中心的设计思想,并给出了具体的实施步骤。     

ETL过程的思考

ETL是构建数据仓库的一个非常重要的环节,可以这样认为:ETL就是整个数据仓库系统乃至整个决策支持系统的基石.如何设计高效的ETL过程就成为了众多计划或正在实施数据仓库项目的企业考虑的重要问题.从前期的数据理解阶段入手,分别讨论了数据的抽取、清洗转换、装载等不同阶段需要考虑的设计问题及相应的解决方案.提出了以数据理解为根基,以清洗转换为中心的设计思想,并给出了具体的实施步骤.     

银行零售贷款风险管理系统分析

在数据仓库项目的实施过程中，ETL是数据仓库的核心和灵魂。它按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程。是实施数据仓库的重要步骤。本文分析了银行贷款风险管理系统的实现。并介绍了ETL部分设计的方法。     

增量ETL过程自动化产生方法的研究

ETL过程用于将数据从数据源装载到数据仓库中,它可以被划分为两种类型:全量ETL过程和增量ETL过程·全量ETL过程只能处理全量数据,但易于设计·而增量ETL过程设计起来比较复杂,但适用于处理增量数据·主要对增量ETL过程的自动化产生方法进行了研究,根据已有的全量ETL过程,可以自动产生增量ETL过程,从而降低设计增量ETL过程的代价·利用已有的物化视图增量维护的方法,给出了根据全量ETL过程自动产生增量ETL过程的方法·但是已有的研究集中在包含选择、投影、联接和聚合运算情况下物化视图的增量维护,未见对包括差运算情况下的讨论·作为研究工作的基础,还详细讨论了包含差运算情况下物化视图的增量维护问题·     

一种面向数据仓库的ETL多层实现策略

正确、有效的ETL（extract～Transform—Load）过程是提高数据仓库数据质量,保证数据分析的基础。在目前商务智能系统的实施中,ETL过程成为项目成败的关键因素。本文以进出口贸易公司数据为例,结合数据仓库存储设计、数据库多重粒度划分,提出一种面向数据仓库的ETL多层实现策略,为有效的进行数据挖掘和决策分析提供有力支撑。     

ETL实践之高效提取DBF数据库

详细介绍了在商业智能（BI）业务的ETL环节中,高效地提取单机系统中的DBF数据库的实践过程。不仅可以了解将单机系统改造成数据中心平台的实践过程,而且能掌握商业智能业务中ETL环节的实施模式和技巧。     

基于结构图的ETL过程建模方法

ETL是数据仓库获得高质量数据的重要环节,在数据仓库建设过程中占有极其重要的地位。为了便于ETL过程的设计、维护和修改,提出一种基于结构图的ETL过程建模方法,并依据该方法完成了ETL概念模型的设计。通过图形化ETL过程中的元素和关联,该模型清晰直观地反映了数据的来源和流向、源数据与目标数据之间的映射和转换关系,辅助设计人员更好地进行ETL过程的设计和ETL过程的编码实现,使整个ETL设计过程更加方便、灵活。     

ETL实施的数据质量问题研究

对数据仓库中数据质量的重要评价指标进行了介绍,对ETL实施时在数据源端和ETL过程中可能面临的数据质量问题进行了分析,对部分常见的数据质量问题给出了相应的解决方法。     

结构图ETL概念模型的设计方法

ETL过程是数据仓库获得高质量数据的重要环节,是任何数据仓库工程不可缺少的成功因素。为了便于ETL过程的设计和维护,降低ETL过程的设计、维护代价,提出一种基于结构图的ETL概念模型设计方法,给出一个用于描述ETL过程的模型,并基于CWM完成用以存储元数据的ETL元模型的设计。通过图形化ETL过程中的元素和关联,该模型清晰直观地反映了各个源数据库与目标数据仓库的内部结构和组成、数据的来源与流向、源数据和目标数据之间的映射和转换关系,辅助设计人员更好地进行ETL过程的设计和编码实现,使整个ETL的设计与维护过程更加方便、灵活、有效。     

ETL实施的数据质量问题研究

对数据仓库中数据质量的重要评价指标进行了介绍，对ETL实施时在数据源端和ETL过程中可能面临的数据质量问题进行了分析．对部分常见的数据质量问题给出了相应的解决方法。     

ODS中增量ETL过程的CSP模型研究

增量ETL过程的并行化是提高ODS数据实时性的有效途径。结合通信顺序进程理论研究了增量ETL过程模型,形式化分析了增量ETL过程事件在并行环境下执行状态的变换过程,提出了增量ETL过程并行调度算法,解决了增量ETL过程在并行环境下调度策略的问题。应用及实践表明,模型及算法具有源系统负载小、数据的实时性高等特点。     

并行ETL过程的研究与实现

文章首先介绍了ETL过程和实现并行ETL过程的意义。结合现有技术对并行ETL过程的设计与实现进行了探讨,归纳了当前实现中需要用到的核心技术。提出了一种利用集群系统和并行管道技术构建并行ETL过程的有效解决方案。     

基于ETL技术的银行绩效考核系统的设计与实现

阐述ETL技术在某银行绩效考核系统中的设计与实现,在该系统中运用了改进的ETL架构,自行开发设计ETL工具,在ETL过程中通过增加中间文件服务器和临时数据库,把ETL的3个过程独立开来,达到提高数据抽取、转换和装载的效率,同时降低ETL代码编写的复杂度,减轻目标数据库的压力.     

元数据驱动ETL的研究

对原始数据的提取、转换、加载(ETL)是数据仓库开发的重要步骤。一个稳定而可靠的ETL系统取决于它的总体设计。在原有ETL基础上,提出了元数据驱动ETL的思想,利用包引擎和SQL引擎以及相关算法,对传统ETL的方法进行改进,目的是提高ETL系统的稳定性和可靠性,使用户通过对元数据的维护来控制ETL的执行过程。     

基于元数据驱动的ETL架构设计

ETL(Extract-Transform-Load)是数据仓库获得高质量数据的重要环节,一个设计良好、功能强大的ETL工具对于构建一个数据质量、结构良好的数据仓库有着重要意义。首先分析了传统ETL架构的局限性以及元数据管理对ETL过程的重要性,然后对传统的ETL架构进行改进,结合元数据管理思想,提出并设计了一种新的基于元数据驱动的ETL架构。结果表明,该ETL架构通过增加数据中转区并使整个ETL过程在元数据的指导下进行,有效保证了数据仓库的数据质量,提高了数据装载的效率,减轻了数据源和目标数据库的压力,增加了数据转换的灵活性和可靠性。     

公共数据中心的ETL系统设计与实现

ETL过程是构建数据仓库的重要步骤。大多数现有ETL系统在数据量较大时处理效率偏低。根据ETL在公共数据中心的实际应用改进了原有的ETL结构。鉴于公共数据保密性的特点,设计了数据不同的获取方式;在设置数据转换规则的过程中结合相应领域知识,保证数据质量;前置机之间实行负载均衡,同时把数据转换的不同步骤分配到两台ETL服务器来完成,保证抽取和转换效率。通过实验证明了该ETL系统具有较好的效率。