基于模型驱动的ETL模型映射方法

针对AP模型的特点,给出元模型中对象的形式化定义,优化模型映射算法,提出一种基于模型驱动、从概念模型到逻辑模型的映射方法。改进后的算法能够映射基于数据抽取-加载-转换（ETL）工作流的单源数据或多源数据,并发执行各状态节点,提高了执行的效率。实验结果表明,该方法为模型驱动式ETL设计及数据集成中快速实现ETL奠定了良好基础。     

数据映射技术在ETL过程中的应用

为了使ETL系统能够高效的实现任意异构数据库之间的数据转换,需要通用的元模型支撑任意数据库之间数据转换元数据的定制。通过对数据转换中数据映射应用技术分析,重点对数据映射进行了抽象研究,定义数据映射的详细分类、基于数据映射关系的数据转换元数据描述形式,并构建支撑数据转换元数据定制的元模型,技术在中国石油数据中心大型数据迁移中应用,取得良好效果。     

面向数据集成的ETL系统设计与实现

ETL是一类用于从一个或多个业务数据库中抽取数据，进行清理转换并加载到数据仓库中的工具。这个数据抽取、转换和加载的过程能够很好地应用于数据集成领域中，实现不同机构之间数据的交换与整合。通过分析数据集成的一些特点，我们提出了一个ETL过程模型，开发了一个面向数据集成的ETL系统DataIntegrator。本文对ETL过程模型、系统总体结构及若干关键技术进行论述。DataIntegrator已经应用于信息系统的建设中，为企业应用集成提供了很好的支持。     

基于领域元模型的PLM-ERP数据集成研究

分析了现有PLM-ERP数据集成方法,提出了一种基于领域元模型的集成PLM-ERP数据的方法.通过领域元模型描述PLM-ERP系统间的元数据映射信息和集成业务规则.领域元模型经过解析和验证后,执行异构数据转换,可以实现PLM-ERP系统交换和共享数据.领域元模型集成方法具有可重用性,减少PLM-ERP数据集成开发工作量,低耦合性、通用性的特点.     

虚拟数据中心的数据映射与数据路由策略研究

数据中心基础数据积累通常使用三种手段:1)ETL技术;2)数据联邦技术;3)中间件技术.但三种技术侧重各有不同,不能同时满足数据集成的持久性与可用性.结合技术优势提出数据虚拟整合,为解决数据虚拟异构数据模型间的数据转换问题,通过对数据虚拟的分析,提出了一种基于元数据驱动的数据虚拟系统体系结构.构建了用于描述和存储映射策略的支撑元模型,并建立了相应数据路由策略.提出了对等主键思想,降低了处理阻抗.     

面向数据质量的ETL框架的设计与实现

针对传统抽取-转换-装载(ETL)架构在数据质量控制方面的不足,提出一种面向数据质量管理的ETL架构.根据ETL过程的特点,设计多数据源接口模块、ETL元数据描述模块、ETL任务描述模块和数据质量控制模块等.该架构以数据质量为核心,通过建立数据分析模型,利用规则推导引擎对数据分析结果生成数据清洗方案,从而有效地对数据流进行质量评估和管理.基于该设计思想开发一个ETL工具-DQETL.DQETL采用统一建模语言进行设计,并提供友好界面对ETL过程进行集中管理.最后,结合实例阐述了在该框架下进行数据质量管理的一般步骤.     

基于ETL的金融数据集成过程模型

为了将频繁产生的分布在世界各地的金融数据按需地高性能集成,提出了基于ETL(extract-transform-load)的金融数据集成过程模型.对规则引擎原理进行了研究,建立了基于业务转换规则的插件式扩展实现可复用可定制的业务转换过程.利用事件驱动的交互模型和元数据映射保证非结构化和半结构化数据之间无差异集成,采用增量式数据处理解决数据集成中棘手的性能问题.通过实践项目的验证,对比传统数据集成方法和该过程模型,验证了该过程模型的有效性.     

社保数据集成系统ETL研究与开发

该文主要通过研究社保系统数据集成中使用的ETL方法,并结合崂山区社会保险管理系统的现状,提出了采用数据仓库法实现崂山区社保系统的数据集成。重点介绍了社保系统数据集成中ETL的开发。经过验证能够建立统一的、完整的、高质量的社保系统数据仓库。     

基于ETL工具的数据集成和交换的研究

数据的集成与交换,对企业的管理和决策意义重大.数据集成和交换必须解决抽取、转换和加载,但过去的异构系统很难实现,从需求分析、系统设计和系统实现3个方面,设计了一种针对数据抽取、转换和装载(Extract、Transform、Load)的ETL工具.根据ETL工具的综合要求,通过结构化分析需求,构建了系统逻辑模型;设计了...     

大数据资源转化中的数据ETL过程研究

大数据无疑将催生创新、改进生产力、提高服务满意度及扩大业务范围,为各行各业提供新的发展机遇、实现价值,给人们日常生活带来方方面面的改变。然而,若不能有效地滤除大数据噪声,企业的业务拓宽、服务改进将成为纸上谈兵。本文研究了大数据背景下企业的数据资源化现状,分析了数据集成对提高企业大数据资源转化的价值,最后讨论了数据集成中起决定性的ETL过程的影响及ETL工具的选取原则。     

: towards the modeling, design, control and execution of ETL processes

Extraction-Transformation-loading (ETL) tools are pieces of software responsible for the extraction of data from several sources, their cleansing, customization and insertion into a data warehouse. Literature and personal experience have guided us to conclude that the problems concerning the ETL tools are primarily problems of complexity, usability and price. To deal with these problems we provide a uniform metamodel for ETL processes, covering the aspects of data warehouse architecture, activity modeling, contingency treatment and quality management. The ETL tool we have developed, namely , is capable of modeling and executing practical ETL scenarios by providing explicit primitives for the capturing of common tasks. provides three ways to describe an ETL scenario: a graphical point-and-click front end and two declarative languages: XADL (an XML variant), which is more verbose and easy to read and SADL (an SQL-like language) which has a quite compact syntax and is, thus, easier for authoring.     

: towards the modeling, design, control and execution of ETL processes

Extraction-Transformation-loading (ETL) tools are pieces of software responsible for the extraction of data from several sources, their cleansing, customization and insertion into a data warehouse. Literature and personal experience have guided us to conclude that the problems concerning the ETL tools are primarily problems of complexity, usability and price. To deal with these problems we provide a uniform metamodel for ETL processes, covering the aspects of data warehouse architecture, activity modeling, contingency treatment and quality management. The ETL tool we have developed, namely , is capable of modeling and executing practical ETL scenarios by providing explicit primitives for the capturing of common tasks. provides three ways to describe an ETL scenario: a graphical point-and-click front end and two declarative languages: XADL (an XML variant), which is more verbose and easy to read and SADL (an SQL-like language) which has a quite compact syntax and is, thus, easier for authoring.     

面向城市基础设施智慧管养的大数据智能融合方法

针对运维大数据维度高、形式多样化和变化迅速等特性,为提高数据融合效率以及平台的数据统计和决策分析性能,降低抽取-转换-加载（ETL）执行时间开销和数据中心负担,面向智慧管养需求提出一种多层次任务调度（MTS）ETL框架（MTS-ETL）。首先,将数据仓库分为数据临时区、数据仓储区、数据分类区和数据分析区,并根据所分区域将完整的ETL过程划分为4个层次的ETL任务调度环节,同时设计了多频率ETL运行调度以及顺序和非顺序两种ETL工作模式;接着,基于MTS-ETL框架的非顺序工作模式进行数据融合的概念建模、逻辑建模和物理建模;最后,利用Pentaho Data Integration设计ETL转换模块和工作模块以实现数据融合方法。在交通流量数据融合实验中,该方法融合136754条数据的时间仅为28.4s;在千量级的数据融合实验中比传统ETL方法的总平均执行时间降低了6.51%;报表分析结果表明其在融合400万条数据时依然能保证ETL过程的可靠性。所提方法能够有效融合运维大数据,提高平台统计分析性能,并维持ETL执行时间开销在较低水平。     

异质数据仓库中数据质量管理研究及实现

异质数据仓库中有大量的数据，并且数据来源复杂，因而数据质量问题成为系统所面临的最大的挑战之一。为了保证企业数据仓库中的数据质量，使数据适合于特定的用途，在分析了异质数据仓库环境下存在的数据质量问题及保证数据质量的重要性之后，给出了衡量数据质量的客观度量指标，最后提出了解决数据质量问题的质量元模型的建模方法以及在此模型基础上进行的数据质量管理控制的应用。经检验，结合控制传输Agent和度量Agent的质量元模型可以有效地帮助设计、维护和管理企业从各种异质数据源所获得的数据，具有很大的现实意义。     

ETL过程的调度控制管理研究

对抽取、转换、装载（extract,transform,load,ETL）过程的元数据、调度控制管理进行研究,着重研究数据处理流程之间的逻辑关系,以及如何依据这些逻辑关系以及关联数据处理流程的执行状态,合理地对数据处理流程进行调度控制。通过研究这些问题,给出了ETL元数据管理、规划管理、执行管理以及异常处理的处理办法,并提出了一套调度控制管理流程。     

A generic and customizable framework for the design of ETL scenarios

Extraction–transformation–loading (ETL) tools are pieces of software responsible for the extraction of data from several sources, their cleansing, customization and insertion into a data warehouse. In this paper, we delve into the logical design of ETL scenarios and provide a generic and customizable framework in order to support the DW designer in his task. First, we present a metamodel particularly customized for the definition of ETL activities. We follow a workflow-like approach, where the output of a certain activity can either be stored persistently or passed to a subsequent activity. Also, we employ a declarative database programming language, LDL, to define the semantics of each activity. The metamodel is generic enough to capture any possible ETL activity. Nevertheless, in the pursuit of higher reusability and flexibility, we specialize the set of our generic metamodel constructs with a palette of frequently used ETL activities, which we call templates. Moreover, in order to achieve a uniform extensibility mechanism for this library of built-ins, we have to deal with specific language issues. Therefore, we also discuss the mechanics of template instantiation to concrete activities. The design concepts that we introduce have been implemented in a tool, arktos ii, which is also presented.