面向数据质量的ETL框架的设计与实现

针对传统抽取-转换-装载(ETL)架构在数据质量控制方面的不足,提出一种面向数据质量管理的ETL架构.根据ETL过程的特点,设计多数据源接口模块、ETL元数据描述模块、ETL任务描述模块和数据质量控制模块等.该架构以数据质量为核心,通过建立数据分析模型,利用规则推导引擎对数据分析结果生成数据清洗方案,从而有效地对数据流进行质量评估和管理.基于该设计思想开发一个ETL工具-DQETL.DQETL采用统一建模语言进行设计,并提供友好界面对ETL过程进行集中管理.最后,结合实例阐述了在该框架下进行数据质量管理的一般步骤.     

基于工作流引擎的数据仓库工具的构建

本文首先分析数据仓库的概念、特点及体系架构,指出了构建数据仓库ETL工具的必要性,接着对工作流和元数据技术进行介绍和分析,并在对数据仓库ETL工具分析的基础上,提出了构建基于工作流引擎和元数据驱动的数据仓库ETL工具的解决方案.     

基于数据质量监管的ETL设计

设计一个具有灵活性和可扩展性的ETL架构,对ETL架构进行灵活改进,把数据质量管理引入到ETL架构中,尝试以此提高数据仓库的数据质量,并提高ETL.流程的性能.     

结构图ETL概念模型的设计方法

ETL过程是数据仓库获得高质量数据的重要环节,是任何数据仓库工程不可缺少的成功因素。为了便于ETL过程的设计和维护,降低ETL过程的设计、维护代价,提出一种基于结构图的ETL概念模型设计方法,给出一个用于描述ETL过程的模型,并基于CWM完成用以存储元数据的ETL元模型的设计。通过图形化ETL过程中的元素和关联,该模型清晰直观地反映了各个源数据库与目标数据仓库的内部结构和组成、数据的来源与流向、源数据和目标数据之间的映射和转换关系,辅助设计人员更好地进行ETL过程的设计和编码实现,使整个ETL的设计与维护过程更加方便、灵活、有效。     

面向数据仓库的ETL工具的研究与实现

阐述了ETL工具在数据仓库系统的建设过程中所处的重要地位,提出了一个基于工作流引擎的ETL系统设计。系统实现一个轻量级的工作流引擎作为ETL流程的调度中心,利用元数据保存记录ETL流程的信息,创建基于数据库引擎的ETL操作组件库来完成从数据源到数据目标的数据映射,并初步实现了对大数据环境数据抽取的支持,从而构建了一个具有良好可扩展性和开放性的ETL系统。     

高校财务项目管理系统的数据仓库的设计

数据仓库系统是存储大量历史数据供分析和对决策进行支持的系统,本文详细描述了在高校财务项目管理系统的基础上建立和维护数据仓库的过程,包括数据仓库模型设计、异构数据的转换、数据冗余、汇总数据存储等数据仓库设计过程和数据的抽取、转换和加载（ETL）以及元数据管理等维护过程,并简单地介绍了数据仓库在OLAP方面的应用。     

数据仓库的建立与维护的一个实例

本文描述了在学校学生管理系统的基础上建立和维护数据仓库的过程,包括数据仓库模型设计、异构数据的转换、数据冗余、汇总数据存储等数据仓库设计过程和数据的抽取、转换和加载(ETL)以及元数据管理等维护过程,并简单地介绍了数据仓库在OLAP方面的应用。     

应用元数据开发数据映射辅助工具

数据映射在数据仓库项目中扮演十分重要的角色,它是ETL开发的前提条件,也是ETL开发过程中详细设计的一部分。本文在中国太平洋保险公司（CPIC）建设企业数据仓库（EDW）的项目背景下对企业数据仓库中的元数据应用作了研究,记述一个简单的元数据驱动的数据映射工具的开发过程,以说明元数据对数据集成工具开发的重要性。     

应用元数据开发数据映射辅助工具

数据映射在数据仓库项目中扮演十分重要的角色,它是ETL开发的前提条件,也是ETL开发过程中详细设计的一部分。本文在中国太平洋保险公司(CPIC)建设企业数据仓库(EDW)的项目背景下对企业数据仓库中的元数据应用作了研究,记述一个简单的元数据驱动的数据映射工具的开发过程,以说明元数据对数据集成工具开发的重要性。     

一种标准的ETL的设计思想及其实现

元数据在数据仓库系统中占据着十分重要的地位,其中存放着许多重要的信息,尤其是对于数据仓库的ETL过程,可以说是ETL的指挥中心。提出了以CWM元数据模型标准为基础来开发标准的ETL的设计思想,并描述了具体的开发步骤。     

数据仓库在港航决策中的设计与实现

数据仓库是支持决策的有效技术。首先设计了支持港航决策的数据仓库．给出了港航业数据仓库的体系结构、决策主题域、多维数据模型。然后制定了针对港航数据的抽取规则，并使用ETL工具，将数据抽取、转换、加载到数据仓库中，对该设计进行了工程实现。最后利用展现工具对该数据仓库的OLAP功能进行了检验。     

SETL: A programmable semantic extract-transform-load framework for semantic data warehouses

In order to create better decisions for business analytics, organizations increasingly use external structured, semi-structured, and unstructured data in addition to the (mostly structured) internal data. Current Extract-Transform-Load (ETL) tools are not suitable for this “open world scenario” because they do not consider semantic issues in the integration processing. Current ETL tools neither support processing semantic data nor create a semantic Data Warehouse (DW), a repository of semantically integrated data. This paper describes our programmable Semantic ETL (SETL) framework. SETL builds on Semantic Web (SW) standards and tools and supports developers by offering a number of powerful modules, classes, and methods for (dimensional and semantic) DW constructs and tasks. Thus it supports semantic data sources in addition to traditional data sources, semantic integration, and creating or publishing a semantic (multidimensional) DW in terms of a knowledge base. A comprehensive experimental evaluation comparing SETL to a solution made with traditional tools (requiring much more hand-coding) on a concrete use case, shows that SETL provides better programmer productivity, knowledge base quality, and performance.     

公安领域数据仓库体系结构研究

公安领域各个应用系统的存储数据是分布式和异构的,而传统的知识发现系统和数据仓库建立在同质数据源基础上,并不能满足公安领域知识发现的需要.因此,构建公安领域的数据仓库体系结构是在公安领域成功应用知识发现技术的关键.在综合考虑数据仓库传统构建策略的基础上,将公安部门分布式、异构数据库同社会其它相关部门数据仓库融合在起来,提出了一种联合数据仓库体系结构,该体系结构支持跨数据集市访问,更加符合公安领域知识发现对数据信息的实际需求.     

一个专用ETL程序的实现

设计开发了应用于粮食行业数据仓库的ETL(Extract-Transform-Load)程序,支持关系数据库数据源和文本格式数据源。在对比分析了打时间戳、扫描增量文件、扫描日志、修改应用代码、“前”“后”映像文件比较五种数据增量方法后,用基于主键的记录比较的方法实现了数据的增量更新。ETL支持表的分拆和合并,弥补了数据仓库建模工具的不足,已在粮食行业管理信息与决策支持系统中得到应用。     

一种元数据驱动的ETL方法的研究

数据仓库研究中最重要的问题之一是对ETL方法的研究.本研究提出ETL工具是元数据驱动的,以提供更好的柔性机制、扩展能力和可操作性.本文给出了一种基于SQL的元数据驱动的ETL方法的设计和实现细节,并且以国家海洋环境数据仓库为例,证明了这种方法的高效性.     

基于数据仓库的一种通用ETL工具的设计与实现

通过对基于数据仓库的ETL过程进行的研究,提出了一种通用ETL过程的解决方案,为企业管理者的决策过程提供了有力支持,同时给出了一套完整的系统体系架构。     

基于元数据的数据交换系统任务模型

ETL包含数据的抽取、转换、加载三个部分,是构建数据仓库的重要环节。为解决异构数据源集成问题,本文提出了基于元数据的数据交换系统,并在该基础上阐述了数据交换系统中的任务设计模型和任务调度模型。最后介绍了数据交换系统中的主要算法以及设计模式。     

基于数据库网关技术的ETL工具设计

数据仓库面对的是一个分布的数据环境,在这种环境中,存在多结点、异构的数据源.针对这一问题,本文介绍了使用数据库网关技术、元数据驱动的ETL(抽取、转换、装载)工具设计,实现多结点、异构数据访问以及异构数据之间的转换.