共查询到18条相似文献,搜索用时 93 毫秒
1.
一种可靠的数据仓库中ETL策略与架构设计 总被引:18,自引:0,他引:18
作为数据仓库系统的关键部件,ETL完成数据抽取、清洗、转换和装载的工作,它是构建数据仓库的重要环节,同时也是构建数据仓库过程中出现问题最多的环节,所以针对这点,该文给出了一个可靠的同时易于扩展的ETL策略和架构。文章首先简单地介绍了数据仓库技术和ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位;然后重点介绍了这种ETL的具体策略和架构设计。 相似文献
2.
数据仓库中ETL技术的研究 总被引:43,自引:0,他引:43
作为数据仓库的关键部件,支持数据抽取、清洗、转换和装载的工具集对任何数据仓库工程都是一个必不可少的成功因素。该文简单介绍了ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位以及现有的研究成果,然后重点介绍了ETL的具体设计和实现方法。 相似文献
3.
ETL技术在商业智能中的应用 总被引:2,自引:0,他引:2
ETL过程是整个商业智能系统实施的关键,因为商业智能中数据的正确性和有效性需要ETL过程来保证。同时,整个商业智能系统开发中70%左右的时间和工作量都花费在ETL过程的设计和实施上。本文分析了商业智能系统的基本架构.总结了商业智能系统中ETL设计的基本原则,阐述了商业智能系统中ETL设计的基本步骤,列举了ETL设计中的关键以及笔者积累的相关经验,对从事ETL设计的人员有一定的参考价值。 相似文献
4.
5.
6.
本文研究了数据仓库ETL技术,并将ETL技术运用在企业信息集成过程中。本文以PDM和ERP系统为研究对象,阐述了ETL用于数据集成的方法、过程和集成架构。开发了可视化集成开发ETL工具,利用该工具从PDM系统中获取产品结构数据,实现PDM和ERP系统的数据集成。运用ETL技术能够简化企业信息集成开发,具有低耦合性、易于扩展的特点。 相似文献
7.
ETL过程是构建数据仓库的重要步骤。大多数现有ETL系统在数据量较大时处理效率偏低。根据ETL在公共数据中心的实际应用改进了原有的ETL结构。鉴于公共数据保密性的特点,设计了数据不同的获取方式;在设置数据转换规则的过程中结合相应领域知识,保证数据质量;前置机之间实行负载均衡,同时把数据转换的不同步骤分配到两台ETL服务器来完成,保证抽取和转换效率。通过实验证明了该ETL系统具有较好的效率。 相似文献
8.
设计一个具有灵活性和可扩展性的ETL架构,对ETL架构进行灵活改进,把数据质量管理引入到ETL架构中,尝试以此提高数据仓库的数据质量,并提高ETL.流程的性能. 相似文献
9.
10.
基于元数据驱动的ETL架构设计 总被引:1,自引:0,他引:1
ETL(Extract-Transform-Load)是数据仓库获得高质量数据的重要环节,一个设计良好、功能强大的ETL工具对于构建一个数据质量、结构良好的数据仓库有着重要意义。首先分析了传统ETL架构的局限性以及元数据管理对ETL过程的重要性,然后对传统的ETL架构进行改进,结合元数据管理思想,提出并设计了一种新的基于元数据驱动的ETL架构。结果表明,该ETL架构通过增加数据中转区并使整个ETL过程在元数据的指导下进行,有效保证了数据仓库的数据质量,提高了数据装载的效率,减轻了数据源和目标数据库的压力,增加了数据转换的灵活性和可靠性。 相似文献
11.
Panos Vassiliadis Zografoula Vagena Spiros Skiadopoulos Nikos Karayannidis Timos Sellis 《Information Systems》2001,26(8):537-561
Extraction-Transformation-loading (ETL) tools are pieces of software responsible for the extraction of data from several sources, their cleansing, customization and insertion into a data warehouse. Literature and personal experience have guided us to conclude that the problems concerning the ETL tools are primarily problems of complexity, usability and price. To deal with these problems we provide a uniform metamodel for ETL processes, covering the aspects of data warehouse architecture, activity modeling, contingency treatment and quality management. The ETL tool we have developed, namely
, is capable of modeling and executing practical ETL scenarios by providing explicit primitives for the capturing of common tasks.
provides three ways to describe an ETL scenario: a graphical point-and-click front end and two declarative languages: XADL (an XML variant), which is more verbose and easy to read and SADL (an SQL-like language) which has a quite compact syntax and is, thus, easier for authoring. 相似文献
12.
Panos Vassiliadis Zografoula Vagena Spiros Skiadopoulos Nikos Karayannidis Timos Sellis 《Information Systems》2001,26(8)
Extraction-Transformation-loading (ETL) tools are pieces of software responsible for the extraction of data from several sources, their cleansing, customization and insertion into a data warehouse. Literature and personal experience have guided us to conclude that the problems concerning the ETL tools are primarily problems of complexity, usability and price. To deal with these problems we provide a uniform metamodel for ETL processes, covering the aspects of data warehouse architecture, activity modeling, contingency treatment and quality management. The ETL tool we have developed, namely
, is capable of modeling and executing practical ETL scenarios by providing explicit primitives for the capturing of common tasks.
provides three ways to describe an ETL scenario: a graphical point-and-click front end and two declarative languages: XADL (an XML variant), which is more verbose and easy to read and SADL (an SQL-like language) which has a quite compact syntax and is, thus, easier for authoring. 相似文献
13.
于千城 《数字社区&智能家居》2008,3(11):786-788
数据映射在数据仓库项目中扮演十分重要的角色,它是ETL开发的前提条件,也是ETL开发过程中详细设计的一部分。本文在中国太平洋保险公司(CPIC)建设企业数据仓库(EDW)的项目背景下对企业数据仓库中的元数据应用作了研究,记述一个简单的元数据驱动的数据映射工具的开发过程,以说明元数据对数据集成工具开发的重要性。 相似文献
14.
YU Qian-cheng 《数字社区&智能家居》2008,(31)
数据映射在数据仓库项目中扮演十分重要的角色,它是ETL开发的前提条件,也是ETL开发过程中详细设计的一部分。本文在中国太平洋保险公司(CPIC)建设企业数据仓库(EDW)的项目背景下对企业数据仓库中的元数据应用作了研究,记述一个简单的元数据驱动的数据映射工具的开发过程,以说明元数据对数据集成工具开发的重要性。 相似文献
15.
16.
数据中心系统研究与实现 总被引:1,自引:0,他引:1
现在有许多ETL工具,其优点是通用、使用比较方便,同时也导致了其性能不能达到最优,而且也不适合大规模的远程数据采集工作。我们根据实际的数据特点和管理要求,设计和实现了一个通用的数据中心系统,以支持企业分布式异构数据的采集。 相似文献
17.
本文以油水井工况宏观控制图管理系统的设计实现为例,对ETL过程中数据清洗、数据多重转换以及应用ETL技术采取B/S/S系统架构进行了分析。提出了应用ETL技术进行数据挖掘改造原有系统时应注意的几个问题。 相似文献