共查询到16条相似文献,搜索用时 46 毫秒
1.
戴子良 《Windows IT Pro Magazine》2006,(6):79-83
本文描述了成功建立企业级数据仓库的基本步骤和所使用的高级技巧。着重介绍了ETL构建企业级数据仓库的五步法.在对数据仓库分析、设计、建模方面提出了完备的解决方案和实用的高级技巧。尤其对数据仓库模型搭建以及ETL处理有非常好的指导意义和使用价值。[编者按] 相似文献
2.
ETL是构建数据仓库的一个非常重要的环节,可以这样认为:ETL就是整个数据仓库系统乃至整个决策支持系统的基石。如何设计高效的ETL过程就成为了众多计划或正在实施数据仓库项目的企业考虑的重要问题。从前期的数据理解阶段入手,分别讨论了数据的抽取、清洗转换、装载等不同阶段需要考虑的设计问题及相应的解决方案。提出了以数据理解为根基,以清洗转换为中心的设计思想,并给出了具体的实施步骤。 相似文献
3.
黄光明 《数字社区&智能家居》2007,(10):37-38
本文设计了教学管理数据仓库ETL架构,提出了数据仓库的两段迁移法,利用临时数据库来减轻业务数据库压力,有效克服了传统ETL架构的缺陷。本文还详细说明如何利用SQL Server DTS实现这两阶段ETL过程。 相似文献
4.
ETL执行过程的优化研究 总被引:2,自引:0,他引:2
提出了一个ETL(Extraction-Transformation-Loading)优化框架并对ETL过程的逻辑优化进行了研究,把优化问题建模成状态空间搜索问题。每个ETL工作流看作一种状态,通过一系列正确的状态变换来构造状态空间,并且提出算法来获得最小执行时间的ETL工作流。理论分析和实践表明其具有良好效果。 相似文献
5.
林昆 《计算技术与自动化》2018,(1):136-140
阐述了ETL工具在数据仓库系统的建设过程中所处的重要地位,提出了一个基于工作流引擎的ETL系统设计。系统实现一个轻量级的工作流引擎作为ETL流程的调度中心,利用元数据保存记录ETL流程的信息,创建基于数据库引擎的ETL操作组件库来完成从数据源到数据目标的数据映射,并初步实现了对大数据环境数据抽取的支持,从而构建了一个具有良好可扩展性和开放性的ETL系统。 相似文献
6.
林海 《数字社区&智能家居》2012,(1X):506-507
该文主要通过研究社保系统数据集成中使用的ETL方法,并结合崂山区社会保险管理系统的现状,提出了采用数据仓库法实现崂山区社保系统的数据集成。重点介绍了社保系统数据集成中ETL的开发。经过验证能够建立统一的、完整的、高质量的社保系统数据仓库。 相似文献
7.
8.
黄光明 《数字社区&智能家居》2007,(19)
本文设计了教学管理数据仓库ETL架构,提出了数据仓库的两段迁移法,利用临时数据库来减轻业务数据库压力,有效克服了传统ETL架构的缺陷.本文还详细说明如何利用SQL ServerDTS实现这两阶段ETL过程. 相似文献
9.
本文首先分析数据仓库的概念、特点及体系架构,指出了构建数据仓库ETL工具的必要性,接着对工作流和元数据技术进行介绍和分析,并在对数据仓库ETL工具分析的基础上,提出了构建基于工作流引擎和元数据驱动的数据仓库ETL工具的解决方案. 相似文献
10.
针对军械装备保障数据仓库中复杂的ETL过程,提出采用改进的粒子群算法进行ETL任务调度的优化策略;通过改进惯性向量,使其具备动态调整能力,形成更具寻优特性的动态w粒子群算法(DWPSO);在对数据仓库ETL调度过程进行数学化描述的基础上,将改进算法应用在以最小执行时间为目标函数任务调度中,并通过仿真实验证明了该算法的有效性. 相似文献
11.
12.
管丽娟 《数字社区&智能家居》2007,1(6):1512-1514
数据ETL(Data Extraction,Transformation and Loading)主要用来实现异构多数据源的数据集成,是数据仓库、数据挖掘以及商业智能等技术的基石,具有数据抽取、数据转换和数据装载功能。本文综述了ETL发展的背景、目前广泛研究的领域,论述了ETL在异构数据源集成和脏数据的检测与解决两方面面临的挑战,指出ETL将呈现出通用化、高效化、智能化三大发展趋势。 相似文献
13.
ETL是建立企业级数据仓库的核心环节,传统ETL受CPU、I/O等系统资源的影响较大,从而影响整个数据仓库运转性能.本文通过建立专家知识库,并在此基础上引入决策树算法,从而动态地调整ETL策略,并取得良好的实践效果,该架构具有一定实用价值. 相似文献
14.
在阐述数据仓库技术的概念、原理、体系结构的基础上,具体描述了面向教育评价应用的数据仓库系统的需求分析、概念模型设计和逻辑模型设计,重点研究了运用Microsoft数据转换工具DTS设计数据迁移包,完成数据由业务数据库到教育评价数据仓库的抽取、转换、清洗和装载的过程。 相似文献
15.
16.
一种元数据驱动的ETL方法的研究 总被引:4,自引:0,他引:4
数据仓库研究中最重要的问题之一是对ETL方法的研究.本研究提出ETL工具是元数据驱动的,以提供更好的柔性机制、扩展能力和可操作性.本文给出了一种基于SQL的元数据驱动的ETL方法的设计和实现细节,并且以国家海洋环境数据仓库为例,证明了这种方法的高效性. 相似文献