ODS中增量ETL过程的CSP模型研究

增量ETL过程的并行化是提高ODS数据实时性的有效途径。结合通信顺序进程理论研究了增量ETL过程模型,形式化分析了增量ETL过程事件在并行环境下执行状态的变换过程,提出了增量ETL过程并行调度算法,解决了增量ETL过程在并行环境下调度策略的问题。应用及实践表明,模型及算法具有源系统负载小、数据的实时性高等特点。     

基于ETL技术的企业信息集成研究

本文研究了数据仓库ETL技术,并将ETL技术运用在企业信息集成过程中。本文以PDM和ERP系统为研究对象,阐述了ETL用于数据集成的方法、过程和集成架构。开发了可视化集成开发ETL工具,利用该工具从PDM系统中获取产品结构数据,实现PDM和ERP系统的数据集成。运用ETL技术能够简化企业信息集成开发,具有低耦合性、易于扩展的特点。     

基于多维数据环境的电力数据中心安全生产分析系统

本文基于多维数据环境设计了电力数据中心安全生产分析系统,统一了数据环境,基于抽取、转换、装载获取了高质业务数据,提供了以业务数据为载体的多维分析能力.通过熟悉了解电力企业安全生产业务,利用ODS、数据仓库(DW)、数据集市技术(DM)、ETL技术等,实现了安全生产分析系统.同时基于多维数据环境进行了系统测试,结果表明系统的ETL与BI实现都成功通过了电力企业真实业务数据严格测试,且运行稳定性与可靠性良好,与实际需要明确相符.     

面向数据仓库的ETL工具的研究与实现

阐述了ETL工具在数据仓库系统的建设过程中所处的重要地位,提出了一个基于工作流引擎的ETL系统设计。系统实现一个轻量级的工作流引擎作为ETL流程的调度中心,利用元数据保存记录ETL流程的信息,创建基于数据库引擎的ETL操作组件库来完成从数据源到数据目标的数据映射,并初步实现了对大数据环境数据抽取的支持,从而构建了一个具有良好可扩展性和开放性的ETL系统。     

中小型金融机构数据平台建设研究

在现代金融机构日常的经营活动中,大量的高质量数据被用于各金融机构业务流程运转、决策支持、风险管理、绩效考核等管理决策过程中。为了使这些数据更好地加以利用,构建一套行之有效的数据平台体系尤为重要和迫切。从分析国内金融机构数据平台建设的发展概况和经验出发,以中小型金融机构数据平台建设实践为例,构建了基于ETL数据处理,以源系统、ODS、FSD到目标系统金融数据集成过程为核心的金融机构数据平台,实际应用效果显著。     

数据集成的应用

继系统集成、应用集成、业务集成之后,最头痛的数据集成（Data Integration简称DI）已渐被各大企业纷纷触及。目前国内大多数企业还仅停留在服务于单个系统的多对一架构数据集成,这种架构常见于数据仓库系统,一般服务于企业的商务智能。对于数据集成,大家大都是从ETL启蒙开始的,当时ETL似乎成了数据集成的代名词,     

一种钻井数据仓库ETL系统的设计

随着企业信息化的不断发展,石油单位将数据整合纳入到重点规划中。面对分散在各处的异构数据源进行数据整合并非易事,首先仅靠手工进行脏数据的清洗不但费时费力,质量也难以保证;其次,数据的定期更新也存在困难。ETL系统为数据整合提供了令人满意的解决方案。它可以完成数据抽取、清洗、转换、装载等任务,满足了用户对异构数据源进行整合的需求,也实现了数据的后期更新。笔者对钻井数据仓库ETL系统的设计提出了一种基于元数据的ETL体系结构,并重点设计了数据准备区、ETL管理模块、任务管理模块和元数据管理模块。该工具已在中海油田化学技术专家支持系统中得到应用。     

一种钻井数据仓库ETL系统的设计

随着企业信息化的不断发展,石油单位将数据整合纳入到重点规划中。面对分散在各处的异构数据源进行数据整合并非易事,首先仅靠手工进行脏数据的清洗不但费时费力,质量也难以保证;其次,数据的定期更新也存在困难。ETL系统为数据整合提供了令人满意的解决方案。它可以完成数据抽取、清洗、转换、装载等任务,满足了用户对异构数据源进行整合的需求,也实现了数据的后期更新。笔者对钻井数据仓库ETL系统的设计提出了一种基于元数据的ETL体系结构,并重点设计了数据准备区、ETL管理模块、任务管理模块和元数据管理模块。该工具已在中海油田化学技术专家支持系统中得到应用。     

点击流数据仓库中的ETL设计

ETL是构建数据仓库过程中极其重要的部分,点击流数据仓库无论在体系结构上,维表与事实表设计上,还是点击流的抽取、转换和装载机制上,都比传统的数据仓库要复杂的多。本文以ETL基本原理出发,构造ETL体系结构,着重分析点击流数据仓库的ETL技术,进行数据抽取,数据转换,以及数据装载的ETL设计,为ETL系统的开发和ETL技术的应用提供了依据。     

公共数据中心的ETL系统设计与实现

ETL过程是构建数据仓库的重要步骤。大多数现有ETL系统在数据量较大时处理效率偏低。根据ETL在公共数据中心的实际应用改进了原有的ETL结构。鉴于公共数据保密性的特点,设计了数据不同的获取方式;在设置数据转换规则的过程中结合相应领域知识,保证数据质量;前置机之间实行负载均衡,同时把数据转换的不同步骤分配到两台ETL服务器来完成,保证抽取和转换效率。通过实验证明了该ETL系统具有较好的效率。     

ETL过程的思考

ETL是构建数据仓库的一个非常重要的环节,可以这样认为:ETL就是整个数据仓库系统乃至整个决策支持系统的基石。如何设计高效的ETL过程就成为了众多计划或正在实施数据仓库项目的企业考虑的重要问题。从前期的数据理解阶段入手,分别讨论了数据的抽取、清洗转换、装载等不同阶段需要考虑的设计问题及相应的解决方案。提出了以数据理解为根基,以清洗转换为中心的设计思想,并给出了具体的实施步骤。     

基于银行数据仓库的ETL系统的设计与实现

ETL技术是创建数据仓库的关键。本文以银行数据仓库项目为背景,设计实现了数据的ETL系统,该系统具有良好的人机交互方式。系统采用时钟触发机制实现了数据的自动抽取过程;使用配置文件增强了系统的灵活性;通过对日志的细化实现了系统的快速恢复;针对海量数据的特点,在数据载入过程中优化了系统性能,提高了系统的运行效率。     

数据中心系统研究与实现

现在有许多ETL工具,其优点是通用、使用比较方便,同时也导致了其性能不能达到最优,而且也不适合大规模的远程数据采集工作。我们根据实际的数据特点和管理要求,设计和实现了一个通用的数据中心系统,以支持企业分布式异构数据的采集。     

数控机床传感器数据分析中ETL系统改进

ETL （Extract-Transform-Load）系统是数控机床传感器数据分析中不可或缺的一个重要组成部分.针对近年来数据量越来越大和实时性要求越来越高的问题,本文对ETL系统中传统的变更数据捕获方案做了改进,设计了适用于该数据的实时数据抽取方案,并详述了整个分布式架构的设计.实验表明,该ETL系统在数控机床传感器数据的实时处理上,具有较高的效率.     

数据仓库ETL任务调度模型研究

数据仓库系统包含众多的抽取-转换-加载(ETL)任务,这些任务具有一定的优先约束关系.在多处理机环境下,如何高效地调度这些ETL任务是构建数据仓库需要研究的重要问题.对此,在对数据仓库ETL任务调度规则进行归纳总结的基础上,以数据仓库总的ETL完成时间最短为目标,建立了数据仓库ETL任务调度模型.同时结合问题的特点,采用同层划分的思想,提出基于同层划分遗传算法求解问题的方法.最后,通过应用实例验证了所建立模型和求解算法的可行性和有效性.     

数据ETL研究与展望

数据ETL(Data Extraction,Transformation and Loading)主要用来实现异构多数据源的数据集成,是数据仓库、数据挖掘以及商业智能等技术的基石,具有数据抽取、数据转换和数据装载功能。本文综述了ETL发展的背景、目前广泛研究的领域,论述了ETL在异构数据源集成和脏数据的检测与解决两方面面临的挑战,指出ETL将呈现出通用化、高效化、智能化三大发展趋势。     

一种可靠的数据仓库中ETL策略与架构设计

作为数据仓库系统的关键部件,ETL完成数据抽取、清洗、转换和装载的工作,它是构建数据仓库的重要环节,同时也是构建数据仓库过程中出现问题最多的环节,所以针对这点,该文给出了一个可靠的同时易于扩展的ETL策略和架构。文章首先简单地介绍了数据仓库技术和ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位;然后重点介绍了这种ETL的具体策略和架构设计。     

基于电信数据仓库系统的ETL研究与设计

电信行业大都建立了自己的数据仓库系统,而建立数据仓库的最重要环节便是数据的抽取、转换和加载ETL(Extracting、Transformation、Loading).通过对现有ETL系统的分析研究,设计并部分实现了基于某省电信公司数据仓库的ETL系统.采取XML格式编辑整个ETL过程,实现部分图形化交互界面,并针对电信系统大数据量的特点,提出性能优化及改进的方法,提高了ETL效率.     

基于ETL油水井工况宏观控制管理系统的实现

本文以油水井工况宏观控制图管理系统的设计实现为例,对ETL过程中数据清洗、数据多重转换以及应用ETL技术采取B/S/S系统架构进行了分析。提出了应用ETL技术进行数据挖掘改造原有系统时应注意的几个问题。