基于ETL的金融数据集成过程模型

为了将频繁产生的分布在世界各地的金融数据按需地高性能集成,提出了基于ETL(extract-transform-load)的金融数据集成过程模型.对规则引擎原理进行了研究,建立了基于业务转换规则的插件式扩展实现可复用可定制的业务转换过程.利用事件驱动的交互模型和元数据映射保证非结构化和半结构化数据之间无差异集成,采用增量式数据处理解决数据集成中棘手的性能问题.通过实践项目的验证,对比传统数据集成方法和该过程模型,验证了该过程模型的有效性.     

基于ETL的校园数据集成技术研究

针对目前校园由于缺乏统一的数据规划导致各应用系统数据标准不一致,难以共享使用,出现了一个个的"信息孤岛"的现象,ETL通过建立底层数据交换平台来联系各个异构系统、应用、数据源,实现无缝共享和交换数据的需要。     

基于ETL的校园数据集成技术研究

针对目前校园由于缺乏统一的数据规划导致各应用系统数据标准不一致,难以共享使用,出现了一个个的“信息孤岛”的现象,ETL通过建立底层数据交换平台来联系各个异构系统、应用、数据源,实现无缝共享和交换数据的需要。     

数据仓库中ETL技术的研究

作为数据仓库的关键部件,支持数据抽取、清洗、转换和装载的工具集对任何数据仓库工程都是一个必不可少的成功因素。该文简单介绍了ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位以及现有的研究成果,然后重点介绍了ETL的具体设计和实现方法。     

基于DirectShow的ETL工具的设计

ETL工具从异构数据源抽取数据,并将数据清洗、规范化后装载入数据仓库.数据源的多样性及数据集的复杂性为ETL工具的设计提出了挑战.本文设计并实现了一种基于微软DirectShow技术的ETL工具框架,使用通用数据访问接口屏蔽数据源的差异.将转换图的概念引入ETL工具的设计中,灵活应对复杂的ETL转换.     

ETL架构研究

ETL(Extract、Transform、Loading)是企业数据中心(EDC)建设过程中必不可少的、最重要的环节。传统的采集模式中,整个ETL过程在一起被顺序的执行,这样对于有许多采集点(数据源)来说降低了工作效率,同时也增加了ETL的编写难度。本文提出一种新的ETL方式,通过增加中间层——临时数据存储区,把ETL的三个过程拆开,形成三个独立的服务进程,采集服务进程、装载服务进程和转换服务进程,达到提升数据抽取、转换和装载的效率,同时降低ETL代码编写的复杂度。     

数据仓库中ETL技术的探讨与实践

支持数据抽取、转换、清洗和装载的工具集对任何数据仓库工程都是一个必不可少的关键部件。本文重点探讨了ETL技术以及ETL工具的选择原则,并结合具体实例详细介绍了ETL过程的设计和实现方法。     

面向数据质量的ETL框架的设计与实现

针对传统抽取-转换-装载(ETL)架构在数据质量控制方面的不足,提出一种面向数据质量管理的ETL架构.根据ETL过程的特点,设计多数据源接口模块、ETL元数据描述模块、ETL任务描述模块和数据质量控制模块等.该架构以数据质量为核心,通过建立数据分析模型,利用规则推导引擎对数据分析结果生成数据清洗方案,从而有效地对数据流进行质量评估和管理.基于该设计思想开发一个ETL工具-DQETL.DQETL采用统一建模语言进行设计,并提供友好界面对ETL过程进行集中管理.最后,结合实例阐述了在该框架下进行数据质量管理的一般步骤.     

基于移动行业的ETL方法及策略探讨

基于移动行业的数据仓库，对数据抽取、数据转换、数据装载和数据审计的方法和策略进行了探讨，这些方法和策略对其他行业数据仓库的构建具有借鉴作用。     

基于规则引擎的数据清洗

以往的数据清洗研究存在以下缺陷：检测和修复动作要么使用灵活性差的硬编码,要么依靠灵活却低效的人工判断。该文提出了一个使用规则来描述清洗逻辑,使用规则引擎来执行清洗逻辑,从而能够处理各种数据质量问题的数据清洗架构REBDCA,解决了该问题。展示了REBDCA和一个ETL工具的集成,测试了REBDCA的性能,并和用硬编码完成相同逻辑的方案进行了性能对比。     

数字化校园建设中ETL技术实现数据集成

学校各部门的业务系统在发挥重要作用的同时,由于各个系统之间拥有各自的数据存储与访问方式,彼此独立,形成了一个个信息孤岛。该文结合我院数字化校园建设过程中的具体实践,通过对数据集成技术的研究,选择合理的数据集成方案,解决了各部门业务系统之间的数据互通问题,保障了数据的权威性、唯一性、完整性和准确性,创造出一个良好的数据环境。     

零售业数据仓库中ETL技术的研究

数据仓库中的数据不是传统数据库中数据的简单堆积,它是一个复杂的容纳数据集成的系统工程,为决策者提供访问、分析及共享信息的能力,从而发挥数据仓库的真正功效。本文针对于零售业,阐述了在零售业数据仓库系统中ETL的流程并结合实际应用提出了在零售业数据仓库系统中的ETL过程应考虑的诸多问题及解决方案。     

数据仓库系统中JMELT工具的设计与实现

改进传统ETL数据抽取工具的技术复杂,抽取效率低等方面不足,设计实现了一种新的数据抽取工具——JMELT抽取工具,并简单介绍了JMELT工具的关键技术及其功能实现,并对工具的有效性作了验证。     

信息系统中的通用数据迁移工具的研究与设计

数据迁移是信息系统在升级时常遇到的问题,本文重点介绍了使用Java与XML实现异构数据库间的数据迁移,解决数据转换过程中的数据异构性。数据迁移分为数据抽取、数据转换与数据载入三个过程。同时引入XML技术实现了抽取和转换规则的定义,使得数据迁移具备良好的通用性和可扩展性。     

异构数据交换中关键技术研究

异构数据库间的数据交互日益频繁,可扩展标记语言逐步展现了其在数据存储、数据交换等领域的显著优势,迅速成为数据格式标准.该文阐明了一种基于XML的异构数据交换方法,描述了关系型数据库关系模式到XML Schema模式的转换方法,并建立了数据转换的公共数据模型.     

基于增强ETL过程的大数据策略研究

大数据不仅意味着大机遇,同样带来了大噪声。因此,任何具有价值的大数据策略都必须给出滤除噪音,同时对真正相关的数据进行有效且高效的处理和解决办法。该文分析了大数据背景下企业的数据策略和现有IT解决方案中存在的问题,提出通过优化ETL过程来增强早期数据整合的解决方案,以提高企业大数据策略的成本收益。     

基于XML的异构数据集成模式的研究

随着信息技术的发展,任何一个独立单位都有可能成为一个异构的数据源。为实现企业异构数据库间信息的共享和集成,对数据集成的原理以及主要技术进行了研究,重点分析了 XML 与数据库之间的映射、XML 文档存储模式、将 XML 查询转化为 SQL 的查询转换问题以及如何将关系数据发布为 XML 文档。该方案简单易行,保证了各系统仍然按照原来的方式运行,只是在需要进行信息交换时通过转换接口把本地数据库数据转换成 XML 文档即可。     

基于数据仓库的ETL过程优化

提出一种优化ETL整体过程的方法,包括：其一,针对现有ETL过程的局限性提出一个优化其整体流程的框架EICLF（Extracting/Integrating/Cleaning/Loading/Feedback）流程;其二,对现有相似重复记录的识别算法进行改进;其三,根据清理后得到的干净数据对源数据进行反馈处理。     

数据映射技术在ETL过程中的应用

为了使ETL系统能够高效的实现任意异构数据库之间的数据转换,需要通用的元模型支撑任意数据库之间数据转换元数据的定制。通过对数据转换中数据映射应用技术分析,重点对数据映射进行了抽象研究,定义数据映射的详细分类、基于数据映射关系的数据转换元数据描述形式,并构建支撑数据转换元数据定制的元模型,技术在中国石油数据中心大型数据迁移中应用,取得良好效果。     

A New ETL Approach Based on Data Virtualization

ETL (Extract-Transform-Load) usually includes three phases: extraction, transformation, and loading. In building data warehouse, it plays the role of data injection and is the most time-consuming activ...