基于Native-XML数据库的数据共享及交换技术的研究

介绍了Native-XML数据库,提出了基于Native-XML数据库的数据共享及交换模型.该模型采用XML作为中间数据格式来实现异构数据源的数据转换,利用JMS作为消息传递工具, 实现了模型核心组件异构数据解析组件,并利用XML:DB API实现了Native-XML数据库对数据的处理模块.     

DTS组件在实现数据仓库中数据转换的应用

DTS是一个强大而且灵活的数据库迁移工具,它能够实现各种异构数据源的数据转换.本文通过一个数据仓库实例,说明如何利用DTS将原始的业务数据源加载到数据仓库中,重点说明运用DTS中的ActiveX脚本语言转换数据.     

数据转换工具在黄金地勘信息系统中的设计与应用

在使用数据库的过程中,经常需要将不同类型数据库中的数据或者相同数据库类型不同数据源中的数据转换到指定数据库中,实现数据的传递和共享.详细论述了一种实现数据转换的方法,该方法弥补了SQL Server数据库的DTS工具在数据转换过程中存在的局限,并通过该方法实现了黄金地勘信息系统数据在武警黄金各单位之间的共享.     

数据仓库的填充与访问

数据仓库是连接底层数据源与上层应用的枢纽。该文介绍了数据仓库的填充(与数据源的连接)和数据仓库的访问(与应用界面的连接)技术,包括与数据库数据源和非数据库数据源的连接以及采用组件工具访问数据仓库的方式和实现方法。     

基于XML的异构地籍数据映射技术及实现

在当前地籍数据管理中,存在着诸多如数据库平台异构,数据库设计不统一等问题。采用XML语言,在国家地籍数据库标准的基础上,设计了一套数据获取工具,尝试解决了来自异构数据源的信息之间的关系冲突,并通过网络实现了异构地籍数据提取,并以此构建了国家地籍数据网上汇交系统。     

基于文件的数据集设计方法及其应用

针对文件数据源的数据应用程序开发问题,分析归纳了C Builder最新数据库数据存取技术特点,探讨了多种情形下数据集和文件间数据存取的实现方法,并以某文件数据源数据库的开发为例,介绍了ClientDataSet数据集存取文件数据的应用实现。     

基于PB实现多数据源通用数据转换工具

本文介绍了使用PB开发的多数据源通用数据转换工具,具体讲述了用OLE自动化处理word文档,excel表格等数据的方法,用ODBCAPI实现通用数据库连接接口的技巧,以及用动态PIPELINE(数据管道)实现数据转换的细节。     

基于DirectShow的ETL工具的设计

ETL工具从异构数据源抽取数据,并将数据清洗、规范化后装载入数据仓库.数据源的多样性及数据集的复杂性为ETL工具的设计提出了挑战.本文设计并实现了一种基于微软DirectShow技术的ETL工具框架,使用通用数据访问接口屏蔽数据源的差异.将转换图的概念引入ETL工具的设计中,灵活应对复杂的ETL转换.     

基于数据库网关技术的ETL工具设计

数据仓库面对的是一个分布的数据环境,在这种环境中,存在多结点、异构的数据源.针对这一问题,本文介绍了使用数据库网关技术、元数据驱动的ETL(抽取、转换、装载)工具设计,实现多结点、异构数据访问以及异构数据之间的转换.     

面向混合数据源的企业数据库私有云设计

针对混合数据源的采集、集成和应用问题,提出一种面向混合数据源的数据库私有云设计,针对混合数据源的不同结构化程度,将数据源分成结构化、半结构化和非结构化;针对混合数据源不同的不同时序特点,数据库私有云设计定时采集和实时采集两种采集方式;为了提高混合数据源的存取效率,数据库私有云将非结构化和半结构化数据存储在分布式文件系统,将结构化数据存储在分布式数据库;针对混合数据源的大数据应用需求,数据库私有云的计算层由数据仓库、实时数据处理、机器学习和数据查询服务组成;数据库私有云通过服务使能系统辅助用户开发具体应用程序,通过服务管理系统管理和监控这些具体应用程序。数据库私有云设计可以有效提供企业采集、集成和应用混合数据源的效率和效益。     

基于ETL技术的银行绩效考核系统的设计与实现

阐述ETL技术在某银行绩效考核系统中的设计与实现,在该系统中运用了改进的ETL架构,自行开发设计ETL工具,在ETL过程中通过增加中间文件服务器和临时数据库,把ETL的3个过程独立开来,达到提高数据抽取、转换和装载的效率,同时降低ETL代码编写的复杂度,减轻目标数据库的压力.     

基于Oracle的企业异构数据流整合

以某生产制造型企业信息化工作为背景，针对企业信息化的一个瓶颈——异构数据集成问题，研究了一种低成本的数据移植方法，设计了一种新的专用ETL数据抽取工具，提出了企业最终建立数据仓库的关键技术。并通过从MySQL数据库向Oracle数据库移植数据为实例，成功验证了这种方法和工具的有效性。     

教学管理数据仓库ETL过程的设计与实现

本文设计了教学管理数据仓库ETL架构,提出了数据仓库的两段迁移法,利用临时数据库来减轻业务数据库压力,有效克服了传统ETL架构的缺陷。本文还详细说明如何利用SQL Server DTS实现这两阶段ETL过程。     

教学管理数据仓库ETL过程的设计与实现

本文设计了教学管理数据仓库ETL架构,提出了数据仓库的两段迁移法,利用临时数据库来减轻业务数据库压力,有效克服了传统ETL架构的缺陷.本文还详细说明如何利用SQL ServerDTS实现这两阶段ETL过程.     

A generic and customizable framework for the design of ETL scenarios

Extraction–transformation–loading (ETL) tools are pieces of software responsible for the extraction of data from several sources, their cleansing, customization and insertion into a data warehouse. In this paper, we delve into the logical design of ETL scenarios and provide a generic and customizable framework in order to support the DW designer in his task. First, we present a metamodel particularly customized for the definition of ETL activities. We follow a workflow-like approach, where the output of a certain activity can either be stored persistently or passed to a subsequent activity. Also, we employ a declarative database programming language, LDL, to define the semantics of each activity. The metamodel is generic enough to capture any possible ETL activity. Nevertheless, in the pursuit of higher reusability and flexibility, we specialize the set of our generic metamodel constructs with a palette of frequently used ETL activities, which we call templates. Moreover, in order to achieve a uniform extensibility mechanism for this library of built-ins, we have to deal with specific language issues. Therefore, we also discuss the mechanics of template instantiation to concrete activities. The design concepts that we introduce have been implemented in a tool, arktos ii, which is also presented.     

一种分布式 ETL 工具的设计与实现

传统的ETL工具有集中执行、对服务器性能要求高等缺点,针对这些缺点,本文提出了一种基于Hadoop的分布式ETL系统。该系统在分布式文件系统基础上,利用相应的数据过滤器和Hadoop强大的并行处理能力,实现了集群分布式执行ETL流程。该分布式ETL系统具有较高的可扩展性和吞吐效率,同时能够自动实现负载均衡,执行效率高。     

数据仓库与ETL技术在超市中的应用研究

该文介绍了ETL的概念,分析了ETL在数据仓库中的应用,并介绍了一个ETL工具及其应用实例。通过利用ETL工具,可以将数据提取、清理、转换再加载到数据仓库。     

ETL在水路客运行业项目中的应用

通过讨论数据提取、转换、加载(ETL)技术在上海水路客运票务系统项目中的实践应用，说明了ETL技术的特点、本质及其重要性。其中，ETL的具体应用包括数据查找、变更以及维护。采用ETL技术可以使数据库系统完全分离，大大减轻了数据汇总查询对实时票务系统的负荷，提高了查询分析速度。     

基于元数据驱动的ETL架构设计

ETL(Extract-Transform-Load)是数据仓库获得高质量数据的重要环节,一个设计良好、功能强大的ETL工具对于构建一个数据质量、结构良好的数据仓库有着重要意义。首先分析了传统ETL架构的局限性以及元数据管理对ETL过程的重要性,然后对传统的ETL架构进行改进,结合元数据管理思想,提出并设计了一种新的基于元数据驱动的ETL架构。结果表明,该ETL架构通过增加数据中转区并使整个ETL过程在元数据的指导下进行,有效保证了数据仓库的数据质量,提高了数据装载的效率,减轻了数据源和目标数据库的压力,增加了数据转换的灵活性和可靠性。     

基于OLE DB的数据抽取、转换和装入工具的设计与实现

本文讨论了如何利用 OL E DB接口设计与实现数据 ETL工具 .按照面向对象的开发方法 ,通过 COM技术实现 OL E DB接口和 DTS接口 ,能够迅速地实现一个具有良好可扩展性的数据 ETL 工具