商业银行稽核系统的ETL设计及改进方法

在数据仓库项目的实施中,为了实现整个ETL过程的顺利执行,需要针对单个ETL过程和整个数据流程进行协调调度处理,以保证数据按照我们的转化规则和业务逻辑正确地进入数据仓库.本文介绍某银行稽核系统ETL的设计方法,并给出一些改进的建议.     

三峡库区地质灾害数据仓库的ETL技术研究

结合三峡库区地质灾害数据仓库框架和库区数据的特点,提出了一套地质灾害数据仓库的ETL解决方案,并针对数据抽取、转换、加载等关键技术进行了研究,最后以单体地质灾害（滑坡）为例,说明了地质灾害数据仓库ETL的具体实现过程。     

基于DW的银行客户识别系统的设计与实现

为了识别银行客户并对客户提供差异化、个性化服务,依托工商银行总行现有的企业级数据仓库,在银行个人客户总资产识别方法的基础上对工商银行的客户识别方法进行了改进。提出了新的客户识别方法,设计了省分行数据集市＂两级、三层＂的系统架构,并实现了数据集市模型、ETL和前端展现,解决了以往不能对不同数据源的数据进行抽取、转换、装载等操作,满足了银行业务部门的需要。     

基于数据仓库的高校数据统计服务平台研究

为了适应新形势下高校对大数据统计、分析的需求,设计实现了一套基于数据仓库的高校数据统计服务平台的整体方案。对高校数据仓库的整体架构、数据仓库的建模进行了研究,并设计了一种基于数据仓库星型结构的统计数据模型;进一步探讨了统计服务平台在实现过程中ETL(extraction transformation loading)以及界面设计等方面的关键技术;为高校下一步搭建管理与决策支持平台提供了重要的实践基础和理论支撑。     

银联数据仓库系统中ETL的设计和实现

针对银联数据的特点，设计实现了银联数据仓库ETL系统。该系统采用模块化的设计方式，增强了系统的可控性和灵活性。元数据模块使ETL系统能够灵活地适应银联业务逻辑的频繁变化；调度模块采用线程池技术．改进了以往多线程技术，提高了数据抽取的效率和系统资源的使用率；日志、监控信息及通知模块解决了系统出错快速恢复的问题。测试表明该ETL系统很好地满足了银联的需求。     

基于数据仓库的旅游服务平台的设计与实现

针对旅游服务中对大数据统计的需求分析,本文提出了一套基于数据仓库的旅游服务平台解决方案,并进一步阐述了该方案在实现过程中涉及到的关键技术,包括ETL(extraction transformation loading)、数据仓库建模以及报表分析等,为大数据下搭建旅游服务平台,提供了重要的理论支撑和实践基础。     

一种改进的分布式ETL作业调度方法实现

针对如何有效地处理、分析和管理大数据的问题,研究提出一种基于大数据场景中的分布式ETL作业调度方案,将多源异构的数据统一抽取,进行清洗、转换、集成加载到数据仓库,改进后的ETL比传统的开源工具提升了性能和可靠性.     

一种基于插件化异构数据的ETL中间件设计与实现

针对在数据仓库的建设中业界端对端的数据迁移工具无法能满足数据库高可扩展性需求,基于数据ETL中间件技术和数据抽取CDC技术分析选型,设计实现一种基于插件化的异构数据ETL中间件,重点介绍其包括业务解析层与数据处理引擎层的总体架构,从而实现数据增量迁移需求,对工业数据仓库建设具有借鉴意义。     

基于可复用构件思想的ETL架构设计

为了在一类相似或相近的数据仓库系统中共享ETL过程,以提高数据仓库构建的效率,提出基于可复用构件思想的ETL架构,介绍10家银联省级分公司统计分析系统ETL构件识别过程,探讨了基于已识别构件设计可重用ETL架构的方法,在实际应用中,该架构大幅度地提高了银联统计分析系统数据仓库构件的效率和质量,表明这种基于可复用构件思想的ETL架构是有效的.     

基于众包的钻井物料数据仓库ETL系统研究

随着商业智能的发展,现代化石油钻井企业开始越来越重视数据的作用,如何将企业多年信息化建设的成果更有效地利用起来成为当前企业信息化建设的一个重要内容.数据仓库建设的过程中最重要的过程就是ETL过程.ETL过程经常需要耗费大量的人力、物力、财力.但是效率依然十分低下,为了解决这个问题,本文提出采用网络众包的方法将传统数据仓库ETL过程与众包的方式结合,构建基于众包的钻井物料数据仓库ETL系统,有效提高石油企业数据仓库建设的效率.     

面向商业智能的ETL模型研究综述

ETL(extra,transform,load)是数据仓库的重要组成部分。ETL过程是一个复杂的过程,从源数据中抽取,转换,装载到数据仓库的过程。文中通过从两个不同角度来建模,对ETL过程进行概念建模和逻辑建模。概念建模主要研究整个ETL过程概念和属性的内在属性,而逻辑建模主要研究是ETL工作流。最后,提出一个从概念模型映射到逻辑模型的转换算法。     

Toward Developing Data Warehousing Process Standards: An Ontology-Based Review of Existing Methodologies

A data warehouse is developed using a data warehousing process (DWP) methodology. Currently, there are a large number of methodologies available in the data warehousing market. The reason for this is the lack of any centralized attempts at creating platform-independent DWP standards. For the development of such standards, it is very important that we first examine the current practices being followed by the data warehousing industry. In this study, we review 30 commercial data warehousing methodologies and analyze the standard practices they have adopted with respect to DWP. To perform the analysis, we first develop an ontological model of DWP based on a thorough review of the literature and inputs from experts in the data warehousing field. The ontological model consists of two hierarchies: a composition hierarchy which shows the decomposition of DWP tasks such as system development, extract, transform, and load (ETL), and end-user application design; and a classification hierarchy which specifies the alternative methods or techniques available for performing the tasks. We next apply hierarchical cluster analysis to group the methodologies that share a common set of standards. Our study provides valuable insights into the prevailing standard practices for different DWP tasks-system development, requirements analysis, architecture design, data modeling, ETL, data extraction, and end-user application design-and identifies important directions for future research on DWP standardization     

电信经营分析系统的总体结构设计与分析

电信运营行业竞争日益加剧,企业经营者必须随时了解业务运行情况,掌握客户信息,以便及时调整运营策略,保持竞争优势,这些都建立在信息需求得到满足的基础之上。基于数据库技术的经营分析系统能够整合电信运营企业内部分散的原始业务数据,解决数据庞杂、业务系统繁多造成的问题。运用ETL(extracttrans formload,抽取、转换和加载)技术构建数据仓库,对数据进行多维分析,并提供直观的数据展示平台。提出了闭环的思想。经营分析系统的分析结果,为业务系统的优化提供指导意见,能够驱动业务系统更好地运行。     

异构调度环境下ETL工作流监控系统的设计与实现*

本文提出一种分布式ETL在异构调度环境下的工作流统一监控方法。通过对异构调度系统元数据的提取和抽象,采用增量抽取和跟踪监控对象的方式,通过网络消息传送将监控对象加载到监控数据中心并统一管理,实现了分布式ETL工作流在异构调度环境下的的全局监控,提高了数据恢复能力和仓库的数据质量。     

基于Hadoop的电信大数据采集方案研究与实现

ETL是数据仓库实施过程中一个非常重要的步骤,设计一个能够对大数据进行有效处理的ETL流程以提高运营平台的采集效率,具有重要的实际意义.首先简单介绍某运营商大数据平台采集的主要数据内容.随后,为提升海量数据采集效率,提出了Hadoop与Oracle混搭架构解决方案.继而,提出一种动态触发式ETL调度流程与算法,与定时启动的ETL流程调度方式相比,可有效缩短部分流程的超长等待时间;有效避免资源抢占拥堵现象.最后,根据Hadoop和Oracle的系统运行日志,比较分析了两个平台的采集效率与数据量之间的关系.实践表明,混搭架构的大数据平台优势互补,可有效提升数据采集时效性,获得比较好的应用效果.     

分布式ETL中协同机制的研究与设计

ETL工具在构造数据仓库过程中负责数据抽取、转换和加载的工作。商用的ETL工具一般需要运行在高性能的服务器如小型机上进行大量的计算工作,造成数据仓库项目在硬件方面的成本必须大大的提高。针对计算效率的问题,提出了一种多计算服务器的协同计算模型,通过创建一协调中心来控制多计算服务器的协同处理计算来增加计算能力。与原有的ETL工具相比,可以在一定程度上降低ETL工具对服务器硬件性能的要求。