核电厂管理信息系统(N1-EAM)数据迁移解决方案

本文针对中核集团核电厂生产管理信息系统(N1-EAM)数据迁移问题,归纳总结了企业级数据迁移过程中不可回避的问题,通过几种数据迁移技术的分析比较,最终采取ETL技术,经过基于ETL原理的程序设计和编程校验,实现了N1-EAM系统数据的有效迁移,从而获得了满足该系统需求较为可行的数据迁移解决方案。     

ETL应用优化设计与实现研究

分析和研究了传统ETL工作流程处理过程,采用JAVA技术,提出了ETL工作流程优化方案,对传统ETL性能问题提出了优化办法,并进行优化处理,很好地解决了数据集成处理过程数据融合、数据一致化和数据同步更新等重要问题,减轻了瓶颈制约,节约了处理时间开销.实际应用证明,优化后的ETL流程方案有效地减少了传统ETL工作流的时间花费,执行效率好,具有良好的实践应用价值.     

银行数据仓库系统中ETL的总体设计与实现

从银行数据仓库系统中数据的抽取、转换和上载（Extraction Transformation and Loading,ETL）的总体设计出发,分别阐述了EDW-ETL和OLAP-ETL的设计策略及实现方法,给出了实现完整的银行数据仓库系统的ETL方案。该方案对企业实现数据集中、规划和建设数据仓库系统,具有一定的借鉴意义。     

商业银行稽核系统的ETL设计及改进方法

在数据仓库项目的实施中,为了实现整个ETL过程的顺利执行,需要针对单个ETL过程和整个数据流程进行协调调度处理,以保证数据按照我们的转化规则和业务逻辑正确地进入数据仓库.本文介绍某银行稽核系统ETL的设计方法,并给出一些改进的建议.     

基于众包的钻井物料数据仓库ETL系统研究

随着商业智能的发展,现代化石油钻井企业开始越来越重视数据的作用,如何将企业多年信息化建设的成果更有效地利用起来成为当前企业信息化建设的一个重要内容.数据仓库建设的过程中最重要的过程就是ETL过程.ETL过程经常需要耗费大量的人力、物力、财力.但是效率依然十分低下,为了解决这个问题,本文提出采用网络众包的方法将传统数据仓库ETL过程与众包的方式结合,构建基于众包的钻井物料数据仓库ETL系统,有效提高石油企业数据仓库建设的效率.     

基于多Agent的实时ETL系统模型研究

针对传统ETL系统难以满足企业对实时数据的需求,提出了一种基于多Agent技术的实时ETL系统模型,通过多个Agent相互协同工作实现实时ETL,利用实时分区和静态分区来加载和更新数据。实验表明,该模型能够实现实时ETL功能,并且具有较好的主动性和灵活性。     

烟草企业数据中心项目中ETL的分析和设计

根据烟草商业企业数据中心项目建设的目标,结合湖南烟草信息化系统现状,对数据中心项目中数据集成部分的ETL过程进行详细分析和设计,解决了烟草数据中心项目中ETL过程的瓶颈问题.     

基于Hadoop的分布式ETL系统研究

针对传统数据抽取、转换及加载(ETL)工具集中式执行的不足,设计实现了一种基于Hadoop平台的分布式ETL系统。该系统采用分布式文件系统存储和映射-规约并行处理海量数据架构,实现了ETL作业的分布式执行,提高了ETL效率,为大数据环境下的基础数据加工提供了解决方案。     

信息系统数据集成技术浅析

根据目前信息化的发展现状和趋势,对信息系统中数据集成技术进行了综合分析.重点阐述了ETL(数据抽取、转换和装载)和数据清洗的工作过程,并对目前流行的几种主要商业ETL工具进行了评估和比较.这种评估比较能进一步指导信息系统的使用,同时也为信息系统的演化提供了理论支持.     

非结构化数据的ETL设计

为了实现非结构化数据的ETL处理,分析了数据整合的发展现状和业务需求,描述了目前国际流行的公共仓库元模型（CWM）以及在ETL实现中的作用,详细分析了结构化数据和非结构化数据的不同特点。针对两种数据的差异,提出了解决非结构化数据的属性提取和数据打包的方法,为非结构化数据形成元数据奠定了基础,从而实现了非结构化数据的ETL设计,设计完全满足标准的数据整合要求。     

面向商业智能的ETL模型研究综述

ETL(extra,transform,load)是数据仓库的重要组成部分。ETL过程是一个复杂的过程,从源数据中抽取,转换,装载到数据仓库的过程。文中通过从两个不同角度来建模,对ETL过程进行概念建模和逻辑建模。概念建模主要研究整个ETL过程概念和属性的内在属性,而逻辑建模主要研究是ETL工作流。最后,提出一个从概念模型映射到逻辑模型的转换算法。     

银联数据仓库系统中ETL的设计和实现

针对银联数据的特点，设计实现了银联数据仓库ETL系统。该系统采用模块化的设计方式，增强了系统的可控性和灵活性。元数据模块使ETL系统能够灵活地适应银联业务逻辑的频繁变化；调度模块采用线程池技术．改进了以往多线程技术，提高了数据抽取的效率和系统资源的使用率；日志、监控信息及通知模块解决了系统出错快速恢复的问题。测试表明该ETL系统很好地满足了银联的需求。     

基于频率评估系统的ETL优化与小区性能评估研究

针对频率评估系统中的ETL处理过程效率较低的问题,在分治算法和贪心算法思想的基础上,提出了一种优化算法——DC-Greedy算法.通过在评估系统中对小区数据进行处理后,基于主成分分析法,研究了单个小区综合性能的评估策略.ETL处理时间和小区综合性能评估值的仿真结果表明,对比一般情况下ETL的穷举处理过程,经过优化后ETL处理效率明显提高;对小区评估策略的评价结果表明该评估方法可以完整地反映小区的综合性能,评估结果图能较直观地呈现小区综合性能水平,达到了预期研究目标.     

电力行业统计分析系统设计

针对电力行业统计系统的业务需求,在充分调研用户需求和业务流程的基础上,通过采用OWB(ETL工具)和BIEE(前端展现工具)两种非常成熟的产品对电力行业统计分析系统中所涉及的总体架构、ETL、数据库结构、元数据管理以及安全性等多方面进行全面综合的设计,实现了ETL流程和数据展现内容的实现。本文的开发思路具有一定的普遍意义,可在绝大多数统计分析系统中得到应用。     

基于数据仓库的高校数据统计服务平台研究

为了适应新形势下高校对大数据统计、分析的需求,设计实现了一套基于数据仓库的高校数据统计服务平台的整体方案。对高校数据仓库的整体架构、数据仓库的建模进行了研究,并设计了一种基于数据仓库星型结构的统计数据模型;进一步探讨了统计服务平台在实现过程中ETL(extraction transformation loading)以及界面设计等方面的关键技术;为高校下一步搭建管理与决策支持平台提供了重要的实践基础和理论支撑。     

基于Hadoop的电信大数据采集方案研究与实现

ETL是数据仓库实施过程中一个非常重要的步骤,设计一个能够对大数据进行有效处理的ETL流程以提高运营平台的采集效率,具有重要的实际意义.首先简单介绍某运营商大数据平台采集的主要数据内容.随后,为提升海量数据采集效率,提出了Hadoop与Oracle混搭架构解决方案.继而,提出一种动态触发式ETL调度流程与算法,与定时启动的ETL流程调度方式相比,可有效缩短部分流程的超长等待时间;有效避免资源抢占拥堵现象.最后,根据Hadoop和Oracle的系统运行日志,比较分析了两个平台的采集效率与数据量之间的关系.实践表明,混搭架构的大数据平台优势互补,可有效提升数据采集时效性,获得比较好的应用效果.     

OWB在防汛指挥系统数据汇聚中的应用

OWB是Oracle的一个用于构建数据仓库的集成工具,它提供了建立ETL过程模型的图形环境,利用ETL技术可以将分布在异地的数据资源汇聚到统一管理的综合数据库中。文中针对水利领域数据分布特点,以数据仓库原理设计防汛综合数据库,利用OWB技术在防汛综合数据库与分布在各数据中心的数据源之间建立数据汇聚系统,屏蔽数据分布、系统异型、主题复杂的水利专题数据库环境,实时地按信息主题抽取、交换、汇聚水利数据资源,更好地满足了防汛指挥系统对防汛信息的实时性需求。     

三峡库区地质灾害数据仓库的ETL技术研究

结合三峡库区地质灾害数据仓库框架和库区数据的特点,提出了一套地质灾害数据仓库的ETL解决方案,并针对数据抽取、转换、加载等关键技术进行了研究,最后以单体地质灾害（滑坡）为例,说明了地质灾害数据仓库ETL的具体实现过程。     

ETL数据治理在高校信息化建设中的运用

信息化是当今世界的重要发展趋势,且应用于多个领域.高校是我国培养人才的重要媒介,提升高校的信息化建设水平,可以有效加强高校的人才培养质量.文章分析了ETL数据治理在高校信息化建设中的运用,找出了ETL数据处理存在的不足,并分析了出现的问题,找出最佳解决办法,总结了ETL数据治理在高校信息化建设中的运用方法.     

ETL在超市大数据量中的应用研究

数据抽取、转换和装载（Extract,Transform and loading,简称ETL）是数据仓库、数据挖掘以及商业智能等技术的基石.文中首先简单介绍了ETL概念及其意义,然后设计和开发了应用于超市行业商业智能的ETL程序,已在超市行业管理信息与决策支持系统中得到应用.