数据仓库的建立与维护的一个实例

本文描述了在学校学生管理系统的基础上建立和维护数据仓库的过程,包括数据仓库模型设计、异构数据的转换、数据冗余、汇总数据存储等数据仓库设计过程和数据的抽取、转换和加载(ETL)以及元数据管理等维护过程,并简单地介绍了数据仓库在OLAP方面的应用。     

Oracle数据仓库解决方案概述

本文介绍了用Oracle的产品来做数据仓库的设计与开发要完成数据仓库的设计建模、数据转换与集成、数据存储与管理、数据的分析和展示、数据仓库的维护和管理的五个过程。     

水文信息系统中数据仓库的设计

数据仓库系统是存储大量历史数,据供分析和对决策进行支持的系统。描述了水文信息系统中建立数据仓库的过程,包括数据仓库模型设计、主题的确定、粒度和维的确定、异构数据的转换等内容。     

结构图ETL概念模型的设计方法

ETL过程是数据仓库获得高质量数据的重要环节,是任何数据仓库工程不可缺少的成功因素。为了便于ETL过程的设计和维护,降低ETL过程的设计、维护代价,提出一种基于结构图的ETL概念模型设计方法,给出一个用于描述ETL过程的模型,并基于CWM完成用以存储元数据的ETL元模型的设计。通过图形化ETL过程中的元素和关联,该模型清晰直观地反映了各个源数据库与目标数据仓库的内部结构和组成、数据的来源与流向、源数据和目标数据之间的映射和转换关系,辅助设计人员更好地进行ETL过程的设计和编码实现,使整个ETL的设计与维护过程更加方便、灵活、有效。     

面向教育评价的数据仓库系统的开发与ETL研究

在阐述数据仓库技术的概念、原理、体系结构的基础上,具体描述了面向教育评价应用的数据仓库系统的需求分析、概念模型设计和逻辑模型设计,重点研究了运用Microsoft数据转换工具DTS设计数据迁移包,完成数据由业务数据库到教育评价数据仓库的抽取、转换、清洗和装载的过程。     

基于元数据驱动的企业级数据仓库系统

通过对元数据建设和维护及其管理系统结构的深入研究,提出一种基于元数据驱动的企业级数据仓库系统架构。该系统架构采用关系模型数据结构,并通过元数据接口和元数据驱动引擎的设计开发将数据仓库中各模块的反馈信息与其元数据存储进行交互,实现由元数据驱动数据仓库系统的运作机制,解决了一直以来元数据难以更新维护、数据质量检查效率低的问题,提升了对企业级数据仓库的管控能力。     

数据仓库的存储优化设计

随着数据仓库逐渐成为企业决策支持的重要技术手段,对数据仓库的存储能力与性能的优化问题日益成为人们重视与关注的焦点之一。该文在数据仓库的模型结构以及数据分析过程中所采用的一些算法进行分析的基础上,对数据仓库与OLAP的数据存储方式以及优化的方法进行了深入的讨论,并在此基础上提出了一个通过数据分割技术存储细节数据,利用分层的方式来存储聚合数据,通过提高系统的并行处理能力来改善数据仓库系查询访问的效率的存储设计优化方案。     

基于数据仓库的数据转换服务(DTS)技术的应用

数据仓库系统是在学校各部门系统的基础上发展而来的,其内部存储的数据来自于事务处理的各个系统和外部数据源。因为学校的业务系统是在不同时期、不同背景、面对不同应用、不同开发人员等各种客观前提下建立的,其数据结构、存储平台、系统平台均存在很大的异构性,所以学校各种源数据缺少统一的标准,数据难以转化为有用的信息,原始数据的不一致导致决策时可信度的降低。本论文着重介绍了在数据仓库中利用数据转换服务(DTS)技术对于不同的数据源的数据进行转换,使得最终的数据实现完整性和一致性的统一。     

数据字典在转换工具中的应用设计

因各系统记录的二进制数据的数据格式不同,为开发系统耦合度低,可重用性好的转换工具,结合树型结构数据字典和模块化设计思想,利用XML文档存储和维护数据字典内容,设计了基于XML存储的数据字典的转换工具系统框架.将转换工具划分为预处理模块、提取载荷模块、读取XML文件模块,数据字典模块和解析结果显示模块共5个功能模块,完成了二进制数据的译码过程.使用XML数据字典设计转换工具系统框架,结构清晰,可维护性好.     

一个财政业务智能分析平台的设计与实现

阐述了一个基于BI技术的财政业务智能分析平台的设计原则、设计依据和系统架构,并从数据仓库设计建模、数据获取、数据存储、数据展现、元数据管理五方面介绍了系统的实现过程。     

一个轻量级数据仓库平台的设计和实现

提出了一个基于J2EE架构下的轻量级数据仓库平台的设计思想，并加以实现。该数据仓库平台包括元数据管理、数据抽取／转换／装载、数据清洗、在线分析和数据展现等在构建和使用数据仓库系统中所必需的通用功能。在该轻量级数据仓库平台的开发过程中，利用了不少优秀的开放源码软件并加以改造，这种开发模式不但能够加快开发过程，而且费用低廉。     

大型数据仓库实现技术的研究

大型数据仓库是实现海量数据存储的有效途径,但在大型数据仓库的实现中存在很多问题。在分析问题的基础上,对大型数据仓库的实现问题提出了一定的解决策略,对其中的几个关键技术即数据立方体的有效计算、增量式更新维护、索引优化、故障恢复、模式设计和查询优化的代价模型及元数据的定义和管理等作了研究。     

基于结构图的ETL过程建模方法*

ETL是数据仓库获得高质量数据的重要环节,在数据仓库建设过程中占有极其重要的地位。为了便于ETL过程的设计、维护和修改,提出一种基于结构图的ETL过程建模方法,并依据该方法完成了ETL概念模型的设计。通过图形化ETL过程中的元素和关联,该模型清晰直观地反映了数据的来源和流向、源数据与目标数据之间的映射和转换关系,辅助设计人员更好地进行ETL过程的设计和ETL过程的编码实现,使整个ETL设计过程更加方便、灵活。     

点击流数据仓库中的ETL设计

ETL是构建数据仓库过程中极其重要的部分,点击流数据仓库无论在体系结构上,维表与事实表设计上,还是点击流的抽取、转换和装载机制上,都比传统的数据仓库要复杂的多。本文以ETL基本原理出发,构造ETL体系结构,着重分析点击流数据仓库的ETL技术,进行数据抽取,数据转换,以及数据装载的ETL设计,为ETL系统的开发和ETL技术的应用提供了依据。     

ETL过程的思考

ETL是构建数据仓库的一个非常重要的环节,可以这样认为:ETL就是整个数据仓库系统乃至整个决策支持系统的基石。如何设计高效的ETL过程就成为了众多计划或正在实施数据仓库项目的企业考虑的重要问题。从前期的数据理解阶段入手,分别讨论了数据的抽取、清洗转换、装载等不同阶段需要考虑的设计问题及相应的解决方案。提出了以数据理解为根基,以清洗转换为中心的设计思想,并给出了具体的实施步骤。     

ETL过程的思考

ETL是构建数据仓库的一个非常重要的环节,可以这样认为:ETL就是整个数据仓库系统乃至整个决策支持系统的基石.如何设计高效的ETL过程就成为了众多计划或正在实施数据仓库项目的企业考虑的重要问题.从前期的数据理解阶段入手,分别讨论了数据的抽取、清洗转换、装载等不同阶段需要考虑的设计问题及相应的解决方案.提出了以数据理解为根基,以清洗转换为中心的设计思想,并给出了具体的实施步骤.     

构建基于数据仓库的DSS

数据仓库可用于决策分析,它有下面几个关键技术:①数据的抽取。这是数据进入仓库的入口。由于数据仓库是一个独立的数据环境,它需要通过抽取过程将数据从联机事务处理系统、外部数据源、脱机的数据存储介质中导入到数据仓库。②数据的存储和管理。数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库的     

数据仓库中的数据提取

数据仓库的思想和工具在企业中得到了越来越广泛的体现和应用,在当前典型的数据仓库应用中,数据仓库的填充或者说数据的提取,转换和加载是设计人员遇到的最大挑战之一,预计在数据仓库的设计过程中,80％的努力都将用于此过程。该文从工程角度介绍了数据提取、转换和加载的过程和实现方式,并介绍了4种可灵活应用的数据提取方法。     

数据仓库系统中的元数据管理

人们对数据分析的要求的不断提高导致了数据仓库的发展,而在建设数据仓库的过程中元数据管理起着至关重要的作用。详细而准确的元数据对于数据仓库的创建、数据加载、运行维护、清理脏数据等工作都必不可少。文章在对数据仓库系统中的元数据以及元数据管理进行全面分析的基础上,较为详细地介绍了笔者自行开发的数据仓库系统SEUwarehouse中的元数据及其管理的设计与实现。     

基于组件的工业过程数据仓库

工业企业自动化系统所产生的过程数据,分散在异构系统上,不能统一的存储、调用和管理,造成数据资源浪费.基于组件和分布式应用技术,设计和实现了工厂级的工业过程数据仓库,包括:集成各类自动化软件的过程数据,数据压缩存储,可视化分析工具开发.通过该系统,可集成和开发工业过程历史数据资源,从中挖掘对生产有用的知识.