基于Oracle实现多数据库环境多级数据仓库的ETL

集中式数据库的架构,使得单独的数据库管理系统（DBMS）成为了整个系统的瓶颈,已经越来越不适应海量数据对I/O性能、应用扩展、计算能力的巨大需求,正是在这种情况下大规模多数据库系统被提出,而多数据库环境多级数据仓库如何快速、合理地选择路径是研究的难点。该系统搭建在中小企业B2B电子商务系统的多数据库环境之上,以Oracle技术为支撑,通过动态路径规划以空间换时间快速、合理地选择路径,找到所需访问的目标数据库,实现多级数据仓库的ETL。实验结果表明,基于Oracle实现多数据库环境多级数据仓库ETL可以适应复杂数据仓库的并行要求,大大提高数据处理能力,有效地支持海量数据分析。     

元数据管理平台总体架构设计研究

元数据管理解决的问题就是如何把业务系统中的数据分门别类地进行管理,并建立数据与数据之间的关系,为数据仓库的数据质量监控提供基础素材.元数据管理指管理数据仓库系统的元数据,它贯穿数据仓库系统的各个环节,并实现系统的各个处理单元由元数据驱动.     

基于数据仓库技术的管控一体化研究

本课题探究的是基于整个历史发展阶段的计算机数据存储应用程序,通常来说数据仓库是一个新的传统数据库技术的发展和应用。数据仓库管控本质仍然是计算机数据存储的系统,不过课题探究的是数据存储在数据库数量和质量。数据仓库主要是关注综合分折,另外特异性数据库集中在一般的数据处理。数据库是数据仓库的基础,一般来说传统数据库中的数据来源是数据仓库中的这一部分数据。怎样去"提取"更多的现场控制数据,来完成整个管理数据库的整个组成,本课题中探究的是能够借鉴数据仓库的相关技术来实现。     

一种评估数据仓库设计质量的方法

数据仓库（Data Warehouse,DW）是支持决策管理过程的、面向主题的、集成的、随时间而变的、持久的数据集合,它集成了源数据库（Database,DB）和其他平面文件系统的相关数据,以支持决策管理活动。数据仓库结构是一个多维模型,主要分星形、雪花星和星座形三种。有别于传统关系型数据库的设计,数据库仓库的设计往往以数据作为驱动,其设计的好坏,直接影响了数据仓库系统的建设与应用。文中提出了一种评估数据仓库设计质量的定量分析方法,主要是量化了和数据仓库有血缘关系的数据源的相关质量指标,就是通过分析所选取的表和属性两方面的数据质量（Data Quality,DQ）指标,最终联合这些指标以计算数据仓库设计质量的评估值。其中,分析数据源相关质量指标的过程,也可以支持数据库仓库的设计。     

全球数据库技术市场发展分析

针对各个数据库厂商的发展方向和应用需求的不断扩展的现状进行分析,我们不难看出现在的数据库技术及市场在向数据仓库和电子商务两个方向不断发展。 数据仓库数据仓库技术,即是对信息系统的业务数据进行深层次的数据分析和挖掘的过程。目前,大多数企业都实现了初步的信息化,建立了相应的办公自动化系统和企业管理系统,并且在企业的实际运作中积累了大量的数据,包括产品数据、销售数据、客户数据及市场情况数据等。这些数据中的一部分是关键数据,有可能对企业的决策产生重大影响。通过商业智能系统可以负责收集、清理、管理和分析这些关键数…     

“数据库主成份提取”方法及其应用

庞大数据库中所蕴藏着丰富而有益的数据信息正随着数据挖掘技术的发展得到进一步分析和挖掘。数据仓库作为数据挖掘的重要平台,其质量的高低将直接影响数据挖掘的效率。构建数据仓库是数据预处理的主要目标之一,“数据库主成份提取”方法可以在信息损失最小的前提下,利用了一种降维的方法,用少数综合变量来概括原多变量的数据库,使重新构建的数据仓库的数据量相对减少,使得数据类的概率分布尽可能的接近使用所有属性的原分布,从而使重新构建的数据仓库中的数据挖掘更加容易执行和高效率。数据库主成份提取分析方法对主成份的解释可以进一步明确影响整个数据仓库构成的主要因素和构成数据仓库系统的主要特征。     

异质数据仓库中数据质量管理研究及实现

异质数据仓库中有大量的数据,并且数据来源复杂,因而数据质量问题成为系统所面临的最大的挑战之一.为了保证企业数据仓库中的数据质量,使数据适合于特定的用途,在分析了异质数据仓库环境下存在的数据质量问题及保证数据质量的重要性之后,给出了衡量数据质量的客观度量指标,最后提出了解决数据质量问题的质量元模型的建模方法以及在此模型基础上进行的数据质量管理控制的应用.经检验,结合控制传输Agent和度量Agent的质量元模型可以有效地帮助设计、维护和管理企业从各种异质数据源所获得的数据,具有很大的现实意义.     

数据仓库建设持续改进数据质量

数据仓库系统的建设过程和方法不同于建设传统的操作型处理系统的过程和方法,数据仓库系统建设有两个难点:一是如何保证数据质量,使得数据准确可信;二是如何构造应用体系,使之满足不同角色用户的分析决策需要。受生产系统现状的影响,如数据源的数据不完整、不一致,数据抽取时间点不能同步,本地网之间存在市场竞争及业务规则的差异性,各专业之间统计口径的不一致等,数据质量问题客观存在,数据质量问题的管控工作将贯穿数据仓库系统建设的整个过程。数据仓库系统应用来源于用户需求,来源于开发商的商业理解,应用的开发和完善也受到数据质量的…     

数据仓库质量及其应用

给出了数据仓库质量元模型的建模方法，提出了实现数据仓库应用质量、数据仓库数据质量的具体方法和数据防火墙的概念。     

数据仓库技术在水文数据综合分析中的应用研究

针对全国水利信息化建设中建成的一批综合数据库中所积累的海量数据,探讨如何在综合数据库基础上建立数据仓库系统,并以水文主题为例,设计水文数据仓库总体结构,构建面向水文主题的多维数据组织模式,建立水文数据仓库,为水利综合决策支持服务。     

数据仓库中元数据互通的研究

介绍了数据仓库中元数据 ,着重分析了元数据的管理和当前的标准化进程 ,提出了一种建立企业级元数据库并采用元数据标准来解决元数据互通的方法。     

数据仓库中数据质量控制研究

随着数据仓库的深入应用,数据质量问题成为关系到数据仓库建设成败和数据能否有效应用的重要关键问题。该文首先讨论数据仓库环境下存在的数据质量问题以及保证数据质量的重要性,然后提出数据质量的度量和评价指标,最后给出了数据仓库实施和运行过程中数据质量控制的数据质量成熟度模型和保证仓库数据质量的方法。     

支持非传统应用的扩展数据仓库体系结构

针对传统的数据仓库在新型应用中存在的不足,提出采用模块化和分层策略,根据应用的实际情况来增减新的组件,构建了一个新的支持非传统应用的扩展数据仓库体系结构,增强了数据仓库系统的可扩展性和可维护性。     

对于数据仓库和数据挖掘的理解

数据仓库与数据挖掘是当今新的技术热点,数据仓库是一种解决数据使用的高效技术,数据挖掘为之提供更好的决策支持和服务,同时促进数据仓库技术的发展。主要介绍这两者的概念、应用,以及它们之间的关系。     

对于数据仓库和数据挖掘的理解

数据仓库与数据挖掘是当今新的技术热点,数据仓库是一种解决数据使用的高效技术,数据挖掘为之提供更好的决策支持和服务,同时促进数据仓库技术的发展。主要介绍这两者的概念、应用,以及它们之间的关系。     

数据清理中几种解决数据冲突的方法

建立数据挖掘模型的基石是数据仓库,数据仓库的质量直接影响到数据挖掘模型的建立与执行效率,并有可能影响到数据挖掘模型的最终结果的准确度。数据清理就是发现数据中的错误和不一致并加以消除,以提高数据的质量,使得数据挖掘模型建立的过程更加快捷和简便,挖掘出来的模式和规则也就更加有效和适用。     

银行业务数据仓库数据导入的分析与设计

本文探讨了银行业务数据仓库数据导入环节的设计,分析了数据导入设计的原则、加载策略与数据质量控制的实现.     

基于Web的数据仓库安全模型分析与探讨

对基于Web数据仓库安全隐患进行了深入的分析,在此基础上提出了基于Web的数据仓库安全策略模型及标准。     

ECAS数据仓库中数据集成的相关问题

数据仓库越来越广泛地应用于企业决策分析 ,从传统的操作型数据库集成数据是创建数据仓库必不可少的一步。结合宝钢能源部能源分析及成本分析系统 (ECAS)数据仓库 ,介绍了建立数据仓库时从不同的数据源抽取数据、清洗数据的相关问题。     

高速公路营运数据仓库的数据建模方法研究

由于数据仓库的数据主要用于分析处理，而非事务处理，因此，定义数据仓库的数据模型和指导思想、方法、步骤和传统的事务型数据库系统有很大的不同。本文根据等者在开发EMDSS（高速公路营运管理决策辅助系统）中的经验和实践，对数据仓库数据模型的建模方法进行了研究。