基于PB进行数据库与外部数据交换研究

当不同的数据库管理系统之间的数据实现共享或非数据库中的数据(如Word表格中的数据)与数据库中的数据实现共享时,就要进行数据交换,本文主要研究基于PowerBuilder进行数据库与外部数据交换的各种技术。在建立数据仓库时,数据仓库中的数据来源于各种不同的数据库管理系统和外部数据源,首先也要解决数据交换问题。本文中的这些技术也可以应用在数据仓库建设的ETL过程中。     

ECAS数据仓库中数据集成的相关问题

数据仓库越来越广泛地应用于企业决策分析 ,从传统的操作型数据库集成数据是创建数据仓库必不可少的一步。结合宝钢能源部能源分析及成本分析系统 (ECAS)数据仓库 ,介绍了建立数据仓库时从不同的数据源抽取数据、清洗数据的相关问题。     

Developer 2000下ODBC的使用方法及注意事项

ODBC(Open Database Connectivity)是一个用于访问数据库的统一界面标准。ODBC是应用程序的接口,通过该接口,使用结构化查询语言(SQL)可实现对多种数据库的访问。 ODBC提供了极大的互操作性,它使得一个应用可访问不同的数据库管理系统。也使得开发者可以针对某一类数据源进行开发,用户可以选择数据引擎,然后将应用连接     

基于.NET的数据访问策略研究与实现

基于.NET构架的四种数据访问策略,以及这些策略对连接数据源的要求和数据库读取方式的内部运行机制。     

用VC++的ADO技术访问数据库实例

在VC 6．0的数据库访问技术中，ADO具有高效灵活的特点。可是，目前介绍ADO技术的书籍中，理论多，实例少。本文以实例的方式介绍了VC 6．0中的数据库访问技术ADO，程序演示了应用ADO的ConnectionPtr等接口访问Oracle(8—1—5)数据库与Access2000，并且结合实例对这些接口的应用作了说明；实现了接数据源的动态连接，从数据源中读取所连接的数据库包含的表，以及表所包含的字段与记录值，并且把记录值显示于List Control控件上，同时还实现了SQL语句的应用。     

一种评估数据仓库设计质量的方法

数据仓库（Data Warehouse,DW）是支持决策管理过程的、面向主题的、集成的、随时间而变的、持久的数据集合,它集成了源数据库（Database,DB）和其他平面文件系统的相关数据,以支持决策管理活动。数据仓库结构是一个多维模型,主要分星形、雪花星和星座形三种。有别于传统关系型数据库的设计,数据库仓库的设计往往以数据作为驱动,其设计的好坏,直接影响了数据仓库系统的建设与应用。文中提出了一种评估数据仓库设计质量的定量分析方法,主要是量化了和数据仓库有血缘关系的数据源的相关质量指标,就是通过分析所选取的表和属性两方面的数据质量（Data Quality,DQ）指标,最终联合这些指标以计算数据仓库设计质量的评估值。其中,分析数据源相关质量指标的过程,也可以支持数据库仓库的设计。     

一种多数据源的数据仓库填充方案

分析了数据仓库中数据填充存在的问题,为了保持数据仓库数据的全面性、完整性和数据仓库的质量,提出了一种多数据源的数据填充方案,并介绍了这种填充方案的结构和各模块的功能,具体讨论了同质和异质数据库数据源的数据转换模式,对于非数据库数据源,给出了从文本数据源和Web页面数据源获取数据的填充方法。     

基于XML的异构数据库系统的研究

提出了利用XML解决异构数据库信息共享和透明访问的方案。介绍了数据库的异构性,XML的技术特点。通过基于XML的信息建模,以及XML文档和数据库模式之间的模板映射,实现了异构数据库之间的透明访问。提出了XML数据仓库的模型,结合XML和数据仓库的优势,实现了异构数据源的信息共享和决策支持。     

面向混合数据源的企业数据库私有云设计

针对混合数据源的采集、集成和应用问题,提出一种面向混合数据源的数据库私有云设计,针对混合数据源的不同结构化程度,将数据源分成结构化、半结构化和非结构化;针对混合数据源不同的不同时序特点,数据库私有云设计定时采集和实时采集两种采集方式;为了提高混合数据源的存取效率,数据库私有云将非结构化和半结构化数据存储在分布式文件系统,将结构化数据存储在分布式数据库;针对混合数据源的大数据应用需求,数据库私有云的计算层由数据仓库、实时数据处理、机器学习和数据查询服务组成;数据库私有云通过服务使能系统辅助用户开发具体应用程序,通过服务管理系统管理和监控这些具体应用程序。数据库私有云设计可以有效提供企业采集、集成和应用混合数据源的效率和效益。     

数据ETL工具通用框架设计

异构多数据源集成和数据清洗是将操作数据导入数据仓库过程中面临的两大挑战。从实践角度设计了数据ETL工具的整体框架，使用通用数据访问接口来屏蔽各种数据源之间的差异，并以数据清洗为主要目的，为消除多数据源的模式冲突和数据冲突提供了通用而有效的解决方案。     

自动化系统历史数据访问及聚合研究

在.NET平台上操作COM接口,访问DCS、SCADA等自动化系统提供的OPC历史数据服务器,从中抽取历史数据,或对历史数据聚合运算,为工业过程数据仓库提供数据源。     

基于统一视图的数据仓库体系结构及其构建方法*

为了构建支持企业决策分析的数据仓库,分析了传统数据仓库模型的局限性,提出了一个基于统一视图模型的数据仓库体系结构。该体系结构是在传统数据仓库模型的数据源和数据仓库之间增加一个统一标准层,并利用统一视图—资源数据和数据仓库—统一视图的两级映射,保证了数据的透明访问和模型本身良好的可用性,进而支持灵活的多数据仓库的构建。基于该体系结构,给出了统一视图模型的建立和数据仓库三层之间两级映射的方法,提出了一种新的基于统一视图模型的数据映射—抽取—装载数据仓库ETL建模过程,并开发了相应的数据仓库构建系统。应用表明,     

基于RDBMS的XML数据存储技术

XML已成为互联网事实上的数据表示标准,在数据交换和数据仓库中广泛应用.但XML文件特征不能保障数据的安全性和并发访问,而RDBMS严谨的关系理论和技术的成熟性可以弥补XML技术的不足.结合XML与RDBMS的优点,提出一个基于RDBMS的XML数据存取方案,用于简化XML数据的管理和数据仓库的构建.利用Oracle ...     

DSS中数据仓库的构建技术研究

主要研究基于金融行业的决策支持系统(DSS)中数据仓库的构建技术，针对金融行业决策支持系统中数据来源不统一、基础数据量大、数据关系复杂等特点，充分考虑系统的需求，提出了构建数据仓库的策略与方法，并且论述了具体的实现技术。     

蛋白质组学元数据仓库的管理与维护

在针对生物数据源具有的分布、异构和动态等特性下,建立的蛋白质组学元数据仓库的基础上,本文给出了删除元数据的方法,以及解决了由于删除元数据和生物数据源更新而带来的元仓库中元数据的变化,而引起的用户模式与元数据的映射不匹配等问题。     

数据仓库和数据仓库系统体系结构

为解决传统OLTP、MIS系统存在的平台的异构、应用分散、易进不易出、“蜘蛛网”,甚至“数据监狱”和“数据贫穷”等问题,对服务于OLTP的数据库中的原始数据进行再加工,形成一个综合的、面向分析的环境以支持决策的产生,逐渐形成数据仓库(DW)的思想。介绍了数据仓库、数据集市、操作数据存储以及数据仓库系统的体系结构,给出了设计方案。     

零售业数据仓库中ETL技术的研究

数据仓库中的数据不是传统数据库中数据的简单堆积，它是一个复杂的容纳数据集成的系统工程，为决策者提供访问、分析及共享信息的能力，从而发挥数据仓库的真正功效。本文针对于零售业，阐述了在零售业数据仓库系统中ETL的流程并结合实际应用提出了在零售业数据仓库系统中的ETL过程应考虑的诸多问题及解决方案。     

数据仓库系统中源数据的提取与集成

人们对数据分析的要求的不断提高导致了数据仓库的发展，而在建设数据仓库的过程中非常关键的一步就是从事务数据库或其它的数据源中抽取和集成原始数据。本文在对数据集成方法和数据获取中可能碰到的问题进行全面分析的基础上，较为详细地介绍了我们自行开发的数据仓库系统SEUwarehouse中源数据提取与集成工具的设计与实现．