Systems Dynamics-Based Modeling of Data Warehouse Quality

ABSTRACT

Data warehouses (DW) are a key component of business intelligence and decision-making. In this paper, we present an approach that combines Grounded Theory and System Dynamics to develop causal loop diagrams/models for data warehouse quality and processes. We used the top 51 data warehousing academic papers to arrive at concepts and critical success factors. A simple data warehouse quality causal model and a Data Warehouse Project Initialization Loop Analysis, Data Source Availability & Monitoring Loop Analysis and Data Model Quality and DBMS Quality Analysis models were developed. Visualization of the cause-effect loops and how data warehouse variables are interrelated provide a clear understanding of DW process. Key findings include data quality and data model quality that are more important than DBMS quality for ensuring data warehouse quality, and the number of data entry errors and the level of data complexity can be major detriments to DW quality.     

数据仓库ETL任务调度模型研究

数据仓库系统包含众多的抽取-转换-加载(ETL)任务,这些任务具有一定的优先约束关系.在多处理机环境下,如何高效地调度这些ETL任务是构建数据仓库需要研究的重要问题.对此,在对数据仓库ETL任务调度规则进行归纳总结的基础上,以数据仓库总的ETL完成时间最短为目标,建立了数据仓库ETL任务调度模型.同时结合问题的特点,采用同层划分的思想,提出基于同层划分遗传算法求解问题的方法.最后,通过应用实例验证了所建立模型和求解算法的可行性和有效性.     

数据仓库的信息供应链模型

供应链管理将信息流、物流、资金流统一规划、设计和控制。数据从数据源流向数据仓库形成了数据→信息→知识的信息供应链。该文给出了数据仓库的信息供应链模型,讨论了供应链上对数据处理的工作流,并从供应链角度审视了数据仓库系统的构造工作。     

异质数据仓库中数据质量管理研究及实现

异质数据仓库中有大量的数据，并且数据来源复杂，因而数据质量问题成为系统所面临的最大的挑战之一。为了保证企业数据仓库中的数据质量，使数据适合于特定的用途，在分析了异质数据仓库环境下存在的数据质量问题及保证数据质量的重要性之后，给出了衡量数据质量的客观度量指标，最后提出了解决数据质量问题的质量元模型的建模方法以及在此模型基础上进行的数据质量管理控制的应用。经检验，结合控制传输Agent和度量Agent的质量元模型可以有效地帮助设计、维护和管理企业从各种异质数据源所获得的数据，具有很大的现实意义。     

一个基于XML数据仓库系统的设计与实现

黄土高原数据仓库系统以分布式数据仓库为核心,包含多个异质数据源。系统采用中间件技术不仅提供多层次资源查询服务,并且还使用数据挖掘技术和信息检索技术对资源数据进行深加工,能够主动地为用户提供黄土高原生态环境咨询、评测、预测与决策支持服务。论文重点介绍了一种基于XML的统一模式查询语言———XUSQL,用以解决多数据源中多模式数据融合问题。XUSQL使得在数据仓库中的查询与数据源模式无关,把数据源和数据仓库隔离开,从而有利于构造分布式数据仓库,便于异质数据源之间数据融合以及数据源本身的结构调整。     

Development of Secure XML Data Warehouses with QVT

ContextData warehouses are systems which integrate heterogeneous sources to support the decision making process. Data from the Web is becoming increasingly more important as sources for these systems, which has motivated the extensive use of XML to facilitate data and metadata interchange among heterogeneous data sources from the Web and the data warehouse. However, the business information that data warehouses manage is highly sensitive and must, therefore, be carefully protected. Security is thus a key issue in the design of data warehouses, regardless of the implementation technology. It is important to note that the idiosyncrasy of the unstructured and semi-structured data requires particular security rules that have been specifically tailored to these systems in order to permit their particularities to be captured correctly. Unfortunately, although security issues have been considered in the development of traditional data warehouses, current research lacks approaches with which to consider security when the target platform is based on XML technology.ObjectiveWe shall focus on defining transformations to obtain a secure XML Schema from the conceptual multidimensional model of a data warehouse.MethodWe have first defined the rationale behind the transformation rules and how they have been developed in natural language, and we have then established them clearly and formally by using the QVT language. Finally, in order to validate our proposal we have carried out a case study.ResultsWe have proposed an approach for the model driven development of Secure XML Data Warehouses, defining a set of QVT transformation rules.ConclusionThe main benefit of our proposal is that it is possible to model security requirements together with the conceptual model of the data warehouse during the early stages of a project, and automatically obtain the corresponding implementation for XML.     

多版本数据仓库模型设计

针对数据仓库多维模式结构的进化问题提出一种多版本数据仓库模型,给出模型结构、模型对象以及对象之间指派关系的定义。多版本数据仓库基于“版本控制”策略管理数据仓库的多维模式,将数据仓库进化过程中的每一种有效状态都以版本的形式保存下来。决策者可以在特定的结构版本中分析历史数据,有利于更准确地把握业务事实。     

数据仓库在银行卡统计系统中的研究与应用

数据仓库技术是近年来出现并发展迅速的一种技术,可以充分利用数据仓库中已存储的大量信息帮助决策者进行决策。本文在分析总体需求和设计目标的基础上,介绍基于数据仓库的银行卡统计系统的设计方案和实现数据自动抽取的关键技术。     

数据仓库中物化视图维护算法的分析和比较

随着数据源的更新,数据仓库中的物化视图必须得到及时的更新维护.而如何对物化视图进行高效的更新,以满足用户对查询响应速度和查询结果一致性、时新性的要求,这是数据仓库技术中非常复杂和重要的工作,也是一个迫切需要解决的关键性技术问题.以物化视图更新维护问题为主要研究对象,通过对现有各种维护算法深入的研究和分析,系统地进行了比较和总结,最后指出了谊问题深入研究的方向.     

数据仓库中的实视图的选取

数据仓库设计中一个重要问题就是选取视图进行实体化。论文给出实视图代价估算模型,利用遗传规则,提出实视图选取的方法和策略。经实验证明,该算法达到了良好的效果,效率高。     

数据仓库中数据质量控制研究

随着数据仓库的深入应用,数据质量问题成为关系到数据仓库建设成败和数据能否有效应用的重要关键问题。该文首先讨论数据仓库环境下存在的数据质量问题以及保证数据质量的重要性,然后提出数据质量的度量和评价指标,最后给出了数据仓库实施和运行过程中数据质量控制的数据质量成熟度模型和保证仓库数据质量的方法。     

电网生产管理数据仓库的设计与实现

为了满足对生产管理进行决策分析的业务需求,对某电网公司生产管理进行了需求分析,对生产管理数据仓库进行了总体设计,制定了数据从源系统到数据仓库中进行存储的ETL技术方案,最后利用展现工具查询和分析数据,实现决策支持,为生产管理的决策提供了可靠的依据,同时也验证了数据仓库的设计。     

数据仓库技术在工程管理中的应用研究

以实现建筑工程信息化以及管理科学化为目标,提出利用数据仓库和联机分析处理（On-Line Analytical Processing,OLAP）技术,建立计算机支持的建筑工程智能决策系统。详细介绍建筑工程管理数据仓库建设的步骤方法以及实施成效,满足不同层次和部门的工程管理及技术人员的决策需求,实现科学化决策。     

基于数据仓库的分析决策系统住院病人费用

介绍了数据仓库的特点和体系结构的同时，对数据仓库技术在医院信息系统中的应用进行了研究，以Oracle Warehouse Builder作为构建数据仓库的技术平台，用Discoverer作为对数据仓库进行联机分析的工具，给出了一个应用于医院住院病人费用分析的数据仓库实例。该实例支持海量数据的深加工和再利用，解决了数据仓库构建、数据分析、客户端程序设计等技术问题，为支持医院管理者的分析决策做出了积极探索。     

EMD-based online Filtering of Process Data

In chemical industries, measurements corrupted by noise or outliers may affect operators’ recognition of the current situation and lead them to make inappropriate control decisions. Data quality is a critical factor for process monitoring and fault diagnosis. A robust online filtering method (OLREMD¹) is proposed to implement online process data rectification with Empirical Mode Decomposition (EMD) as the basic algorithm. Tests with synthetic data show that OLREMD performs robustly with a lower sensitivity to parameters and improved performance on elimination of both noise and outliers. When applied to an industrial de-ethanizing column, OLREMD is shown to enhance the process monitoring performance.     

数据清理中同体不同源数据的数化算法研究

在数据仓库构建的数据清理过程中,同体不同源数据的发现一直是清理过程的难点。在现实情况下,存在的单一实体在不同的数据源中以不同的方式进行存储或者表达的同体不同源数据,传统数据清理技术对其发现、修正需要花费大量的时间和系统资源进行比较,实际效果并不理想。该文提出一种新型的、利用数据数字化存储特点来查找同体不同源数据的算法,能够有效减少数据间的比较次数,并确保数据清理结果的质量。     

基于Web的重复属性自动识别方法

在建立数据仓库的过程中,需要从多个数据源导入数据。这些数据存在大量相似重复记录,严重影响了数据利用率和决策质量。因此,相似重复记录的检测已经成为数据仓库等领域的热点研究问题,而重复属性的识别是完成相似重复记录检测的关键。提出一种高效的基于Web的重复属性自动识别算法,该算法使用搜索引擎返回的摘要和URL信息计算属性相似度,并使用查询探针提高查询准确度。实验结果表明该算法有较高的查全率。     

海洋渔业数据库质量控制研究

为了利用可视化技术来对海洋渔业数据库进行质量控制，在综述了近年来GIS数据库质量控制的基础上，首先提出了GIS数据库质量控制的多层次概念模型；然后针对海洋渔业地理信息系统的特点，给出了海洋渔业数据库质量控制的体系结构和具体的控制方法，并在现有的元数据和数据仓库技术的基础上，提出了基于元数据的智能化控制方法原理；最后结合前人工作和国家863计划818主题的海洋渔业GIS课题研究成果，给出该质量控制的概念模型应用于海洋渔业具体的控制体系和方法。     

基于网络的数据仓库动态增量维护算法与模型

提出数据仓库动态增量维护算法和模型．文中阐述了动态增量维护算法、模型以及利用该算法对数据仓库视图的维护技术，并以基于网络的数据仓库为例，描述了动态增量维护算法在数据仓库系统中的实现技术．本算法与技术对数据仓库技术的发展及应用有着重要的理论意义和实用价值。     

面向对象的数据仓库设计

介绍了数据仓库技术的概念和内容,研究了运用面向对象技术建立数据仓库系统的关键技术。给出了通过面向对象技术,并结合UML进行数据仓库模型设计的方法。在进行数据仓库设计的过程中,通过将对象、对象的成员以及对象间关系映射到实体、实体的属性以及实体间关系的方式进行了数据仓库设计,实现了对象分析与数据仓库设计在面向对象体系上的一致。