MESHJOIN*:实时数据仓库环境下的数据流更新算法

提出了一种新的实时数据仓库环境下的数据流更新算法——MESHJOIN*算法。算法的特性有:(1)关系R采用了分块和散列的组织形式,尽可能避免对当前连接无效元组的读取,减少连接操作所涉及元组的数量,从而提高连接算法的效率;(2)采用了多线程并发连接技术,并根据工程学原理,实现了连接操作和关系R读取操作的最佳调度,保证了连接算法效率的最大化;(3)根据当前系统的服务率和数据流元组的到达率之间的关系,合理调度实时元组和准实时元组的执行,保证了系统对实时元组的处理要求。实验结果表明,MESHJOIN*算法可以取得比MESHJOIN算法更好的性能。     

实时数据仓库中支持QoS的更新和查询任务调度

实时数据仓库中,数据更新不再是定期批量执行,而是持续不间断地进行.因此更新与查询的执行调度成为了重要问题.提出一种支持服务质量(QoS)的更新和查询调度算法,定义了查询相关的QoS参数,包括期望的查询响应时间和可接受的实时数据延迟;根据查询任务的具体QoS要求,进行更新和查询的实时调度.实验证明该算法能够根据查询的具体QoS需求,合理地调整任务的执行顺序,为用户提供更快速的查询响应和更高的数据实时性.     

基于分析规则的主动数据仓库

常规的数据仓库应用中，分析和决策较多地依赖于用户参与。为了在自动决策以及实时性等方面对常规的数据仓库进行改进，文章设计了一种主动数据仓库(Active Data Warehousc)体系结构。它在常规的数据仓库的基础上引进了分析规则。通过对主动规则的改进而设计的分析规则能满足主动数据仓库的特性。相应地还对数据仓库的元数据进行了扩展。     

基于Multi-Agent的主动实时数据仓库研究

传统的数据仓库不能提供实时查询,并且当前的主动实时数据仓库在实时性方面和分布式环境下存在许多不足,针对当前主动实时数据仓库存在的不足,提出基于Multi-Agent的主动实时数据仓库的基本框架,一方面借助了Agent的基本特性提高了数据仓库的主动性和实时性,另一方面采用方案Agent和集成Agent解决了分布式环境下数据仓库集成问题。     

Secure Data Collection with Updates

This paper describes a protocol to protect data collected by mobile agents roaming through a set of potentially malicious hosts. This protocol is based on an original secure cryptographic technique that assures the integrity of a sequence of data segments regardless of the order of each segment in the sequence. The protocol allows each host to update the data it previously submitted in a way that is suitable for free competition scenarios like comparative shopping or distributed auction and for highly dynamic environments like stock markets. The set of hosts can be visited several times in random order and a short message digest allows for the integrity verification of all the collected data.     

实时主动数据仓库的概念、问题及应用

近年来,数据仓库技术在学术界和工业界都得到了广泛的关注.实时主动数据仓库(real time active data warehouse, RTADW)是数据仓库技术发展的一个新的阶段,具有十分广阔的应用前景.介绍了实时主动数据仓库的概念和特点,探讨了实时主动数据仓库的研究问题,并列举了一些典型应用.     

数据仓库中的数据提取

数据仓库的思想和工具在企业中得到了越来越广泛的体现和应用,在当前典型的数据仓库应用中,数据仓库的填充或者说数据的提取,转换和加载是设计人员遇到的最大挑战之一,预计在数据仓库的设计过程中,80％的努力都将用于此过程。该文从工程角度介绍了数据提取、转换和加载的过程和实现方式,并介绍了4种可灵活应用的数据提取方法。     

如何用Warehouse Studio创建和管理数据仓库

介绍了数据仓库的体系结构和Warehouse Studio，然后结合实例详细叙述了利用Warehouse Studio创建，管理和维护数据仓库的过程。     

基于数据仓库的主动实时决策支持系统的实现

通过引入ODS保障了决策所需数据的实时性,重点研究ODS中数据的实时更新策略,并研究分析规则在主动决策中的应用.在此基础上提出一种具有主动实时决策能力的决策支持系统结构.     

数据仓库中的数据集成转换

本文首先提出了数据仓库中数据集成的一个总体框架，然后列举了在数据转换中可能遇到的主要问题，最后根据这些转换规则，给出了一种描述性脚本语言来描述这些规则，继而给相应的处理模块解析处理。     

海难事故的数据挖掘

分析了建立海难数据仓库的意义,提出了海难数据仓库的雪花模型,对Aprioir算法进行了改进,用改进后的算法实现了海难数据的关联规则和频繁模式挖掘,用改进的有向图方法实现了关联规则的可视化表示。结果表明,利用数据挖掘技术对海难历史数据作深层次分析,克服了传统统计分析方法的局限性,可挖掘出大量的知识,为以后的航海安全提供借鉴。     

数据仓库中数据质量控制研究

随着数据仓库的深入应用,数据质量问题成为关系到数据仓库建设成败和数据能否有效应用的重要关键问题。该文首先讨论数据仓库环境下存在的数据质量问题以及保证数据质量的重要性,然后提出数据质量的度量和评价指标,最后给出了数据仓库实施和运行过程中数据质量控制的数据质量成熟度模型和保证仓库数据质量的方法。     

面向客户数据仓库的数据集成方法

数据集成问题是建立数据仓库过程中的重要问题之一，而客户资料又是其中最难以集成的数据，对于该问题目前还没有一个很好的解决方法。我们总结在实际实践中取得的经验，提出了一套切实可行的解决方案，同时兼顾了集成效率和准确率两方面因素，实际应用效果比较理想。     

数据仓库中异构数据的转换

在大多数信息管理中都存在模式和数据转换，且都是单独被研究。相信有统一机制，将中间件看成是转换引擎，并且讨论在什么时候进行转换如何进行转换。     

数据挖掘与数据仓库技术及其在保险业中的应用

文章介绍了数据挖掘中常用技术和数据仓库结构．并且探讨了粗糙集方法，决策树方法以及关联规则方法等数据挖掘技术在保险风险规则挖掘中的应用。     

数据仓库的填充与访问

数据仓库是连接底层数据源与上层应用的枢纽。该文介绍了数据仓库的填充(与数据源的连接)和数据仓库的访问(与应用界面的连接)技术,包括与数据库数据源和非数据库数据源的连接以及采用组件工具访问数据仓库的方式和实现方法。     

数据建模在数据仓库建设中的应用

数据仓库是国土资源决策支持系统建设中的核心内容,是决策支持系统处理的基础。建立数据仓库的目的,是把国土资源的内部数据和外部数据进行有效的集成,为各级决策领导、各级管理人员和业务分析人员使用。作者重点从数据仓库模型设计要点、国土资源一体化数据仓库整体模型架构、数据仓库模型设计规范三方面进行了详细设计。     

利用数据仓库和数据挖掘实现电信决策支持系统

给出了电信企业利用数据仓库和数据挖掘技术实现的决策支持系统的逻辑架构和物理架构，并简单介绍了该系统中的几种数据挖掘方法。     

数据仓库中档案数据的并行导入

要在数据仓库中导入档案数据必须考虑导入的速度问题,因此提出了基于客户机/服务器模式的档案数据并行导入的方案。在整个处理流程中,数据整合是实现并行导入的关键步骤,详细描述了历史数据并行整合的方法。最后,通过模拟实验对并行性的性能进行了分析讨论。