实时主动数据仓库中面向需求的实时数据集成方法研究

实时数据集成是实时主动数据仓库研究领域的一个重要问题.现有的研究成果都是从技术角度出发,而并没有考虑具体的商务应用需求.而在大型商务应用中,即使采用过滤规则只捕捉感兴趣的变化数据,也会产生大量的数据集成工作,从而导致不必要的沉重系统开销,同时还很有可能出现系统响应缓慢和用户需求无法得到满足等情况.从应用角度出发,提出了实时主动数据仓库中面向需求的实时数据集成方法,包括被频繁请求的数据的实时集成、满足突发请求的实时数据集成和由用户决定的实时数据集成.针对不同的商务需求,采用不同的数据集成策略,可以很好地满足不同类型的应用需求.     

基于索引视图实现动态数据仓库的实时数据加载

随着数据仓库技术的不断普及,基于数据仓库技术的决策支持系统在企业得到了广泛应用,同时出现了动态数据仓库。随着动态数据仓库在决策支持领域扮演的角色越来越重要,企业利用决策支持系统从辅助进行战略决策开始向战术决策转变。而要进行战术性的分析,数据仓库中必须有动态变化的最新数据,实现数据仓库的“动态”特性的关键又在于实现“动态数据获取”,即实现实时数据捕获加载。提出了基于索引视图实现动态数据仓库的实时数据加载,并通过实验验证了其可行性。该方法对进一步深入研究实时数据捕获技术有一定的借鉴作用。     

实时数据仓库体系架构的研究

传统数据仓库由ODS(Operational Data Store)、数据仓库、数据集市和BI工具组成.实时数据仓库扩展了传统数据仓库的适用范围,能给企业提供关于日常战术操作的技术支持.该文讨论了实时数据仓库的几种体系实现,并同传统数据仓库体系进行了比较和分析.通过对需求、技术、性能等方面的分析,提出了比较可行的实时数据仓库体系结构.     

实时数据仓库体系架构的研究

传统数据仓库由ODS(Operational Data Store)、数据仓库、数据集市和BI工具组成。实时数据仓库扩展了传统数据仓库的适用范围，能给企业提供关于日常战术操作的技术支持。该讨论了实时数据仓库的几种体系实现，并同传统数据仓库体系进行了比较和分析。通过对需求、技术、性能等方面的分析，提出了比较可行的实时数据仓库体系结构。     

ERP环境下的数据仓库系统研究

ERP环境下的数据仓库不仅要满足传统数据仓库对OLAP的支持,还要满足用户对常规事务的实时、主动决策。文章提出了一种ERP环境下的零等待数据仓库系统结构,利用多Agent系统的交互性和协作性等特点实现了数据仓库系统中连续数据集成和主动决策的功能。     

实时主动数据仓库中的报表内部一致性问题研究综述

实时主动数据仓库是数据仓库的最新发展阶段和未来发展趋势,它面临着传统数据仓库未曾有过的挑战,报表内部一致性问题就是其中之一。本文介绍了报表内部一致性问题的含义,并分别阐述了针对该问题的五种解决方案,包括:准实时方法、针对实时数据的风险缓解、外部实时数据缓存、多版本数据库和时间模型。     

实时数据仓库中支持QoS的更新和查询任务调度

实时数据仓库中,数据更新不再是定期批量执行,而是持续不间断地进行.因此更新与查询的执行调度成为了重要问题.提出一种支持服务质量(QoS)的更新和查询调度算法,定义了查询相关的QoS参数,包括期望的查询响应时间和可接受的实时数据延迟;根据查询任务的具体QoS要求,进行更新和查询的实时调度.实验证明该算法能够根据查询的具体QoS需求,合理地调整任务的执行顺序,为用户提供更快速的查询响应和更高的数据实时性.     

基于Multi-Agent的主动实时数据仓库研究

传统的数据仓库不能提供实时查询,并且当前的主动实时数据仓库在实时性方面和分布式环境下存在许多不足,针对当前主动实时数据仓库存在的不足,提出基于Multi-Agent的主动实时数据仓库的基本框架,一方面借助了Agent的基本特性提高了数据仓库的主动性和实时性,另一方面采用方案Agent和集成Agent解决了分布式环境下数据仓库集成问题。     

实时主动数据仓库的概念、问题及应用

近年来,数据仓库技术在学术界和工业界都得到了广泛的关注.实时主动数据仓库(real time active data warehouse, RTADW)是数据仓库技术发展的一个新的阶段,具有十分广阔的应用前景.介绍了实时主动数据仓库的概念和特点,探讨了实时主动数据仓库的研究问题,并列举了一些典型应用.     

实时数据仓库技术的研究

实时数据仓库是数据仓库技术的一个新的发展方向.本文研究总结了实时数据仓库的实现技术和体系结构,并重点研究了数据的实时更新技术,在此基础上提出了一种实用性较强的实时数据仓库的实现方法.     

数据仓库的填充与访问

数据仓库是连接底层数据源与上层应用的枢纽。该文介绍了数据仓库的填充(与数据源的连接)和数据仓库的访问(与应用界面的连接)技术,包括与数据库数据源和非数据库数据源的连接以及采用组件工具访问数据仓库的方式和实现方法。     

平行数据:从大数据到数据智能*

为了解决实际问题,大数据分析处理系统需要获取数据,然而实际场景中收集到的实际数据通常不完备.另外,大多数问题的解决方案通常是由问题引导或者仅仅进行数据分析,运行参数调整和设定带有较大的盲目性,难以达到应用的智能性.为此,文中提出平行数据的概念和框架,根据实际数据经计算实验产生真正的虚拟大数据,结合默顿定律,以期待的解决方案与问题进行广义对偶,引导大数据聚焦到实际问题.实际数据与虚拟数据动态互动,平行演化,形成一个虚实相生、数据动态变化的过程,最终使数据具备智能,进而解决未知的问题.平行数据不但是一种数据表示形式,更是一种数据演化机制与方式,其特色是虚实互动,所有数据的动力学轨迹构成了数据动力学系统.平行数据为数据处理、表示、挖掘和应用提供了一个新的范式.     

数据处理中的数据交换问题

为有效地解决实际问题,可能要使不同语言进行混合编程,这样就涉及到数据的传递和不同类型的数据文件之间的转换,这里讨论几种常用数据交换问题。     

数据仓库中的数据提取

数据仓库的思想和工具在企业中得到了越来越广泛的体现和应用,在当前典型的数据仓库应用中,数据仓库的填充或者说数据的提取,转换和加载是设计人员遇到的最大挑战之一,预计在数据仓库的设计过程中,80％的努力都将用于此过程。该文从工程角度介绍了数据提取、转换和加载的过程和实现方式,并介绍了4种可灵活应用的数据提取方法。     

数据仓库和数据挖掘

Making a business decision using data from severaldifferent enterprise databases can be complicated. Data warehousesconsolidate data into a central repository and give you the OLAP toolsnecessary to retrieve data pertinent to the solution.DefinitionA data warehouse is used to consolidate this data into a central storeand to arrange it to make analysis easier, which means the data is lessnormalized than your traditional application database. Data is typicallytransferred in batch to the centra…     

基于数据抽取器实现数据挖掘

通过定义ＳＯＬ数据挖掘抽取器,设计了数据挖掘算法和数据库管理系统的接口的框架体系。并通过一个常用的数据挖掘算法简单贝叶斯算法说明了这种标准的ＳＯＬ数据挖掘抽取器的适用性。     

数据仓库中数据质量控制研究

随着数据仓库的深入应用,数据质量问题成为关系到数据仓库建设成败和数据能否有效应用的重要关键问题。该文首先讨论数据仓库环境下存在的数据质量问题以及保证数据质量的重要性,然后提出数据质量的度量和评价指标,最后给出了数据仓库实施和运行过程中数据质量控制的数据质量成熟度模型和保证仓库数据质量的方法。     

数据转换过程的串行化方法

随着数据仓库和数据集成的发展,数据清洗的工作越来越多,用户在进行数据清洗时需要对数据的内容进行多次处理。在设计清洗的建模过程中,用户可能对同一个数据进行多次的清洗和转换处理,由于步骤多,用户往往不知道清洗和转换步骤出现错误。该文对前述问题进行论述,并针对这种清洗和转换处理中的赋值冲突和范围冲突提出解决方法。     

面向客户数据仓库的数据集成方法

数据集成问题是建立数据仓库过程中的重要问题之一，而客户资料又是其中最难以集成的数据，对于该问题目前还没有一个很好的解决方法。我们总结在实际实践中取得的经验，提出了一套切实可行的解决方案，同时兼顾了集成效率和准确率两方面因素，实际应用效果比较理想。     

用于不均衡数据集的挖掘方法

传统的分类算法大多是基于数据集中各类的样本数是基本均衡的假设的，而实际应用场合中面临的往往是不均衡数据。针对不均衡数据集，利用传统的分类方法往往不能获得良好的性能，因而研究用于处理不均衡数据集的分类方法就显得相当重要，本文对相关的研究做了综述。