数据仓库的联机维护与下查

提出了一种三层数据仓库体系结构,引入了“数据仓库基库”概念,不权使得传统数据库能够更容易地融入数据仓库系统,而且增强了整个系统的伸缩性。在此基础上,提出了３ＶＷＱ（Ｔｈｒｅｅ－Ｖｅｒｓｉｏｎ Ｗｉｔｈｏｕｔ Ｑｕｉｅｓｃｉｎｇ）算法来解决数据仓库的联机维护问题及其对下查的支持。该算法采用版本控制和补偿思想来协调数据库和数据仓库之间的数据更新,从而保证了联机维护与下查的一致性。     

数据仓库中多视图环境下的联机维护

数据仓库的视图联机维护是指数数据仓库中的实体化视图实时地与信息源中的数据库仑保持一致,同时不影响前端用户对数据仓库的正常使用。为了解决多视图环境中视图联机维护与下钻查询的一致性问题,文中在数据仓库体系结构中引入了“基库”模型,并提出了相应的视图维护算法３ＶＰＡ。     

数据仓库的集合刷新维护算法

本文提出了一种版本控制集合刷新算法ＶＳＲＡ,它采用增量维护和批处理思想,首先根据原始数据的变化集合,计算出实体化视图的刷新集合,然后据此集合实体化视图,同时利用版本控制保持数据仓库与当前数据库状态的一致性,达到对数据仓库联机维护的目的。ＶＳＲＡ不但减少了数据仓库与数据库之间的通信开销,而且提高了实体化视
视图的刷新效率。严格的版本控制使用户可以随时使用数据仓库进行联机分析处理（ＯＬＡＰ）,并得到正确一     

数据仓库联机维护算法STNL的改进

为了提高数据仓库维护与查询时的效率,关键是要实现数据仓库维护与用户操作的并行性,本文在对几种联机维护算法的基本思想和关键技术分析的基础上,对数据仓库维护算法STNL提出了改进。     

数据仓库联机维护技术的研究与实现

针对数据仓库联机维护技术提出了一种三层维护体系结构TMA,在其中引进了“数据仓库基库”概念,利用版本控制思想提出了对单视图和多视图的联机维护算法,并实现了一个原型验证系统。     

数据仓库实化视图的联机维护

数据仓库实化视图的联机维护是数据仓库系统维护的一项关键技术,采用这种技术,能够在不影响用户正常业务的情况下,实现数据仓库中实化视图数据的及时更新。但联机分析处理（OLAP）作为数据仓库的一个主要应用,在数据仓库实化视图的联机维护过程中会产生严重的数据不 一致问题。为了解决这个问题,引入“维护库”（Maintaining Database)的概念,提出基于事务触发的视图维护算法TVM,采取应答机制,达到数据的一致性。     

数据仓库实化视图的联机维护

数据仓库实化视图和联机维护是数据仓库系统维护的一项关键技术,采用这种技术,能够在不影响用户正常业务的情况下,实现数据仓库的实化视图数据的及时更新、联机分析处理（OLAP）作为数据仓库的一个主要应用,在数据仓库实化视图的联机维护的过程中会面临严重的数据不一致问题。为了解决这个问题,本文引入“维护库”（Maintaining Database)的概念,提出基于事务触发的视图维护算法TVM,通过消息应答机制实现实化视图与数据源的数据一致性。     

数据仓库联机维护中一致性问题的研究

数据仓库是存储供查询和决策分析用的集成化信息仓库,它的信息来源于不同地点的数据库或其他信息源.实体化视图是数据仓库中存储的主要信息实体,当原始数据发生变化时,数据仓库中的实体化视图也必须作相应的更新维护.在数据仓库实体化视图的联机维护过程中,由于联机分析处理（On-line Analytical Process,简称OLAP）查询的介入,会产生数据不一致的问题.文章提出了一种MVCA（multiversion compensating algorithm）算法来解决这一问题.MVCA采用版本控制方法,利用补偿思想和应答机制协调数据库和数据仓库之间的更新维护操作,达到保证数据一致的目的.最后,文章通过一个典型示例说明了该算法在实际中的具体应用.     

基于时间戳的实化视图多版本维护

实化视图的一致性维护是数据仓库联机维护的关键问题.本文分析了基于三层数据仓库体系结构的3VWQ算法中潜在不一致性的原因,给出了三层结构的改进方法并引入时间戳作为中间版本实化视图的一致性维护标记;提出一种基于时间戳的补偿算法,实现了增量查询维护过程中不一致更新的本地补偿,从而在保证较好性能的同时解决了维护查询过程中的一致性问题.     

一种数据仓库联机维护的集合刷新算法

提出了一种版本控制集合刷新算法（VSRA）.它采用增量维护、版本控制和批处理机制保证数据仓库的联机维护和数据一致性.VSRA不仅减少了数据库和数据仓库之间的通信流量,而且提高了实体化视图的刷新效率.用户可以随时使用VSRA进行联机分析处理,并能得到正确的结果.     

Parallel multisource view maintenance

In a distributed environment, materialized views are used to integrate data from different information sources and then store them in some centralized location. In order to maintain such materialized views, maintenance queries need to be sent to information sources by the data warehouse management system. Due to the independence of the information sources and the data warehouse, concurrency issues are raised between the maintenance queries and the local update transactions at each information source. Recent solutions such as ECA and Strobe tackle such concurrent maintenance, however with the requirement of quiescence of the information sources. SWEEP and POSSE overcome this limitation by decomposing the global maintenance query into smaller subqueries to be sent to every information source and then performing conflict correction locally at the data warehouse. Note that all these previous approaches handle the data updates one at a time. Hence either some of the information sources or the data warehouse is likely to be idle during most of the maintenance process. In this paper, we propose that a set of updates should be maintained in parallel by several concurrent maintenance processes so that both the information sources as well as the warehouse would be utilized more fully throughout the maintenance process. This parallelism should then improve the overall maintenance performance. For this we have developed a parallel view maintenance algorithm, called PVM, that substantially improves upon the performance of previous maintenance approaches by handling a set of data updates at the same time. The parallel handling of a set of updates is orthogonal to the particular maintenance algorithm applied to the handling of each individual update. In order to perform parallel view maintenance, we have identified two critical issues that must be overcome: (1) detecting maintenance-concurrent data updates in a parallel mode and (2) correcting the problem that the data warehouse commit order may not correspond to the data warehouse update processing order due to parallel maintenance handling. In this work, we provide solutions to both issues. For the former, we insert a middle-layer timestamp assignment module for detecting maintenance-concurrent data updates without requiring any global clock synchronization. For the latter, we introduce the negative counter concept to solve the problem of variant orders of committing effects of data updates to the data warehouse. We provide a proof of the correctness of PVM that guarantees that our strategy indeed generates the correct final data warehouse state. We have implemented both SWEEP and PVM in our EVE data warehousing system. Our performance study demonstrates that a manyfold performance improvement is achieved by PVM over SWEEP.Received: 12 November 2001, Accepted: 18 December 2002, Published online: 31 July 2003This work was supported in part by the NSF NYI grant IIS-979624 and NSF CISE Instrumentation grant IRIS 97-29878 and NSF grant IIS-9988776.     

数据仓库的数据维护及数据一致性的研究

该文提出了一种基于静态索引结构的数据仓库更新方法。它增加了一个附加文件作为更新补偿,提出了ADDF(AdditionFileAlgorithm)算法来解决数据仓库的数据维护及OLAP查询一致性问题。不但减小了数据仓库更新的开销,也保证了在数据收集期间用户查询仍然能被有效地处理。     

基于元数据驱动的企业级数据仓库系统

通过对元数据建设和维护及其管理系统结构的深入研究,提出一种基于元数据驱动的企业级数据仓库系统架构。该系统架构采用关系模型数据结构,并通过元数据接口和元数据驱动引擎的设计开发将数据仓库中各模块的反馈信息与其元数据存储进行交互,实现由元数据驱动数据仓库系统的运作机制,解决了一直以来元数据难以更新维护、数据质量检查效率低的问题,提升了对企业级数据仓库的管控能力。     

数据仓库中基于实体化辅助视图的视图增量维护

为了加快对大量数据的查询处理速度，通常在数据仓库以实视图方式存储数据，当基础数据发生变化时，这些实视图也必须随着更新，因而视图自维护和一致性维护成为数据仓库的重要问题。本文提出利用视图计算的中间结果创建辅助视图，在数据仓库中进行实体化，采用有效的增量维护算法计算实视图的精确变化，实现数据仓库视图自维护。     

有效的近似数据方体维护算法

尽管利用预计算可以提高OLAP的查询效率,但是,由于存储空间的限制,预计算整个数据方体是不现实的.最近提出的综合数据方体通过将数据单元进行等价划分的方法解决了这个问题.然而,当数据源发生改变的时候,要对这样的数据方体进行维护是很困难的,即使只有一条元组发生了变化,所有的聚集值都必须重新计算,代价非常高.实际上,在有些应用环境中,人们更关注查询响应的速度,在查询结果的精度上可以放低一些要求.本文提出了如何对近似的综合数据方体进行增量维护的方法.实验证明,这些方法是非常有效的.     

数字电视机顶盒在线软件升级协议规范化

软件在线升级是数字电视机顶盒必备功能之一,存在的问题是不同厂商采用私有的方法,不利于产业的发展和数字电视有线网络的维护。在介绍数字电视机顶盒软件升级的常用方法基础上,采用标准数据轮播的方法进行软件升级。该方法使用简便,考虑了现有软件升级描述的需要,有利于在线软件升级协议规范化。     

一种维护分解的并行增量视图维护方法

实化视图维护是指在数据源的原始数据发生改变时,有效地将这种变化反映到数据仓库中,使相应的实化视图得到及时更新.当前的视图维护方法主要以C/S结构为基础,当更新频繁时将会导致数据仓库超载而崩溃.针对这种现状,提出基于维护查询任务进行分解的实化视图并行增量维护P3Sweep算法,算法修正了Sweep算法只能顺序处理的限制,赋予其并行处理能力.对于单个更新,P3Sweep算法通过对维护查询任务进行分解,并行执行左右扫描过程来完成维护演算;对于并发更新,算法通过递归分解方式进行细粒度并行演算.性能计算和实验测试结果表明,该方法增加了系统对更新的吞吐能力,减少了维护的延迟,从维护查询任务本身实施对实化视图维护的优化.     

支持What-if分析的OLAP多版本管理机制

针对What-if分析中的多版本更新管理需求,根据不同的假设更新实现技术,提出支持What-if分析的内存OLAP系统中的多版本更新策略,其中包括常规的递归假设更新和基于差值的多版本假设更新,采用预合并机制的delta记录合并算法来提高级联假设更新模式下的多版本What-if查询性能。实验表明,与常规的递归假设更新相比,该算法无论在减少多版本更新代价方面还是在减少整体What-if查询时间方面均有效。     

Dynamic non-dense indexes in relational databases

Indexes are a commonly used structure that provides fast access to the data. Their use imply storage and maintenance costs. This paper presents a technique to reduce index size, based on the elimination of tuple offsets in the classical B⁺ tree structure. It is shown that this technique gives advantages both in the tuple access and index maintenance.     

大型数据仓库实现技术的研究

大型数据仓库是实现海量数据存储的有效途径，但在大型数据仓库的实现中存在很多问题。在分析问题的基础上，对大型数据仓库的实现问题提出了一定的解决策略，对其中的几个关键技术即数据立方体的有效计算、增量式更新维护、索引优化、故障恢复、模式设计和查询优化的代价模型及元数据的定义和管理等作了研究。