面向单记录的混合负载下物化视图异步增量维护任务生成

针对已有的混合负载（HTAP）下物化视图异步增量维护任务生成算法主要面向多记录,无法面向单记录生成HTAP物化视图异步增量维护任务,导致磁盘IO开销的增加,进而降低HTAP物化视图异步增量维护性能的问题,提出面向单记录的HTAP物化视图异步增量维护任务的生成方法。首先,建立面向单记录的HTAP物化视图异步增量维护任务生成的效益模型;然后,基于Q-learning设计面向单记录的HTAP物化视图异步增量维护任务的生成算法。实验结果表明,所提算法在实现面向单记录生成HTAP物化视图异步增量维护任务的基础上,将平均每秒读写操作次数（IOPS）、平均CPU利用率（2核）和平均CPU利用率（4核）至少分别降低了8.49次、1.85个百分点和0.97个百分点。     

面向XML物化视图远程增量维护的版本管理技术研究

Web应用中以XML为格式的信息查询通常会受到网络传输速度有限等因素的影响.为了减少XML的物化视图与其数据源之间的一致性维护中所需的网络数据传输开销,提出了一种面向远程的XML物化视图增量维护的方法.这种方法根据多用户的查询请求和数据源更新信息,生成视图维护程序代码,以程序代码的网络迁移代替XML视图的重复查询,有效地减少了网络数据传输量.重点介绍了增量维护过程中处于核心的版本管理控制方法,用于维护不同时刻数据更新所对应的视图更新程序代码,有效地适应了多用户各种物化视图的维护需求,并且给出了物化视图增量维护的系统框架.     

XML物化视图远程增量维护在试验任务数据接口同步中的应用

在试验任务中引入XML文档数据接口,一方面提高了远程数据查询分析的效率,另一方面也产生了XML物化视图的维护带来的高系统开销的问题.针对该问题,采用XML物化视图远程增量维护的方法,通过系统原型设计、系统部署、同步机制,可有效地实现试验任务数据接口同步.结果表明,在不影响试验任务数据处理与传输的实时性及可靠性的条件下,XML物化视图远程增量维护有效地实现了指挥显示系统数据接口的一致性.     

XQuery物化视图增量更新系统框架的研究

在Web应用中,以XML为格式的信息查询通常会受到网络传输速度有限等因素的影响。为了减少XML的物化视图与其数据源之间的一致性维护中所需的网络数据传输开销,提出了一种面向远程的XML物化视图增量维护方法和系统框架。这种方法根据多用户的查询请求和数据源更新信息,生成视图维护程序代码,以程序代码的网络迁移代替XML视图的重复查询,有效地减少了网络数据传输量。介绍了物化视图增量维护的基本原理、系统框架以及设计实现思路。最后通过性能测试,说明这种增量维护系统能够有效地减少传输开销。     

基于多实化视图增量维护的基库生成算法

数据仓库的维护是数据仓库应用中的一个十分重要的问题,近几年产生了很多的维护算法。已有的维护算法多是针对单个实化视图的维护;或只针对简单SPJ视图的维护;或只针对聚集函数的维护;而实际的数据仓库大多是由包含聚集函数的多个实化视图组成。因此综合考虑包含聚集函数的多个实化视图的维护问题是必然的。文章正是在此情况下提出了一种基于多实化视图增量维护的基库生成算法,在《基于基库的多实化视图增量维护算法》中提出了包含聚集函数的多实化视图的维护算法。     

OODB中连接类视图的物化和增量保持技术

目前,对数据库视图的物化和增量保持技术已有很多讨论,但对ＯＯＤＢ视图的物化和增量保持基本上局限于ＩＳＡ关系由单个类导出视图的范围内,而对于由两个或多个类通过连接操作导出的视图这一范围尚无涉及,该文提出了基于这一范畴的视图物化和增量保持的一种数据模式和基于该模式的增量保持技术。     

基于多维护策略的物化视图选择方法

物化视图是数据仓库环境中提高OLAP查询效率的重要手段，因此，物化视图的选择是数据仓库设计中重要的决策之一。本文提出的物化视图选择方法目标是选择合适的视图进行物化，使得查询处理的总代价和物化视图的维护代价最低，提出了物化视图收益模型，并在此基础上基于视图的多维护策略提出了物化视图选择的方法：基于增量和重计算的物化视图选择算法IRMVS、基于增量策略的物化视图选择算法IMVS和基于重计算策略的物化视图选择算法RMVs和基于增量策略的物化后代视图选择算法IMDVS，理论分析和实验表明这些算法是有效可行的。     

增量式ETL工具的研究与实现

利用数据源的增量数据对数据仓库进行维护,可以有效提高ETL效率.现有通用ETL工具在增量抽取方面存在…些问题,如不能抽取多个异构数据源的增量数据以及在处理增量数据时造成数据丢失的异常问题.本文从实践角度设计的增量式ETL工具采用集成多种增量数据捕获方式,解决异构数据源在捕获增量数据上的差异;在数据处理过程中,通过辅助表的手段解决了数据丢失的问题.在文章的最后,还介绍了ETL过程中数据转换和转换调度的实现.     

含聚集物化视图的增量维护方法

针对含聚集物化视图的增量维护问题,提出了一种基于逐步更新思想的增量维护模型和方法.该方法建立了聚集函数计算前查询结果与基表记录之间的映射关系表,并根据映射关系表的增量变化更新物化视图的聚集函数.针对之前方法对于MAX/MIN聚集函数增量更新的不足,在仅利用增量数据不能更新聚集函数值时,采用仅重新计算映射关系表中相关行的MAX/MIN函数值的方法,极大地减小了更新MAX/MIN聚集函数的计算量.在OSCAR数据库的应用表明了该方法的有效性和高效性.     

数据仓库实化视图的联机维护

数据仓库实化视图的联机维护是数据仓库系统维护的一项关键技术,采用这种技术,能够在不影响用户正常业务的情况下,实现数据仓库中实化视图数据的及时更新。但联机分析处理（OLAP）作为数据仓库的一个主要应用,在数据仓库实化视图的联机维护过程中会产生严重的数据不 一致问题。为了解决这个问题,引入“维护库”（Maintaining Database)的概念,提出基于事务触发的视图维护算法TVM,采取应答机制,达到数据的一致性。     

数据仓库实体化视图一致性维护与下查研究

实体化视图作为数据仓库中存储的主要信息实体是由对上一级或外部数据源进行抽取、转化、传输和上载的数据构成的.当源数据发生变化时,如何进行数据仓库实体化视图的一致性维护以及0LAP查询,是一个有着实际意义的研究课题.本文提出一个改进性算法Glide*,该算法采用补偿思想来协调源数据库及实体化视图的一致性,从而对系统内存开销及维护工作量方面都有很大的改进.文章还通过一个示例说明了该算法在实际中的具体运用.     

数据源集成系统中全局模板的增量维护策略

异构数据源集成系统需要集成包括ＷＷＷ在内的各种数据源,一些半结构化数据对应的模式不仅量大且修改频繁,致使元数据的生成十分耗时．该文提出全局模板的增量维护策略．当局部模板发生变化时,利用局部模板的改变量（即模板增量）来计算全局模板的增量,进而修改全局模板．模板增量是传统实视图维护技术中增量概念的扩展,它不仅能描述对象结构特征的改变量,还能描述对象行为特征的改变量,易于表达各种数据源的模式变化.     

一种数据仓库联机维护的集合刷新算法

提出了一种版本控制集合刷新算法（VSRA）.它采用增量维护、版本控制和批处理机制保证数据仓库的联机维护和数据一致性.VSRA不仅减少了数据库和数据仓库之间的通信流量,而且提高了实体化视图的刷新效率.用户可以随时使用VSRA进行联机分析处理,并能得到正确的结果.     

数据仓库中时态视图的维护

数据仓库的一个重要用途是利用时态视图向用户提供历史信息.因为在传统关系数据模型中增加了对时间的支持,而且时态视图的更新不仅来自于基表更新,还包括时间前进,所以,目前对非时态视图维护的研究成果不适用于时态视图,并且已有的一些时态视图维护算法也不适用于数据仓库.以历史关系模式为对象,根据增量式维护方法的原理,采用纯删除、纯插入的计算方法,用代数语言给出了5种基本历史关系代数运算的更新传播算法,由这5种历史关系代数组合定义的时态视图都可用迭代方法得到其增量维护计算式.所采用的纯删除、纯插入思想也可移用于其他历史     

Detecting redundant materialized views in data warehouse evolution

A data warehouse (DW) can be abstractly seen as a set of materialized views defined over a set of remote data sources. A DW is intended to satisfy a set of queries. The views materialized in a DW relate to each other in a complex manner, through common subexpressions, in order to guarantee high query performance and low view maintenance cost. DWs are time varying. As time passes new materialized views are added in order to satisfy new queries, or for performance reasons, while old queries are dropped. The evolution of a DW can result in a redundant set of materialized views. In this paper, we address the problem of detecting redundant materialized views in a given DW view selection, that is, materialized views that can be removed from DW without negatively affecting the query evaluation or the view maintenance process. Using an AND/OR dag representation for multiple queries and views, we first formalize the process of propagating source relation changes to the materialized views by exploiting common subexpressions between views and by using other materialized views that are not affected by these changes. Then, we provide an algorithm for detecting materialized views that are not needed in the process of propagating source relation changes to the DW. We also show how trivially redundant views can be identified in this process. Finally, we use these results to provide a procedure for detecting materialized views that are redundant in a DW. Our approach considers a broad class of views that includes grouping/aggregation views and is not dependent on a specific cost model.     

分布式数据源的实视图维护算法研究

数据仓库作为决策支持系统的集成化数据中心,其数据可以认为是定义在多个不同数据源的实视图集。近年来数据仓库中实视图维护算法的研究激起很多学者的重视。当多个独立的数据源出现并发更新时传统的实视图维护算法可能导致视图维护异常,本文提出了一个双向扫描并行处理实视图维护(BSP)算法,能确保实视图与数据源的完全一致性,并通过实验与其它类似的算法进行了比较,说明本算法具有较高的效率。     

InterBase-KB: integrating a knowledge base system with a multidatabase system for data warehousing

This paper describes the integration of a multidatabase system and a knowledge-base system to support the data-integration component of a data warehouse. The multidatabase system integrates various component databases with a common query language; however, it does not provide capability for schema integration and other utilities necessary for data warehousing. In addition, the knowledge base system offers a declarative logic language with second-order syntax but first-order semantics for integrating the schemes of the data sources into the warehouse and for defining complex, recursively defined materialized views. Furthermore, deductive rules are also used for cleaning, checking the integrity and summarizing the data imported into the data warehouse. The knowledge base system features an efficient incremental view maintenance mechanism that is used for refreshing the data warehouse, without querying the data sources.     

数据仓库中基于实体化辅助视图的视图增量维护

为了加快对大量数据的查询处理速度，通常在数据仓库以实视图方式存储数据，当基础数据发生变化时，这些实视图也必须随着更新，因而视图自维护和一致性维护成为数据仓库的重要问题。本文提出利用视图计算的中间结果创建辅助视图，在数据仓库中进行实体化，采用有效的增量维护算法计算实视图的精确变化，实现数据仓库视图自维护。     

Incremental Design of a Data Warehouse

A data warehouse (DW) can be seen as a set of materialized views defined over remote base relations. When a query is posed, it is evaluated locally, using the materialized views, without accessing the original information sources. The DWs are dynamic entities that evolve continuously over time. As time passes, new queries need to be answered by them. Some of these queries can be answered using exclusively the materialized views. In general though new views need to be added to the DW.In this paper we investigate the problem of incrementally designing a DW when new queries need to be answered and possibly extra space is allocated for view materialization. Based on an AND/OR dag representation of multiple queries, we model the problem as a state space search problem. We design incremental algorithms for selecting a set of new views to additionally materialize in the DW that: (a) fits in the extra space, (b) allows a complete rewriting of the new queries over the materialized views, and (c) minimizes the combined new query evaluation and new view maintenance cost. Finally, we discuss methods for pruning the search space so that efficiency is improved.