NDSMMV——一种多维数据集物化视图动态选择新策略

物化视图的选择策略是数据仓库研究的重要问题之一.通过深入研究提出了一种多维数据集中物化视图动态选择的新策略--NDSMMV,包括候选视图生成算法CVGA、物化视图选择算法IGA、物化视图调整算法MAMV和物化视图动态调整算法DMAMV.CVGA基于多维数据格生成候选视图集,对候选视图数量进行压缩以减少后续算法的视图空间搜索代价和时间复杂度;IGA基于视图查询、视图维护和存储空间三元评价标准在候选视图集上进行物化视图的选择;MAMV基于物化视图选择过程已选视图的收益变化情况对物化视图进行进一步调整以提高查询的响应性能;DMAMV定时地判断查询视图类型分布是否变化来决定是否进行物化视图的动态调整,从而避免了物化视图集的"抖动".理论分析和实验结果表明该策略是有效可行的.     

一种改进的物化视图动态批量调整算法

针对物化视图集实时调整容易出现"抖动",物化视图集不稳定的缺点,本文提出一种改进的物化视图动态批量调整算法,根据在一个统计周期内收集到的查询调整物化视图集.算法先判断查询集合是否满足调整条件,若满足则根据视图访问频率生成候选视图,再调用物化视图批量选择算法;若不满足则调用物化视图集动态调整算法.该算法不需要频繁计算,而且查询集合能反映用户的查询趋势,调整后的物化视图集对用户查询具有较高的适应性.文中实验从执行时间、物化视图集整体性能等方面验证了该算法的有效性.     

物化视图选择的预处理算法

现有的静态物化视图选择算法的视图搜索代价较大，而导致算法的时间复杂度偏高，不能用于对物化视图进行在线动态调整．提出了一种物化视图选择的预处理算法——PMVS，其中包括用户查询集动态调整算法QSDM、候选视图格构造算法CVLC和候选视图筛选算法CVF，该算法可用做预处理过程对视图数量进行在线压缩，从而降低了静态算法的视图空间搜索代价和时间复杂度．理论分析和实验结果表明该算法是有效可行的．     

面向查询集覆盖的物化视图选择算法

为了解决大容量物理存储条件下数据仓库的物化视图选择问题,提出一种面向查询集覆盖的物化视图选择算法.首先给出了一些概念和定义,然后从视图集的多维数据格中抽取和裁剪出候选视图集,并定义视图物化的效益模型,最后在存储容量的限制下逐步淘汰收益最小的应答查询的冗余视图,得到覆盖所有查询的最优物化视图集.实验结果表明,该算法在较大物理存储条件下的物化视图选择效率优于以往算法,且能够消除物化视图在应答查询时存在的时延“抖动”现象,应答用户查询的平均时间也大为缩短.     

基于查询和相对收益的物化视图选择算法

为了改进数据仓库中物化视图选择策略,提出了基于查询和视图相对收益的动态选择算法BWCC.算法根据视图的尺寸,视图相对收益以及物化视图每项属性的权重构造初始选择集,并可以由用户设定初始视图权重.用户查询触发算法动态更新视图价值,对物化视图集按照视图相对收益大小排序并进行局部调整,到达全局更新周期时参考历史价值对物化视图集进行重新计算.实验结果表明,该算法相比于传统算法具有更高的查询命中率和适应性.     

数据仓库中物化视图的选择

物化视图是数据仓库中提高查询效率的有力方法，物化视图的选择一直是数据仓库领域的研究热点。通过对星型模型的研究，根据对数据仓库的常用查询及其执行概率，设计出一个候选视图的算法，并详细介绍了线性代价模型，在该模型和候选视图算法基础上，参照文献[4]提出一个改进的物化视图选择贪心算法。     

物化视图选择中权限因子的设计

物化视图是数据仓库中提高查询效率的有效手段,物化视图的选择一直是数据仓库领域的研究热点.通过研究和实验,提出在物化视图选择中加入权限因子,将各候选视图的权限值纳入算法评价函数的计算中,使最终得到的物化视图集既能面向企业基层提供OLAP查询,又能保证企业决策层OLAP查询的速度.     

为物化视图选择构造搜索空间的新策略IMVPP

数据仓库中物化视图选择算法的代价与搜索空间的尺寸紧密相关。提出了一种基于输入查询的公共子表达式的候选视图搜索空间构造方法IMVPP,利用算法1计算出的公共子表达式,能被其他查询共享,并可对输入查询进行重写,有利于缩减视图搜索空间,提高查询效率。理论分析与实验结果表明,此方法是有效、可行的。     

基于聚类的动态物化视图选择研究

物化视图选择方法大多是静态的,违背了联机分析处理和决策支持系统的动态本质.现有的动态算法也不能实现完全的动态化,为此提出了一种数据仓库中基于聚类的动态物化视图选择算法CBD-MVS(clustering-based dynamic materialized view selection),该算法采用层次聚类技术对用户查询语句进行聚类,提出视图合并算法建立候选物化视图,利用BPUS(benefit per unit space)算法生成最终应该被物化的视图.实验结果表明该算法是有效可行的,由于采用聚类技术,实现了完全的动态化.     

一种基于中间结果集的有效视图维护算法 *

物化视图的引入大大提高了决策支持和查询的响应效率,如何进行有效的视图维护成为研究的重点。对现有物化视图维护方法进行了分析,提出了利用多个物化视图的中间结果进行视图维护的思想。首先 ,结合单位空间增益、空间限制等因素 ,选择多个物化视图的公共表达式作为中间结果 ,并提出了确定中间结果集的具体算法;其次 ,利用已计算出的中间结果集进行多个视图的维护,给出了具体的维护算法 ;最后,通过分析和实验证明了该算法正确且效率有显著提高。     

静态物化视图的动态Cache优化算法

针对静态物化视图集动态适应能力的不足,提出一种动态cache优化算法DCO(dynamic cacheoptimization).它在保持静态算法获取最优物化集能力的基础上,将cache机制直观、快速的动态特性结合进来,以提高数据仓库的动态自适应性能.在cache机制具体实现中提出了一种新颖的空间申请方法,可以充分利用系统剩余空间提高查询响应性能.实验结果在表明算法有效、可行的同时,也显示出该算法可以在一定程度上克服静态物化集存在的空间-性能饱和效应(space-performance saturation effect,简称SPSE),使通过增加物化空间进一步提高数据仓库对查询的响应速度成为可能.     

Incremental Design of a Data Warehouse

A data warehouse (DW) can be seen as a set of materialized views defined over remote base relations. When a query is posed, it is evaluated locally, using the materialized views, without accessing the original information sources. The DWs are dynamic entities that evolve continuously over time. As time passes, new queries need to be answered by them. Some of these queries can be answered using exclusively the materialized views. In general though new views need to be added to the DW.In this paper we investigate the problem of incrementally designing a DW when new queries need to be answered and possibly extra space is allocated for view materialization. Based on an AND/OR dag representation of multiple queries, we model the problem as a state space search problem. We design incremental algorithms for selecting a set of new views to additionally materialize in the DW that: (a) fits in the extra space, (b) allows a complete rewriting of the new queries over the materialized views, and (c) minimizes the combined new query evaluation and new view maintenance cost. Finally, we discuss methods for pruning the search space so that efficiency is improved.     

基于遗传算法的物化视图优化方法

物化视图是提高数据仓库执行效率的有力方法,但是物化视图的保存会占用存储空间。本文把查询需要扫描的物化视图或事实表的空间大小作为查询时间开销,以查询的时间开销和物化视图的存储开销作为衡量标准建立代价估算模型,设计基于遗传算法的物化视图优化算法。目的是使系统在物化视图方面的存储开销和查询时间开销的和最小。试验结果表明算法可行。     

一种利用实化视图快速响应查询的技术

实化视图可以显著改进查询处理的性能，针对拥有大量实化视图的实际系统，提出了层次索引和视图合并两种方法来有效减少可能被利用的实化视图的搜索空间，还提出了实用的启发式算法以找出较优重写查询。实验表明，所给算法可用来快速地响应查询。     

一种实化视图的合并算法

对于拥有大量实化视图的实际数据库应用系统,提出了视图合并的方法以减少整个视图 的数量,缩减实化视图的搜索空间;还提出了归并树和基于归并树的快速有效的合并算法。实验表 明,实化视图的合并是快速寻找可能响应查询的实化视图的一种有效途径,可以显著改进查询处理的 性能。     

Finding an efficient rewriting of OLAP queries using materialized views in data warehouses

OLAP queries involve a lot of aggregations on a large amount of data in data warehouses. To process expensive OLAP queries efficiently, we propose a new method to rewrite a given OLAP query using various kinds of materialized views which already exist in data warehouses. We first define the normal forms of OLAP queries and materialized views based on the selection and aggregation granularities, which are derived from the lattice of dimension hierarchies. Conditions for usability of materialized views in rewriting a given query are specified by relationships between the components of their normal forms. We present a rewriting algorithm for OLAP queries that can effectively utilize materialized views having different selection granularities, selection regions, and aggregation granularities together. We also propose an algorithm to find a set of materialized views that results in a rewritten query which can be executed efficiently. We show the effectiveness and performance of the algorithm experimentally.     

实例化视图选择算法PBC

在数据仓库中,如何选择实例化视图是一个重要的问题。针对一类特定的数据立方体,该文提出了一个基于代价策略的实例化视图选择算法。通过对一个实际数据集的分析,发现在数据立方体中有很多父子视图具有相同的体积,其原因是用于产生数据立方体的基本关系的属性之间存在着密切的联系。显然,对这类数据立方体不能像算法PBS那样按照体积的大小来选择要实例化的视图。为此,设计了算法PBC,不但可以快速地给出满足条件的实例化视图集,而且可以准确地找到具有最短平均响应时间的实例化视图集,避免了在用户给出过大的参数时,实例化一些无益于缩短查询响应时间的视图。实验结果表明,算法PBC是有效的。     

Web数据集成系统基于QC模型的物化视图选择

在Web数据集成系统中,物化视图能够有效地减少网络传输代价,提高系统的查询效率．如何选择查询进行物化,使得选中的查询满足集成层的空间限制,同时获取最大物化收益,成为集成系统中一个迫切需要解决的问题．传统方法没有考虑到海量XML查询之间的包含关系,其选择的物化视图中可能包含冗余的信息．针对上述问题,提出了①Web数据集成系统中海量查询集合的QC(query containment)模型,该模型能够捕捉查询之间最常见的包含关系;②基于QC模型的物化视图选择算法,算法考虑了物化视图选择相关的主要因素,包括查询提交的频率、空间代价、查询重写能力和查询结果的完备性,提出了查询位图的物化视图组织方式,从而获取更加合理的物化视图选择方案．实验结果证明了该方法的有效性．