基于聚类的动态物化视图选择研究

物化视图选择方法大多是静态的,违背了联机分析处理和决策支持系统的动态本质.现有的动态算法也不能实现完全的动态化,为此提出了一种数据仓库中基于聚类的动态物化视图选择算法CBD-MVS(clustering-based dynamic materialized view selection),该算法采用层次聚类技术对用户查询语句进行聚类,提出视图合并算法建立候选物化视图,利用BPUS(benefit per unit space)算法生成最终应该被物化的视图.实验结果表明该算法是有效可行的,由于采用聚类技术,实现了完全的动态化.     

NDSMMV——一种多维数据集物化视图动态选择新策略

物化视图的选择策略是数据仓库研究的重要问题之一.通过深入研究提出了一种多维数据集中物化视图动态选择的新策略--NDSMMV,包括候选视图生成算法CVGA、物化视图选择算法IGA、物化视图调整算法MAMV和物化视图动态调整算法DMAMV.CVGA基于多维数据格生成候选视图集,对候选视图数量进行压缩以减少后续算法的视图空间搜索代价和时间复杂度;IGA基于视图查询、视图维护和存储空间三元评价标准在候选视图集上进行物化视图的选择;MAMV基于物化视图选择过程已选视图的收益变化情况对物化视图进行进一步调整以提高查询的响应性能;DMAMV定时地判断查询视图类型分布是否变化来决定是否进行物化视图的动态调整,从而避免了物化视图集的"抖动".理论分析和实验结果表明该策略是有效可行的.     

数据仓库中物化视图选择策略

为了提高决策支持和OLAP查询的响应效率,数据仓库多采用物化视图的思想.因此,物化视图的选择策略是数据仓库研究的重要问题之一.其目标是选出一组存储、维护代价与查询代价的总和为最小的物化视图.提出一个以MVPP(multi-view processing plan)为视图选择的搜索空间的物化视图选择新算法--VSMF(views selection base on multi-factor)算法.该算法在存储空间约束下同时实现多查询最优化和视图维护最优化.     

基于时间段查询的物化视图策略

物化视图是减少数据仓库中查询响应时间的有效方法.现有的物化视图选择策略主要考虑物化视图的初始选择方法以及动态更新方法.针对某时间段内查询进行物化视图更新的情况考虑不足,在贪心算法以及动态更新算法的基础上,提出了基于时间段内查询的物化视图更新策略.基于时间段查询的物化视图更新策略可充分适应用户需求,提高查询效率.     

Web数据集成系统基于QC模型的物化视图选择

在Web数据集成系统中,物化视图能够有效地减少网络传输代价,提高系统的查询效率．如何选择查询进行物化,使得选中的查询满足集成层的空间限制,同时获取最大物化收益,成为集成系统中一个迫切需要解决的问题．传统方法没有考虑到海量XML查询之间的包含关系,其选择的物化视图中可能包含冗余的信息．针对上述问题,提出了①Web数据集成系统中海量查询集合的QC(query containment)模型,该模型能够捕捉查询之间最常见的包含关系;②基于QC模型的物化视图选择算法,算法考虑了物化视图选择相关的主要因素,包括查询提交的频率、空间代价、查询重写能力和查询结果的完备性,提出了查询位图的物化视图组织方式,从而获取更加合理的物化视图选择方案．实验结果证明了该方法的有效性．     

基于格拉斯曼流形子空间融合的多视图聚类

现有的多视图聚类算法大多假设多视图数据点之间为线性关系,且在学习过程中无法保留原始特征空间的局部性;而在欧氏空间中进行子空间融合又过于单调,无法将学习到的子空间表示对齐。针对以上问题,提出了基于格拉斯曼流形融合子空间的多视图聚类算法。首先,将核技巧和局部流形结构学习结合以得到不同视图的子空间表示;然后,在格拉斯曼流形上融合这些子空间表示以得到一致性亲和矩阵;最后,对一致性亲和矩阵执行谱聚类来得到最终的聚类结果,并利用交替方向乘子法（ADMM）来优化所提模型。与核多视图低秩稀疏子空间聚类（KMLRSSC）算法相比,所提算法的聚类精度在MSRCV1、Prokaryotic、Not-Hill数据集上分别提高了20.83个百分点、9.47个百分点和7.33个百分点。实验结果验证了基于格拉斯曼流形融合子空间的多视图聚类算法的有效性和良好性能。     

基于三支决策的多视图低秩稀疏子空间聚类算法

多视图子空间聚类是一种从子空间中学习所有视图共享的统一表示, 挖掘数据潜在聚类结构的方法. 作为一种处理高维数据的聚类方法, 子空间聚类是多视图聚类领域的研究热点之一. 多视图低秩稀疏子空间聚类是一种结合了低秩表示和稀疏约束的子空间聚类方法. 该算法在构造亲和矩阵过程中, 利用低秩稀疏约束同时捕捉了数据的全局结构和局部结构, 优化了子空间聚类的性能. 三支决策是一种基于粗糙集模型的决策思想, 常被应用于聚类算法来反映聚类过程中对象与类簇之间的不确定性关系. 本文基于三支决策的思想, 设计了一种投票制度作为决策依据, 将其与多视图稀疏子空间聚类组成一个统一框架, 从而形成一种新的算法. 在多个人工数据集和真实数据集上的实验表明, 该算法可提高多视图聚类的准确性.     

半监督空间化竞争聚集算法及其在图像分割中的应用

经典竞争聚集( CA)算法在聚类时对于样本中的少量已知信息没有加以利用,但这些信息往往需要应用到整个聚类过程中。此外,在相似度度量函数的选择上CA算法使用常见的欧氏距离,然而欧氏距离仅适用于团状数据,制约了算法的应用范围。针对上述问题,通过引入具备半监督学习能力的半监督项对隶属度矩阵进行增强,利用聚类中心和中心邻近的点组成空间,把样本点与该空间的距离替代欧氏距离作为新的相似度度量标准,并给出判断聚类中心能否合并的阈值参数,最终得到半监督空间化CA算法。通过在人造图像和真实图像上的分割结果表明,该算法能够更准确地获取聚类类别数以及更好的聚类效果。     

基于概念分解的显隐空间协同多视图聚类算法

多视图聚类通过整合不同视图的特征以提升聚类性能.现有的多视图聚类更多地关注数据不同的低维表示方式和其在隐式空间的几何结构,而忽略数据样本在不同空间的结构关系,未同时考虑不同空间的聚类.为此,文中提出基于概念分解的显隐空间协同多视图聚类算法.首先,通过概念分解获取不同视图在隐式空间中的一个共同的低维特征表示,并利用图拉普拉斯正则化约束保持原始数据的局部结构不变.然后,将数据在显式空间中的聚类和隐式空间中的聚类整合到一个共同的框架中,进行协同学习和优化,得到最终的聚类结果.在8个真实数据集上的实验表明文中算法性能较优.     

基于多样性的多视图低秩稀疏子空间聚类算法

本文主要研究如何通过挖掘多视图特征的多样性信息来促进多视图聚类,提出了基于多样性的多视图低秩稀疏子空间聚类算法。该方法直接将视图多样性概念应用于多视图低秩稀疏子空间聚类算法框架中,确保不同视图的子空间表示矩阵的多样性;为了实现多个视图聚类一致性同时达到提高聚类性能的目标,在该框架中引入谱聚类算法共同优化求解。通过对3个图像数据集的实验验证了该算法的有效性,同时其聚类的性能优于已有的单视图及多视图算法。     

实例化视图选择算法PBC

在数据仓库中,如何选择实例化视图是一个重要的问题。针对一类特定的数据立方体,该文提出了一个基于代价策略的实例化视图选择算法。通过对一个实际数据集的分析,发现在数据立方体中有很多父子视图具有相同的体积,其原因是用于产生数据立方体的基本关系的属性之间存在着密切的联系。显然,对这类数据立方体不能像算法PBS那样按照体积的大小来选择要实例化的视图。为此,设计了算法PBC,不但可以快速地给出满足条件的实例化视图集,而且可以准确地找到具有最短平均响应时间的实例化视图集,避免了在用户给出过大的参数时,实例化一些无益于缩短查询响应时间的视图。实验结果表明,算法PBC是有效的。     

受限多维物化视图选择算法

受限物化视图的选择是当前数据仓库研究的最重要的问题之～。提出利用最小祖先树筛选视图,并结合改进的试探式策略进行物化视图选择的算法。该算法能有效地解决物化视图的两类问题。理论分析与实验结果表明在数据维度大、维层次复杂的情况下,与以往算法相比,该算法有着更优执行的效率。     

PMC: Select Materialized Cells in Data Cubes

QC-Tree is one of the most storage-efficient structures for data cubes in an MOLAP system. Although QC-Tree can achieve a high compression ratio, it is still a fully materialized data cube. In this paper, an improved structure PMC is presented allowing us to materialize only a part of the cells in a QC-Tree to save more storage space. There is a notable difference between our partially materialization algorithm and traditional materialized views selection algorithms. In a traditional algorithm, when a view is selected, all the cells in this view are to be materialized. Otherwise, if a view is not selected, all the cells in this view will not be materialized. This strategy results in the unstable query performance. The presented algorithm, however, selects and materializes data in cell level, and, along with further reduced space and update cost, it can ensure a stable query performance. A series of experiments are conducted on both synthetic and real data sets. The results show that PMC can further reduce storage space occupied by the data cube, and can shorten the time to update the cube.     

数据仓库中的实视图的选取

数据仓库设计中一个重要问题就是选取视图进行实体化。论文给出实视图代价估算模型,利用遗传规则,提出实视图选取的方法和策略。经实验证明,该算法达到了良好的效果,效率高。     

一种空间数据仓库动态物化视图选择算法

物化视图能够有效地提高空间数据仓库的查询效率,但由于空间操作的复杂性,传统数据仓库中物化视图的选择算法不能很好地应用于空间数据仓库。为了在存储空间约束下选择查询进行物化,并动态调整物化视图集,以适应用户查询的时变性和即席查询,提出了空间物化视图选择算法SMVS。实验结果表明该算法是有效可行的,不仅能够提高查询性能,而且解决了查询响应性能随用户查询分布变化而下降的问题。     

物化视图选择中权限因子的设计

物化视图是数据仓库中提高查询效率的有效手段,物化视图的选择一直是数据仓库领域的研究热点.通过研究和实验,提出在物化视图选择中加入权限因子,将各候选视图的权限值纳入算法评价函数的计算中,使最终得到的物化视图集既能面向企业基层提供OLAP查询,又能保证企业决策层OLAP查询的速度.     

Data mining-based materialized view and index selection in data warehouses

Materialized views and indexes are physical structures for accelerating data access that are casually used in data warehouses. However, these data structures generate some maintenance overhead. They also share the same storage space. Most existing studies about materialized view and index selection consider these structures separately. In this paper, we adopt the opposite stance and couple materialized view and index selection to take view–index interactions into account and achieve efficient storage space sharing. Candidate materialized views and indexes are selected through a data mining process. We also exploit cost models that evaluate the respective benefit of indexing and view materialization, and help select a relevant configuration of indexes and materialized views among the candidates. Experimental results show that our strategy performs better than an independent selection of materialized views and indexes.     

数据仓库中用于视图选择的增强遗传算法

物化视图选择问题是数据仓库设计中最重要的问题之一,为了高效地解决这一问题.提出了一个如何选择物化视图集的增强遗传算法,以便在存储空间约束的条件下,取得较好的查询性能和较低的视图维护代价.这一算法的核心思想在于,首先,运用一个基于单位空间最大收益值的预处理算法来生成初始解,然后,该初始解经采用了多种优化策略的遗传算法进行提高,这些优化策略包括:基于改进的锦标赛和精英选择相结合的选择算子、基于半均匀交叉算子及自适应变异算子.并且,在进化过程中产生的无效解用损失函数加以修补.试验结果表明,该算法在寻优性能上优于启发式算法和经典遗传算法.     

基于模拟退火算法的实体化视图动态选择方法

实体化视图选择问题是NP完全问题,我们通过研究和实验,提出了一种将模拟退火算法应用到实体化视图的动态选择中的方法。在定义了算法的状态、初始状态、目标函数及转换规则之后,深入讨论了模拟退火算法的参数选择对算法解的影响。最后的实验结果表明,模拟退火算法完全可以应用到实体化视图的动态选择中。