基于划分的数据仓库查询归并技术及其应用

在数据仓库中存在着大量的数据，对这些数据的查询与处理要消耗大量的资源，解决这一问题的有效办法是先将数据划分为便于处理的数据块，再对数据块进行处理，最后将处理结果进行归并。介绍了常用的基于划分的数据仓库查询归并技术及其在VB中的应用，并结合自己的编程经验给出了例证。     

数据仓库环境下基于知识的智能查询

提出了数据仓库环境下基于知识的智能查询方法－－KBIQ方法,详细介绍了该方法中的NQL语言和KBDL语言,并阐述了一个通用智能查询工具－－KBIQ系统的实现。     

基于查询优化的虚拟数据仓库模型

1 虚拟数据模型概述虚拟数据仓库技术因为其开放灵活的体系结构、以需求为驱动、无限的扩展性等优点而越来越引起人们的关注,相比传统数据仓库以供给为驱动的特点,虚拟数据仓库对有很多不同时期、不同构、复杂的数据源的大公司大企业来说有巨大的吸引力。本文在此技术的基础上,提出了一个基于查询优化的虚拟数据仓库模型,它使用多层次分布式的数据结构,在     

数据仓库中维的建模和查询

维是数据仓库的重要组成部分，也是OLAP的主要查询对象，但标准的星形／雪花模型对实际应用中维的建模存在明显缺陷，而且SQL语言对维实体、维层次结构不能提供直接、有效的支持，使得OLAP查询的表达较为繁琐、冗长。为此，提出了一个基于关系数据库的SQL（D）数据模型，它给出了层次链、层次树、维的正式定义，支持不平衡、异构的维层次结构；并对SQL作了相应的扩充，支持维的定义、维层次比较、维的引用和维聚集层次的指定，使得原先冗长、复杂的OLAP查询表达式变得简洁、易于理解。最后对扩充的语义给出实现算法。     

基于数据仓库的进销存管理系统

论述了决策支持系统中的数据仓库模型，对多维分析OLAP工具进行了详细分析。在此基础上，介绍了基于数据仓库的决策支持系统在进销存管理中的实现。     

基于数据仓库的热电厂综合查询系统的实现

数据仓库是面向主题的、集成的、稳定的数据集合。典型的数据仓库应用系统是以数据仓库为基础，包括查询与分析工具在内的一整套技术。本文以热电生产企业为例，论述了创建热电厂数据仓库的一般方法、步骤、并介绍了数据仓库的前端访问工具－－综合查询系统的设计实现。     

超大型压缩数据仓库的查询研究

查询速度是联机分析处理中的一个关键性能指标,人们通过事先生成所有可能的聚集来提高查询速度,然而这样的完全物化是以存储空间为代价的.针对数据立方体数据分布特点和结合压缩技术,本文介绍如何最大化节省存储空间来进行完全物化,然后在此基础上对查询进行了研究,以达到最小存储空间以及较好的查询速度的目的.     

浅论基于数据仓库的决策支持系统

近年出现的数据仓库技术为决策支持系统的研究与发展注入了新的活力。本文概述了数据仓库技术,并提出了基于数据仓库的决策支持系统的完整解决方案。     

数据挖掘：数据仓库构架的拓展

数据挖掘技术能有效地协助企业发现数据创库数据中潜茂的特性曲线，这种曲线能帮助它们了解市场可能出现的变化。本文将阐述数据挖掘方式、框架和技术。     

数据仓库查询处理中的一种多表连接算法

在进行数据仓库的OLAP(onlineanalyticalprocessing,联机分析处理)查询处理时,经常会涉及到多表连接操作,因此,提高多表连接的性能就成了数据仓库领域的关键性问题.基于数据仓库的星型模式,给出了一种新的多表连接算法(M-Join).与传统关系数据库管理系统的多表连接查询处理相比,该算法充分考虑了数据仓库中的数据本身和多表连接的特点,采用对多个表进行一次性连接的方法,使得查询的性能有明显的改善.同时,还给出了算法的实验结果和分析.     

Data Partitioning for Parallel Spatial Join Processing

The cost of spatial join processing can be very high because of the large sizes of spatial objects and the computation-intensive spatial operations. While parallel processing seems a natural solution to this problem, it is not clear how spatial data can be partitioned for this purpose. Various spatial data partitioning methods are examined in this paper. A framework combining the data-partitioning techniques used by most parallel join algorithms in relational databases and the filter-and-refine strategy for spatial operation processing is proposed for parallel spatial join processing. Object duplication caused by multi-assignment in spatial data partitioning can result in extra CPU cost as well as extra communication cost. We find that the key to overcome this problem is to preserve spatial locality in task decomposition. In this paper we show that a near-optimal speedup can be achieved for parallel spatial join processing using our new algorithms.     

数据仓库系统中层次式Cube存储结构

区域查询是数据仓库上支持联机分析处理(on-line analytical processing,简称OLAP)的重要操作.近几年,人们提出了一些支持区域查询和数据更新的Cube存储结构.然而这些存储结构的空间复杂性和时间复杂性都很高,难以在实际中使用.为此,提出了一种层次式Cube存储结构HDC(hierarchical data cube)及其上的相关算法.HDC上区域查询的代价和数据更新代价均为O(log^dn),综合性能为O((logn)^2d)(使用C_qC_u模型)或O(K(logn)^d)(使用C_qn_q+C_un_u模型).理论分析与实验表明,HDC的区域查询代价、数据更新代价、空间代价以及综合性能都优于目前所有的Cube存储结构.     

Parallel Distributive Join Algorithm on the Intel Paragon

In this paper, we analyze the performance of the parallel Distributive Join algorithm that we proposed in Chung and Yang 1995. We implemented the algorithm on an Intel Paragon machine and analyzed the effect of the number of processors and the join selectivity on the performance of the algorithm. We also compared the performance of the Distributive Join (DJ) algorithm with that of the Hybrid-Hash(HH) join algorithm. Our results show that the DJ performs comparably with the HH over the entire range of number of processors used and different join selectivities. A big advantage of the parallel DJ algorithm over the HH join algorithm is that it can easily support non-equijoin operations. The results can also be used to estimate the performance of file I/O intensive applications to be implemented on the Intel Paragon machine.     

基于PC集群的并行数据仓库架构

针对数据仓库规模不断增长而导致难以确保即席查询分析性能的问题,提出一种构建在PC集群上的并行数据仓库架构——HDW,采用Google的GFS和Bigtable技术进行分布式存储管理,采用MapReduce技术进行并行联机分析处理,为前台应用程序提供遵循XMLA规范的统一接口。在18个节点的集群上进行实验,结果表明,HDW系统扩展性好,能快速处理至少千万条元组的数据。     

基于CUDA的并行K-近邻连接算法实现

针对大规模空间数据的K-近邻连接查询问题,设计了一种CUDA编程模型下K-近邻连接算法的并行优化方法。将K-近邻连接算法的并行过程分两个阶段:1)对参与查询的数据集P和Q分别建立R-Tree索引;2)基于R-Tree索引进行KNNJ查询。首先根据结点所在位置划分最小外包框,在CUDA下基于递归网格排序算法创建R-Tree索引。然后在CUDA下基于R-Tree索引进行KNNJ查询,其中涉及并行求距离和并行距离排序两个阶段:求距离阶段利用每一个线程计算任意两点之间的距离,点与点之间距离的求取无依赖并行;排序阶段将快速排序基于CUDA以实现并行化。实验结果表明,随着样本量的不断增大,基于R-Tree索引的并行K-近邻连接算法的优势更加明显,具有高效性和可扩展性。     

海量高维向量的并行Top-k连接查询

在很多应用领域中,向量的Top-k连接查询是一种很重要的操作,给定两个向量集合R和S,Top-k连接查询要求从R和S中返回距离最小的前k个向量对.由于数据的海量性和高维特性,传统的集中式算法已经无法在可接受的时间内完成连接查询任务.MapReduce作为一个并行处理框架,能够有效地处理大规模数据.由于其高可扩展性、高可用性等特点,MapReduce已经成为海量数据处理的首选实现方案,在很多领域都得到了广泛的应用.文中基于分段累积近似法对高维向量进行降维,然后利用符号累积近似法对高维向量进行分组;在此基础上,结合MapReduce框架,提出了基于SAX的并行Top-k连接查询算法.实验表明,文中所提方案具有良好的性能和扩展性.     

并行数据库数据分布策略研究

数据分布是并行数据库系统实现的基础,其方法的优劣,直接影响到并行数据库的运行效率。通过对一维、多维几种数据分布方法的分析、对比,阐述并行数据库数据分布策略及方向。     

Parallel Data Cube Storage Structure for Range Sum Queries and Dynamic Updates

I/O parallelism is considered to be a promising approach to achieving high performance in parallel data warehousing systems where huge amounts of data and complex analytical queries have to be processed. This paper proposes a parallel secondary data cube storage structure (PHC for short) to efficiently support the processing of range sum queries and dynamic updates on data cube using parallel computing systems. Based on PHC, two parallel algorithms for processing range sum queries and updates are proposed also. Both the algorithms have the same time complexity, O(logdn/P). The analytical and experimental results show that PHC and the parallel algorithms have high performance and achieve optimum speedup.     

基于滑动窗口的数据流连接聚集查询降载策略

基于单个数据流的滑动窗口聚集查询降载技术和数据流连接技术,提出滑动窗口模型下的数据流连接聚集查询降载策略,给出判断系统是否过载的负载方程和使过载系统恢复到轻载状态的降载算法,使降载后的查询结果同时拥有较小的相对误差和最大的元组输出率。实验结果表明,该降载策略具有较好的可行性和适应性。