并行数据库的改进Hash划分方法及并行Join算法

文中提出了Ｈａｓｈ划分的改进方法－－ＩＨ划分,ＩＨ划分为结点扩充时数据的重新划分提供了方便,在论述ＩＨ划分的基础上,给出了基于该数据划人垢并行Ｊｏｉｎ算法,利用已有数据分布,文中提出的并行Ｊｏｉｎ算法提高算法的效率。最后,从理论上对以上并行算法的计算复杂性进行了分析。     

数据仓库中档案数据的并行导入

要在数据仓库中导入档案数据必须考虑导入的速度问题,因此提出了基于客户机/服务器模式的档案数据并行导入的方案。在整个处理流程中,数据整合是实现并行导入的关键步骤,详细描述了历史数据并行整合的方法。最后,通过模拟实验对并行性的性能进行了分析讨论。     

并行光线跟踪中的数据划分策略

提出了一种新的场景数据分割方法,以待计算的象素点来决定场景数据的有效分割,克服了以往盲目分割数据所带来的光线在处理机间的频繁交换,从而减小了通信开销。     

并行PDBMS的数据划分方法

该文系统地分析了并行关系数据库的数据划分方法,指出在不同应用中,数据划分方法极大地影响了系统的性能,提出了综合不同方法以适应不同应用的思想。文章介绍了在并行关系数据库系统产ＤＢＭＳ中实现多种划分的方法。     

基于划分的数据仓库查询归并技术及其应用

在数据仓库中存在着大量的数据，对这些数据的查询与处理要消耗大量的资源，解决这一问题的有效办法是先将数据划分为便于处理的数据块，再对数据块进行处理，最后将处理结果进行归并。介绍了常用的基于划分的数据仓库查询归并技术及其在VB中的应用，并结合自己的编程经验给出了例证。     

并行数据操作算法和查询优化技术

本文是并行数据库的查询处理并行化技术和物理设计方法”一文的续篇，继续综述并行数据库系统的另外两个重要研究领域：并行数据操作算法和并行数据库查询优化技术．最后，作为并行数据库系统研究与进展情况综述的结尾，本文将探讨并行数据库系统今后的研究方向和问题．     

基于划分的数据仓库查询归并缓冲算法

在数据仓库中存在着大量的数据。联机分析处理包含着对大量数据的复杂的查询过程。在对这些数据的存储与查询中都遇到了许多困难。解决这一问题的有效办法就是先将数据划分成便于处理的数据块,再分别对每个数据块进行处理,最后将个数据块的处理结果归并在一起。对几种常用的归并算法进行了比较,并讨论了归并中的缓冲区分配问题。     

数据仓库上的Gcube操作

1 问题的提出商业和企业界认为,数据仓库上的联机分析处理(OLAP)应用是决策分析的关键。支持OLAP应用的多维数据模型正在得到人们的普遍接受。在多维数据模型中,数据记录中的某些域或属性被选作度量属性,其它域或属性被称为维属性或函数属性。在多维数据库中,具有相同函数属性值的数据记录的度量属性值集合组合为一个聚集值(通过聚集函数)。多维数据库可以视为由维属性值索引的多维数组,每个数组单元存储相应的维属性值组合所对应的度量属性值集合的聚集值。以后,在不引起混淆的情况下,我们把多维数据库简单地称为关系。多维数据库通常也称为Cube。人们把产生多维数据库的     

基于HRR划分的并行RDB~n树Join算法

文章首先介绍了PDBMS采用的Hash-Round-Robin(HRR)数据划分方法以及基于该划分方法的并行RDBn树,最后着重、详细地给出了基于该树的并行Join算法,分析了该算法的效率。     

Core – An Optimal Data Placement Strategy in Hadoop for Data Intentitive Applications Based on Cohesion Relation

The tremendous growth of data being generated today is making storage and computing a mammoth task. With its distributed processing capability Hadoop gives an efficient solution for such large data. Hadoop’s default data placement strategy places the data blocks randomly across the nodes without considering the execution parameters resulting in several lacunas such as increased execution time, query latency etc., Also, most of the data required for a task execution may not be locally available which creates data-locality problem. Hence we propose an innovative data placement strategy based on dependency of data blocks across the nodes. Our strategy dynamically analyses the history log and establishes relationship between various tasks and blocks required for each task through Block Dependency Graph (BDG). Then Our CORE-Algorithm re-organizes the HDFS layout by redistributing the data blocks to give an optimal data placement, resulting in improved performance for Big Data sets in distributed environment. This strategy is tested in 20-node cluster with different real-world MR applications. The results conclude that proposed strategy reduces the query execution time by 23%, improves the data locality by 50.7%, compared to default.     

数据仓库初探

作为未来数据库技术的一个新的发展方向,BW技术与DB技术的结合产生的集成一致的环境,将使企业在决策中更快地获得更准确的信息。本文着重阐述了数据仓库的基本概念、特征、有关术语和体系结构,并介绍了数据仓库的发展前景。     

基于Web的数据仓库安全模型分析与探讨

对基于Web数据仓库安全隐患进行了深入的分析,在此基础上提出了基于Web的数据仓库安全策略模型及标准。     

基于并行磁盘阵列的视频数据布局

分析了大规模视频存储服务器的性能指标要求、体系结构、数据布局和准入控制等问题,提出了基于并行磁盘阵列上的、可满足用户多QoS要求的、基于三层可扩展的MPEG2视频编码的多分段视频存储方案,比已有的平衡放置、周期放置等方案能提供更好的灵活性、更高的可扩展性。     

数据仓库技术及实施

介绍了数据仓库的基本概念,针对数据仓库建立对创建数据仓库的过程进行了分析,对实现数据抽取、数据仓库的存储和管理等进行分析和比较。     

数据仓库与数据挖掘技术

数据挖掘是一新兴的技术,近年对其研究正在蓬勃开展。本文阐述了数据仓库及数据挖掘的相关概念,做了相应的分析,同时共同探讨了两者共同发展的关系,并对数据仓库与挖掘技术结合应用的发展做了展望。     

数据仓库与OLAP技术的应用研究

该文介绍了联机分析处理OLAP的概念,分析了OLAP在数据仓库中的应用,并介绍了一个OLAP工具及其应用实例。     

关于数据仓库若干关键技术的研究

介绍数据仓库系统的基本结构 ，讨论了建立数据仓库的几个关键技术和实现方法，并比较了各种方法 的优缺点，以便在数据仓库的实施中选择高效的技术方案。     

基于数据仓库的数据预处理过程模型

现阶段的数据挖掘研究工作主要集中于挖掘核心算法方面，忽视了对数据预处理的研究。本文将数据预处理无缝集成于数据仓库的构建过程中，提出了一种数据预处理过程模型，对企业成功实施数据挖掘应用做出了有益的探索。     

数据仓库、数据挖掘和OLAP分析及其应用实例

在日益激烈的市场竞争中，海量信息的存储、挖掘而得到的任何与消费者行为有关的信息对商家来说都是非常宝贵的。概要介绍了数据仓库、数据挖掘和联机分析处理（O－LAP分析）等概念，并介绍了一个工具SAS及其在网站访问量分析中的应用实例。