共查询到20条相似文献,搜索用时 62 毫秒
1.
并行数据库的改进Hash划分方法及并行Join算法 总被引:3,自引:0,他引:3
文中提出了Hash划分的改进方法--IH划分,IH划分为结点扩充时数据的重新划分提供了方便,在论述IH划分的基础上,给出了基于该数据划人垢并行Join算法,利用已有数据分布,文中提出的并行Join算法提高算法的效率。最后,从理论上对以上并行算法的计算复杂性进行了分析。 相似文献
2.
要在数据仓库中导入档案数据必须考虑导入的速度问题,因此提出了基于客户机/服务器模式的档案数据并行导入的方案。在整个处理流程中,数据整合是实现并行导入的关键步骤,详细描述了历史数据并行整合的方法。最后,通过模拟实验对并行性的性能进行了分析讨论。 相似文献
3.
4.
并行PDBMS的数据划分方法 总被引:1,自引:0,他引:1
该文系统地分析了并行关系数据库的数据划分方法,指出在不同应用中,数据划分方法极大地影响了系统的性能,提出了综合不同方法以适应不同应用的思想。文章介绍了在并行关系数据库系统产DBMS中实现多种划分的方法。 相似文献
5.
6.
本文是并行数据库的查询处理并行化技术和物理设计方法”一文的续篇,继续综述并行数据库系统的另外两个重要研究领域:并行数据操作算法和并行数据库查询优化技术.最后,作为并行数据库系统研究与进展情况综述的结尾,本文将探讨并行数据库系统今后的研究方向和问题. 相似文献
7.
8.
数据仓库上的Gcube操作 总被引:1,自引:0,他引:1
1 问题的提出商业和企业界认为,数据仓库上的联机分析处理(OLAP)应用是决策分析的关键。支持OLAP应用的多维数据模型正在得到人们的普遍接受。在多维数据模型中,数据记录中的某些域或属性被选作度量属性,其它域或属性被称为维属性或函数属性。在多维数据库中,具有相同函数属性值的数据记录的度量属性值集合组合为一个聚集值(通过聚集函数)。多维数据库可以视为由维属性值索引的多维数组,每个数组单元存储相应的维属性值组合所对应的度量属性值集合的聚集值。以后,在不引起混淆的情况下,我们把多维数据库简单地称为关系。多维数据库通常也称为Cube。人们把产生多维数据库的 相似文献
9.
10.
文章首先介绍了PDBMS采用的Hash-Round-Robin(HRR)数据划分方法以及基于该划分方法的并行RDBn树,最后着重、详细地给出了基于该树的并行Join算法,分析了该算法的效率。 相似文献
11.
The tremendous growth of data being generated today is making storage and computing a mammoth task. With its distributed processing capability Hadoop
gives an efficient solution for such large data. Hadoop’s default data placement strategy places the data blocks randomly across the nodes without considering
the execution parameters resulting in several lacunas such as increased execution time, query latency etc., Also, most of the data required for a task execution
may not be locally available which creates data-locality problem. Hence we propose an innovative data placement strategy based on dependency of data
blocks across the nodes. Our strategy dynamically analyses the history log and establishes relationship between various tasks and blocks required for each
task through Block Dependency Graph (BDG). Then Our CORE-Algorithm re-organizes the HDFS layout by redistributing the data blocks to give an optimal
data placement, resulting in improved performance for Big Data sets in distributed environment. This strategy is tested in 20-node cluster with different
real-world MR applications. The results conclude that proposed strategy reduces the query execution time by 23%, improves the data locality by 50.7%,
compared to default. 相似文献
12.
13.
14.
15.
16.
数据挖掘是一新兴的技术,近年对其研究正在蓬勃开展。本文阐述了数据仓库及数据挖掘的相关概念,做了相应的分析,同时共同探讨了两者共同发展的关系,并对数据仓库与挖掘技术结合应用的发展做了展望。 相似文献
17.
该文介绍了联机分析处理OLAP的概念,分析了OLAP在数据仓库中的应用,并介绍了一个OLAP工具及其应用实例。 相似文献
18.
关于数据仓库若干关键技术的研究 总被引:6,自引:0,他引:6
介绍数据仓库系统的基本结构 ,讨论了建立数据仓库的几个关键技术和实现方法,并比较了各种方法 的优缺点,以便在数据仓库的实施中选择高效的技术方案。 相似文献
19.
现阶段的数据挖掘研究工作主要集中于挖掘核心算法方面,忽视了对数据预处理的研究。本文将数据预处理无缝集成于数据仓库的构建过程中,提出了一种数据预处理过程模型,对企业成功实施数据挖掘应用做出了有益的探索。 相似文献
20.
数据仓库、数据挖掘和OLAP分析及其应用实例 总被引:5,自引:0,他引:5
在日益激烈的市场竞争中,海量信息的存储、挖掘而得到的任何与消费者行为有关的信息对商家来说都是非常宝贵的。概要介绍了数据仓库、数据挖掘和联机分析处理(O-LAP分析)等概念,并介绍了一个工具SAS及其在网站访问量分析中的应用实例。 相似文献