基于负载平衡的并行JOIN关系划分粒度研究

Based on the analysis of the task sizes and the load, this paper discussps the granularity ofrelation spliting in the spliting phase taking acount of task load being less than average load,andprobes into the relationship between the granularity and load balancing. The minimum number ofbuckets is determined on the basis of relation spliting granularity,and the maximum number ofproduct tuples of each node is induced under the prerequisite for ensuring load balance in paralleljoin.     

解决并行JOIN中数据偏斜的一种方法

1.引言 最近的研究表明,数据库系统也可以利用并行处理来提高更大、更复杂查询的效,因为关系操作是面向集合的操作,本身就具有一定的可并行特性,这为查询优化在选择并行取路径时提供了很大的灵活性。     

并行数据库上的并行CMD_Join算法

并行数据库在多处理机之间的分布方法(简称数据分布方法)对并行数据操作算法的性能影响很大.如果在设计并行数据操作算法时充分利用数据分布方法的特点,可以得到十分有效的并行算法.本文研究如何充分利用数据分布方法的特点,设计并行数据操作算法的问题,提出了基于CMD多维数据分布方法的并行CMD_Join算法.理论分析和实验结果表明,并行CMD_Join算法的效率高于其它并行Join算法.     

基于串行FastLSA的并行算法

提出了一种基于串行Fast LSA算法的两个序列比对的并行算法。主要是对海量级的序列比对,目的是减少串行Fast LSA算法的时间和空间的复杂度。实验结果表明该算法完全可以并行化,而且空间复杂度降到线性空间。     

并行数据库上的并行CMD－Join算法

并行数据库在多处理机之间的分布方法(简称数据分布方法)对并行数据操作算法的性能影响很大.如果在设计并行数据操作算法时充分利用数据分布方法的特点,可以得到十分有效的并行算法.本文研究如何充分利用数据分布方法的特点,设计并行数据操作算法的问题,提出了基于CMD多维数据分布方法的并行CMD－Join算法.理论分析和实验结果表明,并行CMD－Join算法的效率高于其它并行Join算法.     

JOIN命令中FOR子句的巧用

贵刊1996年第18期36页上刊登了“巧用JOIN命令生成数据库”的短文,介绍用JOIN命令生成超多字段数据库的技巧。事实上,利用JOIN命令中的FOR子句的不同形式,可以连接两个数据库生成多种形式的新数据库。 JOIN命令的格式如下:JOIN WITH数据库 B TO数据库 C FOR连接条件 FIELDS字段名列表NOOPTIMIZE 该命令的功能是,将当前工作区中打开的数据库A与在另一工作区中打开的数据库B,根据FOR子句的连接条     

并行数据库上的进行CMD—Join算法

并行数据库在多处理机之间的分布方法对并行数据 算法的性能影响很大，如果在设计并行数据操作算法时充分利用数据分布方法的特点，可以得到十分有效的并行算法。本研究如何充分利用数据分布方法的特点，设计并行数据操作算法的问题，提出了基ＣＭＤ多维数据分布方法的并行ＣＭＤ－Ｊｏｉｎ算法，理论分析和实验结果表明，并行ＣＭＤ－Ｊｏｉｎ算法的效率高于其它并行Ｊｏｉｎ算法。     

抗数据偏斜的高效并行连接运算算法研究

本文提出了一种能克服各种数据偏斜、高效的、并行二元连接运算算法,可在不同的数据偏斜情况下启动不同的模块,克服数据偏斜造成的负载不平衡现象。     

抗数据偏斜的高效并行join运算算法研究

通过分析ABJ 算法和Hybrid hash join算法,并对两个算法进行了结合和改进,提出了一种能克服各种数据偏斜的并行二元连接运算算法,可在不同的数据偏斜情况下启动不同的模块,克服数据偏斜造成的负载不平衡现象。     

一种基于并行策略的BP改进算法

介绍了BP神经网络的基本结构及原理,分析了其收敛慢的原因。为加快其收敛速度,结合带动量梯度下降法提出一种新的算法(PBBP),用多个学习速率不同但结构相同的网络进行并行训练,在每次迭代后都根据误差找出处于最佳状态的网络,并使其它网络的训练参数作适当变化再进行下一次迭代,直到整个网络的误差减小到允许范围内或达到训练次数要求,加快了其收敛速度,能够很好地脱离平坦区。通过在Matlab里编程进行仿真实验证明,该算法是可行的。     

一种改进的求解输运方程的并行Sn扫描算法

非结构网格上求解粒子输运方程的可扩展并行算法是一个亟待解决的课题。本文在文献[1]并行流水线勖扫描算法的基础上提出了一种改进算法。改进后的算法可以有效降低原算法对并行机通信延迟的依赖,减少程序运行的通信时间,达到了缩短并行计算时间和提高并行性能的目的。针对二维粒子输运问题进行的数值实验表明,从64扩展到256个处理机时,加速比呈线性增长,改进算法比原算法的并行计算时间最大减少了19％。     

一个改进的并行关联规则算法研究

在研究关联规则挖掘算法的基础上,对并行关联规则算法进行了比较全面的分析,并给出了并行数据挖掘的计算框架。提出了一个以计算服务器为中心节点的并行挖掘算法,可以发挥各局部节点的优势,无需各局部节点进行通信,减少了各局部节点的通信负荷。通过理论分析和实验数据验证,该算法具有较好的可扩展性和海量处理能力,特别是在节点数目较多的情况下更显示出优势。     

一种改进的并行挖掘关联规则的算法

发现关联规则是数据挖掘的一个重要的任务．简要介绍了几种发现关联规则的串行算法和并行算法，并针对IDD和HD这两种效率和可扩展性较好的算法，引入在线LPT调度算法，有效地解决了IDD和HD算法中非常重要的候选项目集在各个处理器节点之间的划分问题，尽可能使得各个节点负载平衡，从而提高算法的效率．     

一种优化的并行流域分割算法

流域变换(又称分水岭变换)是数字形态学中用于图像分割的一种有效的方法.但是经典的流 域算法具有很强的递归性质,直接并行化效率很低.首先,分析比较了已有并行算法的优缺 点,然后从基于距离的流域变换定义入手,提出了一种优化的并行流域分割算法.该算法给 出了新的区域关系图的定义,并利用了基于下降距离的方法的局部性;通过引入伪种子点使 得各子域之间区域生长和合并的过程相对独立,基本消除了重复泛洪带来的开销;同时可直 接生成分水岭.实验表明,提出的算法在执行时间和可扩展性两方面都得到了优化,并拓展 了算法的适应性.     

一种改进的适合并行计算的TFQMR算法

TFQMR算法是一种Krylov子空间算法,常用来求解大型稀疏线性方程组.通过改变TFQMR算法的计算次序,提出了一种改进的TFQMR(ITFQMR)算法.对比TFQMR算法,ITFQMR算法的数值稳定性和TFQMR算法相同,几乎没有增加计算量,但考虑了在MIMD并行机上实现时并行算法的性能,其同步开销减少为TFQMR算法的一半,并且所有内积计算以及矩阵向量乘是独立的,没有数据相关性,可以进行计算与通信的重叠.从理论和实验两个角度来讨论ITFQMR算法的性能,当处理机台数较多时,ITFQMR算法的计算速度快于TFQMR算法.实验说明了在有64台处理机机群上进行,最快的并行ITFQMR算法的计算速度大约比TFQMR算法快20％.     

CRC码串并结合算法的研究与实现

CRC码以其算法简单、检错能力强、抗干扰性能优异等特点,广泛应用于各种通信协议中。这里在分析CRC串行算法和并行算法的基础上,提出串并结合的算法。CRC循环冗余串并结合算法相比CRC串行编码,大大提高了计算速率;相比CRC并行编码,克服了通信中数据位非8的整数倍的问题。以CRC-ITU生成多项式为例,通过仿真,验证了该算法的正确性和可行性。     

解模糊交货期多机并行调度问题的改进量子遗传算法

在结合遗传算法和量子理论的基础上,提出了一种改进的量子遗传算法（IQGA）求解模糊交货期多机并行调度问题。采用量子比特相位比较法更新量子位,以加快搜索的速度和效率;采用求反解码操作,以扩大种群规模。通过仿真验证,改进的量子遗传算法在求解模糊交货期多机并行调度问题时有较好的寻优能力。     

基于MapReduce的K_means并行算法及改进

针对传统k_means聚类算法在处理海量数据时所面临的内存不足、运算速度慢等问题,提出了一种基于MapReduce的K_means并行算法,同时为了改善k_means算法在初始值确定方面的盲目性,采用canopy算法进行改进。实验结果表明,基于MapReduce的K_means并行算法和改进后的算法均能产生良好的聚类效果,不仅提高了聚类质量,而且在处理大数据集方面,改进后的算法的还能够得到趋近于线性的加速比。