并行数据库数据分布策略研究

数据分布是并行数据库系统实现的基础,其方法的优劣,直接影响到并行数据库的运行效率。通过对一维、多维几种数据分布方法的分析、对比,阐述并行数据库数据分布策略及方向。     

一种并行数据库的动态多维数据分布方法

并行数据库系统的性能与数据库在多处理机之间的分布密切相关.目前已经出现一些并行数据库的数据分布方法.但是,这些方法都不能有效地支持动态数据库.文章提出了一种并行数据库的动态多维数据分布方法.该方法不仅能够有效地支持动态数据库的分布,还具有多维数据分布的诸多优点.此方法由初始数据分布机构和启发式动态数据分布调整机构组成.初始分布机构完成给定数据库文件的初始分布.动态数据分布调整机构实现动态数据库数据分布的动态调整.理论分析和实验结果表明,这种方法十分有效,并且能够有力地支持动态数据库上的各种并行数据操作算法.     

并行数据库上的并行CMD_Join算法

并行数据库在多处理机之间的分布方法(简称数据分布方法)对并行数据操作算法的性能影响很大.如果在设计并行数据操作算法时充分利用数据分布方法的特点,可以得到十分有效的并行算法.本文研究如何充分利用数据分布方法的特点,设计并行数据操作算法的问题,提出了基于CMD多维数据分布方法的并行CMD_Join算法.理论分析和实验结果表明,并行CMD_Join算法的效率高于其它并行Join算法.     

并行数据库上的并行CMD－Join算法

并行数据库在多处理机之间的分布方法(简称数据分布方法)对并行数据操作算法的性能影响很大.如果在设计并行数据操作算法时充分利用数据分布方法的特点,可以得到十分有效的并行算法.本文研究如何充分利用数据分布方法的特点,设计并行数据操作算法的问题,提出了基于CMD多维数据分布方法的并行CMD－Join算法.理论分析和实验结果表明,并行CMD－Join算法的效率高于其它并行Join算法.     

无共享并行数据库中的数据分布研究

并行数据库系统的性能与数据分布密切相关。文章介绍了基于无共享并行数据库结构中目前流行的各类数据分布方法,并在此基础上详细讨论了数据分布涉及的错开问题、动态维护问题及高可用性问题,且对这些问题提出相应的解决方法。最后提出了优化数据分布的一些考虑。     

并行数据库上的进行CMD—Join算法

并行数据库在多处理机之间的分布方法对并行数据 算法的性能影响很大，如果在设计并行数据操作算法时充分利用数据分布方法的特点，可以得到十分有效的并行算法。本研究如何充分利用数据分布方法的特点，设计并行数据操作算法的问题，提出了基ＣＭＤ多维数据分布方法的并行ＣＭＤ－Ｊｏｉｎ算法，理论分析和实验结果表明，并行ＣＭＤ－Ｊｏｉｎ算法的效率高于其它并行Ｊｏｉｎ算法。     

一种有效的并行数据库数据分布方法RCMD

在并行数据库中,数据的分布方法是影响系统查询处理性能的主要因素。目前已有的几种数据分布方法都只适用于某一类查询,而处理其它类型的查询则效率较低。本文提出了一种新的数据分布方法RCMD,可以高效地支持多种查询类型。理论分析和试验结果表明本文提出的RCMD方法优于现有的数据分布方法,具有最好的查询处理性能。     

并行文件系统中高效遥感数据分布技术之研究

本文简要回顾了并行文件系统领域方面的研究,介绍了一种高效的基于大数据量遥感信息的并行文件系统PIPFS(ParallelRemoteSensingImageProcessingFileSystem)中的数据分布机制和元数据格式,说明了该并行文件系统设计中数据分布的主要特点,并对系统特有的数据分布方式和元数据格式进行了详细说明,进行了相关数据测试,用以说明该并行文件系统利用数据分布策略来提高效率的独特特点。     

并行文件系统中高效遥感数据分布技术之研究

本文简要回顾了并行文件系统领域方面的研究,介绍了一种高效的基于大数据量遥感信息的并行文件系统PIPFS(Parallel Remote Sensing Image Processing File System)中的数据分布机制和元数据格式,说明了该并行文件系统设计中数据分布的主要特点,并对系统特有的数据分布方式和元数据格式进行了详细说明,进行了相关数据测试,用以说明该并行文件系统利用数据分布策略来提高效率的独特特点.     

LS SIMD C编译器的数据通信优化算法

1 引言当前理想的程序自动并行化系统的实现存在许多难于解决的问题,因此较为流行的并行计算方法是利用并行语言编写并行程序,编译器对并行程序进行编译生成相应的节点程序执行。并行语言按并行执行的粒度分为基于任务的并行语言(主要面向一般应用领域的计算)和数据并行语言(主要应用于科学数值计算),典型的数据并行语言如HPF。对于数据并行语言而言,程序执行的并行性已由程序设计人员根据程序中的数据相关性给出。因此,如何确定数据的分布、优化数据的通信是影响并行程序执行效率的重要问题。数据分布大致可以分为两个阶段:首先对源程序中数据的相关性分析得到数据在抽象处理机上的分布,然后将抽象处理机上的数据分布映射到物理处理机上。数据分布的确定通常有以下几种实现方式:一种是由程序员给出抽象数据分布,编译     

数据分布型sort-first并行图形绘制系统的研究与实现

sort-first体系结构常用来构建高性能并行图形绘制系统，基于immediate-mode的数据集中型Sort-first系统，对网络带宽高度依赖，网络带宽和归属计算易成为系统瓶颈,提出了一个基于retain-mode的数据分布型并行绘制系统，工作原理是将几何数据分布于绘制结点，并利用帧间相似性动态调整绘制结点上的数据分布以适应视角的改变，有效地降低了数据分布所需的传输开销，系统利用Cell结构来控制并行粒度，实验结果显示能以相对较低的并行开销实现高分辨率显示和并行加速。     

LBGK模型的分布式并行计算

以二维9速模型D2Q9(LBGK)为例,针对不同集合形状的流场,研究了数据分布与通信量及并行效率之间的关系。在“自强3000”集群式超级计算机上就流场网格的不同规模、多种数据分布及通信方案进行了数值实验。测试结果表明,LBGK模型的并行效率高、可扩展性好,在数据分布方案与流场网格形状相似时,并行效率最高。该结论与理论分析相吻合。     

数据并行语言编译系统的并行循环迭代分布算法

讨论大规模并行机数据并行语言编译技术中的并行循环迭代分布算法。数据并行语言的数据分布方式有ＢＬＯＣＫ,ＢＬＯＣＫ（１）,ＢＬＯＣＫ（Ｎ）和：４种,而循环迭代分布是与数据分布对准的,文中给出与这些分布方式对应的循环迭代分布算法,算法允许确定数据分布方式的对准数组的下标可以是任意系数的一阶线性表达式;并行循环的循环增量可以为任意非零整数。     

基于分布存储系统的并行编译关键技术

分布存储系统的并行编译器需要解决各局部存储器之间数据分布问题和各处理机之间通信优化问题。论文并行编程模型、代码和数据分布、通信优化以及代码生成问题四个方面论述了基于分布存储系统的并行编译关键技术并提出了进一步研究所要解决的问题。     

iSCSI同步镜像系统iS—RAID的设计与实现

iSCSI同步镜像系统iS—RAID是运行在Ljnux操作系统上,将磁盘阵列（RAID）技术运用到iSCSI存储网络中来实现同步镜像系统。通过对数据分布存储、并行访问以及信息冗余提高数据安全性。     

网络环境下数据库管理系统中的并发控制

提出了在网络环境下正确运行数据库管理系统的并行运行事务需要注意的问题,特别对开发多用户系统时防止数据破坏和丢失、保证数据完整性、解决数据库并行访问等关键技术做了较详细地讨论。并以实例说明解决这些问题的并发控制方法。     

网络环境下数据库管理系统中的并发控制

提出了在网络环境下正确运行数据库管理系统的并行运行事务需要注意的问题,特别对开发多用户系统时防止数据破坏和丢失、保证数据完整性、解决数据库并行访问等关键技术做了较详细地讨论.并以实例说明解决这些问题的并发控制方法.     

分布式内存数据库数据分布分析及设计

内存数据库在最近几年迅速发展,并在应用中得到越来越广泛的实践。分布式数据分布算法具有广泛的研究和讨论,本文参照启发式添加和删除副本的数据分布算法,结合分布式内存数据库的特点并限制副本数,设计了一个实用的分布式内存数据库的数据分布方案。     

一种支持并行存取的数据分布策略

本文基于关系的水平划分提出了一种支持并行存取的数据分布策略:多步循环均匀分布法(CEDM法)。该法通过循环散布方式保证了数据片段在各磁盘上的物理均匀分布;又通过按查询率多步分布和将片段标号差大的片段存放于同一磁盘的方法,使查询相关性强的片段均匀分布于各磁盘中,从而得到较佳逻辑均匀分布特性。CEDM法可以有效地支持多机多通道信息处理系统对数据库的并行均衡存取,从而提高系统效率。     

面向MPP Fortran 的自动数据分布

自动数据分布是面向大规模并行处理MPP(massively parallel processing)系统程序自动并行化的一项关键技术.数据分布方式直接影响着应用程序在MPP系统上的并行执行性能.本文以MPP Fortran为例,详细探讨了自动数据分布的有关技术,如对准分析、分布方式的产生、静态性能评估和数据重新分布等,并提出了相应的算法.这些算法将在作者研制的面向MPP Fortran 的程序自动并行化工具中实现.