HPF编译器中的通信实现策略及其相关算法

介绍了ＨＰＦ编译系统ｐ－ＨＰＦ中的通信实现策略及其相关算法,综合数组的分布方式,对准,ＦＯＲＡＬＬ语句的空间索引变量范围以及数组元素的下标表达式,将程序语句中所隐含的通信划分为３种情形,即无通信,ＳＨＩＦＴ通信和其它通信（ＲＥＭＡＰ通信）,指出了这种划分的意义,给出相应的通信检测算法,描述了具体的实现细节,详细讨论了ＳＨＩＦＴ通信以及利用阴影区技术对它进行的优化,对于ＲＥＭＡＰ通信的典型形式及其优     

p-HPF并行编译系统核外计算的实现及优化策略

文中阐述了ｐ－ＨＰＦ编译系统中对核外计算的支持 以及采取的优化策略,通过对编程模型的扩充和并行Ｉ／Ｏ模型的构造,ｐ－ＨＰＦ编译系统已能对核外数组进行有效的处理。     

HPF—FORTRAN最新版本

ＨＰＦ（高性能ＦＯＲＴＲＡＮ）公布于１９９３年，是当今世界上ＦＯＲＴＲＡＮ语言的最新版本。本文系统地介绍了ＨＰＦ相对于以往ＦＯＲＴＲＡＮ版本（主要是ＦＯＲＴＲＡＮ９０）的新特点，并举出了一个程序实例，供并行计算技术的研究者以及工程技术人员参考。     

基于p-HPF Exrinsic过程调用的并行应用模版

Ｅｘｔｒｉｎｓｉｃ是ＨＰＦ中用来调用外部语言过程的机制。利用ＨＰＦ Ｅｘｔｒｉｎｓｉｃ机制可以实现多范例并行计算,文章首先给出ｐ－ＨＰＦ并行编译器中Ｅｘｔｒｉｎｓｉｃ过程调用的支持方法,然后给出几种在分布内存的网络环境下,基于Ｅｘｔｒｉｎｓｉｃ的并行应用模版,它们是并行算法库应用模版、协同应用模版、ＭＰＳＤ处理应用模版、异步Ｉ／Ｏ应用模版和流水线应用模版。并分析了它们的运行效率,给出了ｐ－ＨＰＦ实现方法。     

在IBMSP2和SGIPower Challenge上CMFortran代码移植至HPF的NAS经验

为ＣＭ－２与ＣＭ－５开发的当前连接机（ＣＭ）Ｆｏｒｔｒａｎ代码代表了一类重要的并行应用程序。过去５－６牛，一些用户在ＣＭ－２与ＣＭ－５的生产模式中已使用了ＣＭＦｏｒｔｒａｎ代码，谅与成本而言这是一次重大的投资。当思维机公司决定撤销件业务和使ＣＭ－２与ＣＭ－５机器退役时，保护ＣＭＦｏｒｔｒａｎ代码实质性投资的最好办法是将Ｆｏｒｔｒａｎ代码移植到高度并行系统上的高性能Ｆｏｒｔａｒａｎ（ＨＰＦ）。ＨＰＦ     

低地球轨道小卫星用的推进系统

ＲＡＦＡＥＬ公司同以色列空间局和以色列飞机工业公司签订了为地平线卫星提供肼推进系统（ＨＰＳ）的合同，ＲＡＦＡＥＬ对该系统成功地进行了开发，装配和鉴定，ＨＰＳ是为低轨道（ＬＥＯ）科学任务卫星所设计的，但也能用于某些研制的通信卫星以及其它ＬＥＯ卫星。ＨＰＳ为卫星提供消旋，最终轨道指向，位置保持，角动量轮卸载等所需的脉冲，ＨＰＳ由肼推力器，推进剂贮箱，自锁阀，压力传感器，过滤器和加注阀组成，另外还包括一     

支持数据重分布通信的计算和数据分解算法

对于分布内存体系结构的并行计算机而言，如何对计算和数据进行合理划分以增加数据本地化减少处理器间的通信是提高其并行性能的关键，但在数据划分过程中，重分布通信有时不可避免，如何进行合理的数据和计算划分以减少通信并最大限度的利用程序的并行性是并行编译中的一个重要问题。该文主要讨论了一种支持数据重分布的自动进行计算和数据划分的算法。     

试析Microsoft文件系统的关键数据结构

本文分析了ＤＯＳ的ＦＡＴ／ＦＤＴ、Ｗｉｎｄｏｗｓ９５的ＶＦＡＴ、Ｗｉｎｄｏｗｓ和ＯＳ／Ｗ的ＨＰＦＳ的结构，并给出它们各自的优缺点。     

基于数据空间融合的全局计算与数据划分方法

计算与数据划分问题是影响并行程序在分布主存多处理机中执行性能的重要因素,也是并行编译优化的重点.针对该问题,提出了一套关于数据空间融合的理论框架,并基于该框架给出了一种有效的全局计算与数据划分方法,用于分布主存计算环境中的计算与数据划分问题的求解.该方法能够尽量开发计算空间的并行度,利用数据融合技术优化数据分布,并能搜寻优化的全局计算与数据划分.该方法还能很自然地与数据复制以及偏移常量的对准结合在一起,从而使得数据通信量尽可能地小.实验结果表明了所提出方法的有效性.     

并行编译中一种线性数据和计算划分算法

对于高性能并行计算机而言，如何找到一种好的计算和数据划分，对数据和计算进行合理划分，增加数据本地化来减少处理器间的通信是提高其并行性能的关键。该文讨论了一种线性的自动进行无数据重组的计算和数据划分算法。     

基于计算量拟合的并行数据剖分算法

提出了一种基于计算量拟合的并行数据剖分算法,算法针对并行计算中静态负载不平衡问题,由各处理器实测计算时间,拟合出各基本数据剖分单元的计算量,在此基础上按各处理器计算时间相等的原则确定数据剖分。模拟试验表明,该算法能快速有效地实现各处理器的负载平衡。     

并行编译中数据分布的线性划分模式计算

由于计算机访问本地存储器的速度远远快于通过网络访问异地计算机存储器的速度，因此，在分布式存储环境中，如何对程序中引用的数据进行合理的分布，从而达到在本地进行计算时只需访问存储在本地的数据（即无通信的数据分布）的目的，已成为提高并行计算速度的关键问题，本文主要讨论如何在数组下标表达式为线性的条件下，对一种种锘于线性代数中超平面概念的数组线性划分技术进行扩充，并给出了完整的数据划式计算算法。     

并行数据库的改进Hash划分方法及并行Join算法

文中提出了Ｈａｓｈ划分的改进方法－－ＩＨ划分,ＩＨ划分为结点扩充时数据的重新划分提供了方便,在论述ＩＨ划分的基础上,给出了基于该数据划人垢并行Ｊｏｉｎ算法,利用已有数据分布,文中提出的并行Ｊｏｉｎ算法提高算法的效率。最后,从理论上对以上并行算法的计算复杂性进行了分析。     

数值天气预报中谱方法的并行实现

§1.引 言 谱方法是上世纪七十年代发展起来的应用于大规模数值天气预报模式系统的数值方法.近年来谱方法已成为求解偏微分方程的重要数值方法之一[1,2],与经典的网格点方法相比,它具有计算精度高、稳定性好、程序简单而有效的突出特点.谱方法虽然有计算量和存储量均大的缺点,但超级并行计算技术的发展推动了谱方法的进一步发展和应用[3,4].近十年来,谱方法在数值天气预报领域的应用越来越广泛,不仅应用于全球数值天气预报模式而且应用于有限区域数值天气预报模式.     

一种基于代表元的划分算法

划分是把程序中不同的计算和数据分配到并行处理系统的不同处理机来充分利用并行系统的计算资源、提高程序处理速度的一种优化技术.划分的效果对程序在并行系统上的执行效率将产生至关重要的影响,因此划分问题一直是并行领域研究的一个热点.但是应用程序的一些特性,如非紧密嵌套循环、一条语句对非只读数组的多次引用间存在重叠、不同语句对同一数组不同步长的引用,给有效解决划分问题设置了极大的障碍.已有的划分算法无法对具有这些特征的程序进行自动划分.虽然在对具有这些特征的程序进行手工优化过程中,存在一些直观上的划分策略,但这些策略无法应用到编译器中来指导编译器完成对程序的自动划分.文中根据这类程序的特点,提出了一种基于代表元的划分算法.该算法通过使用程序中对划分计算产生实际影响的数组引用作为代表元素构造各种划分的限制条件,完成程序的划分.同时通过寻找最大一致性数据划分方向有效减少了程序划分过程中的数据重组织通信.该算法已经在AFT2004中实现,并对应用程序获得了很好的效果.     

基于MapReduce的Skyline查询处理算法

Skyline查询是一个典型的多目标优化查询,在多目标优化、数据挖掘等领域有着广泛的应用。现有的Skyline查询处理算法大都假定数据集存放在单一数据库服务器中,查询处理算法通常也被设计成针对单一服务器的串行算法。随着数据量的急剧增长,特别是在大数据背景下,传统的基于单机的串行Skyline算法已经远远不能满足用户的需求。基于流行的分布式并行编程框架MapReduce,研究了适用于大数据集的并行Skyline查询算法。针对影响MapReduce计算的因素,对现有基于角度的划分策略进行了改进,提出了Balanced Angular划分策略;同时,为了减少Reduce过程的计算量,提出了在Map端预先进行数据过滤的策略。实验结果显示所提出的Skyline查询算法能显著提升系统性能。     

基于数据垂直划分的高效并行Skyline查询

基于数据垂直划分的分布并行Skyline查询算法大多并行性较低,无法适应海量分布式数据的快速响应要求。为此,在BDS算法的基础上提出一种更高效的分布并行Skyline查询算法PDS-VP。其中,节点被分为协调者与参与者,原本由协调者节点完成的随机访问和本地Skyline计算分发给各参与者节点进行处理,以提高算法的执行效率。实验结果证明,该算法提高了原算法的并行性和运行效率。     

基于MapReduce的数据立方体分区优化算法研究

文章利用并行计算框架MapReduce,探索数据立方体的计算问题。数据立方体的计算存在两个关键问题,一个是计算时间的问题,另一个是立方体的体积问题。随着维度的增加,计算时间将呈现指数级的增长,立方体的体积也是如此。尽管MapReduce是一个优秀的并行计算框架,但在处理数据倾斜时,分区算法不够完善,导致一些计算任务时间过长,影响整个作业的完成时间。本文通过数据采样的方式,优化数据分区,实验结果表明,数据立方体的计算的性能明显提升。为解决数据立方体体积过大的问题,在Reduce阶段将最终的结果输出到基于NoSQL的HBase数据库进行存储,HBase方便水平扩展,同时也便于日后对数据立方体的查询。     

基于Hadoop的FP-Growth关联规则并行改进算法

大数据环境下,传统的串行FP-Growth算法在处理海量数据时,占用内存过大、频繁项多,适用于大数据情况的PFP(Parallel FP-Growth)算法存在数据量增大无法处理的缺陷。针对这些问题,本文提出了基于Hadoop的负载均衡数据分割FP-Growth并行算法。在Hadoop平台下,本文使用负载均衡和数据分割相结合的方式对原始事务数据集分片实现并行化。实验证明基于Hadoop的负载均衡数据分割FP-Growth并行算法在处理数据量和效率上有所提高。     

Statement-Level Communication-Free Partitioning Techniques for Parallelizing Compilers

This paper addresses the problem of communication-free partition of iteration spaces and data spaces along hyperplanes. To finding more possible communication-free hyperplane partitions, we treat statements within a loop body as separate schedulable units. Instead of using the information about data dependence distance or direction vectors, our technique explicitly formulates array references as transformations from statement-iteration spaces to data spaces. Based on these transformations, the necessary and sufficient conditions for communication-free partition along hyperplanes to be feasible have been proposed. This approach can be applied to all programs with an imperfectly nested loop or sequences of imperfectly nested loops, whose array references are affine functions of outer loop indices or loop invariant variables. The proposed approach is more practical than existing methods in finding the data and computation distribution patterns that can cause the processor to execute fully-parallel on multicomputers without any interprocessor communication.