更实际的异构并行计算模型

通过结合多种代表性并行计算模型,给出异构环境中的ＨＢＳＰ模型和程序开销计算方法。采用基于消息长度的线性模型具有通信开销的计算更精确、程序和算法在异构环境中的设计灵活、且可解除原有ＢＳＰ模型对ｈ－ｒｅｌａｔｉｏｎ的限制等优点。当构成ＢＳＰ计算机的各处理机速度相同且原有ＢＳＰ算法达到最优（即各处理机上所分配的计算量与通信量完全均衡）时,ＨＢＳＰ模型等同于原有模型。     

异构并行计算系统可扩展模型的实现

效率和可扩展性是并行系统的2个重要的性能指标,虽然异构系统越来越普遍,但对其可扩展性的研究还很少。给出一种适合同构系统和异构系统的效率的定义,根据此定义对可扩展性进行分析,得出既适用于同构系统又适用于异构系统的等效率模型,并根据开销比得出在某一效率常数保持一致的情况下系统规模和工作负载应如何变化。实验结果表明该模型可以对效率和可扩展性进行较好的评测,并能预测算法的可扩展性。     

并行异构系统中的一种高效任务调度算法

并行分布计算是当前计算机科学的热点之一。调度算法是影响分布式计算的关键因素,也是一个具有挑战性的课题。调度算法是将有通信关系的任务按顺序分配给不同的处理器。提出了一种基于区间插入和任务复制的高效启发式算法,通过对各种随机任务图和高斯迭代任务图进行模拟,与已有算法相比,新算法的效率有很大的提高。     

面向边缘智能计算的异构并行计算平台综述

边缘智能计算对硬件资源的需求复杂多元,传统计算平台难以为继,异构并行计算平台成为边缘智能算法落地的关键途径之一。以深度学习算法和边缘计算为牵引,对异构并行计算平台展开研究。一方面,阐述了传统计算平台适配实现边缘智能计算的优缺点,指出边缘端应用场景中传统计算平台算力与功耗矛盾突出等局限性,并以指令模型、通讯机制和存储体系三个关键技术为线索梳理技术发展脉络。另一方面,从运算速度、功耗等角度重点对比分析了近年来典型异构平台较新的代表性产品,然后针对不同应用场景和约束条件给出了异构平台的选择建议：优先选择CPU+X组合的异构平台。功耗要求严格约束下的应用建议优先选择CPU+FPGA组合;功能迭代更新快的场景建议优先选择CPU+GPU组合;算法成熟且对实时性和功耗均具有高要求的应用优先选择ASIC计算平台。提出了异构并行计算平台在指令模型统一、通讯机制轻量化、存储体系灵活性以及开发生态完备化四个方面的问题与挑战,期望能为该领域研究人员带来一定的启发。     

一个有效的并行模型--BSP并行模型

为了设计各种体系结构的通用并行模型，本文分析了现有并行模型中存在的问题，提出了一个有效的BSP并行模型。详述了BSP计算机的组成及其运行过程。     

Heterogeneous Computing and Parallel Genetic Algorithms

This paper analyzes some technical and practical issues concerning the heterogeneous execution of parallel genetic algorithms (PGAs). In order to cope with a plethora of different operating systems, security restrictions, and other problems associated to multi-platform execution, we use Java to implement a distributed PGA model. The distributed PGA runs at the same time on different machines linked by different kinds of communication networks. This algorithm benefits from the computational resources offered by modern LANs and by Internet, therefore allowing researchers to solve more difficult problems by using a large set of available machines. We analyze the way in which such heterogeneous systems affect the genetic search for two problems. Our conclusion is that super-linear performance can be achieved not only in homogeneous but also in heterogeneous clusters of machines. In addition, we study some special features of the running platforms for PGAs, and basically find out that heterogeneous computing can be as efficient or even more efficient than homogeneous computing for parallel heuristics.     

异构型计算与并行程序设计环境

异构型计算能有效地利用多种不同的高性能计算机，以满足大型计算问题的不同计算需求。本文着重讨论了支持异构型计算的并行程序设计环境所需具备的功能，并以目前最流行的ＰＶＭ和Ｅｘｐｒｅｓｓ系统为例进行说明。     

能耗并行加速比:高性能计算系统综合性能的有效度量

随着并行系统规模的扩大,高性能计算系统运行时消耗的能耗也在急剧增长,过高的能耗也给系统的可靠性、稳定性等方面带来严峻挑战。在这种情形下,能耗问题受到了前所未有的关注。因此,设计和研究高性能计算系统,需要在考虑高计算性能的同时兼顾系统低能耗的要求,这为高性能计算系统的度量模型提出了新的挑战。于是,大规模并行系统逐渐从"高性能"走向"高效能"的衡量标准。基于此,本文采用加速比度量指标,从系统可扩展角度将计算性能和能量消耗要素进行综合,提出了一种度量高性能计算系统综合性能的能耗并行加速比模型。该模型能够直观地反映并行计算系统的效能,旨在指导系统设计和应用研究。最后,通过对该模型的分析和模拟,验证了模型的有效性。     

An Extension of Fortran for High Performance Parallel Computing

The mpF programming language, which is an extension of Fortran 90 for parallel systems with distributed memory, is described. This language was developed using the expertise obtained in the application and evolution of the mpC programming language. mpF is based on the explicit parallelism approach and is an attempt to find a compromise between the efficiency and expressive power on the one hand and the convenience of use on the other hand. Basic concepts of the language are outlined. The efficiency of programs written in mpF and in C with the calls of MPI functions is compared.     

面向异构计算的高性能计算算法与软件

研发适应国产异构计算环境的高性能计算算法与软件是非常重要的课题,对我国高性能计算软件研发匹配高性能计算硬件高水平发展的速度具有重要意义.首先,简要介绍高性能计算应用软件的现状、趋势和面临挑战,并对几类典型高性能计算应用软件开展并行计算算法特征分析,涵盖了宇宙N体模拟、地球系统模式、计算材料相场动力学、分子动力学、量子计...     

Linpack并行性能模型及其预测

通过分析大规模Linpack的主要时间开销,建立关于矩阵规模、网络带宽、下三角方程求解效率以及矩阵乘法效率的Linpack并行性能模型。在神威蓝光和神威4000A上分别对该模型进行可信性验证,结果证明,该模型能较好地估计主要因素的改变对Linpack并行性能的影响,尤其在大规模矩阵情况下预测误差不到1%。     

Metasystems: An Approach Combining Parallel Processing and Heterogeneous Distributed Computing Systems

A metasystem is a single computing resource composed of a heterogeneous group of autonomous computers linked together by a network. The interconnection network needed to construct large metasystems will soon be in place. To fully exploit these new systems, software that is easy to use, supports large degrees of parallelism, and hides the complexity of the underlying physical architecture must be developed. In this paper we describe our metasystem vision, our approach to constructing a metasystem testbed, and early experimental results. Our approach combines features from earlier work on both parallel processing systems and heterogeneous distributed computing systems. Using the testbed, we have found that data coercion costs are not a serious obstacle to high performance, but that load imbalance induced by differing processor capabilities can limit performance. We then present a mechanism to overcome load imbalance that utilizes user-provided callbacks.     

异构机群系统上近似串匹配并行算法

基于可分负载理论的最优原则,在假定正文串分配顺序固定的前提下,考虑处理机节点具有不同计算速度、不同通信能力的情况,提出一种异构机群计算环境下的最优正文串分配策略,给出最优正文串分配的闭合解。对于节点具有不同计算速度、通信能力、存储容量的异构机群系统,建立正文串最优分配的线性规划模型。针对几种特殊情况讨论正文串的最优分配顺序。实验结果表明,与平均分配正文串策略以及按照从处理机能力分配正文串策略相比,利用该策略进行近似串匹配并行处理所需时间分别缩短了10%~40%和5%~20%。     

面向异构计算的高性能计算算法与软件

研发适应国产异构计算环境的高性能计算算法与软件是非常重要的课题,对我国高性能计算软件研发匹配高性能计算硬件高水平发展的速度具有重要意义.本文首先简要介绍高性能计算应用软件的现状、趋势和面临挑战,并对几类典型高性能计算应用软件开展并行计算算法特征分析,涵盖了宇宙N体模拟、地球系统模式、计算材料相场动力学、分子动力学、量子计算化学和格点量子色力学等多个问题、尺度和领域.其次,我们讨论了面向国产异构计算系统的对策,提炼出若干典型应用算法和软件的共性问题,涉及核心算法、算法发展、优化策略等.最后,本文面向异构计算体系结构对高性能计算算法与软件进行了总结.     

LBGK模型的分布式并行计算

以二维9速模型D2Q9(LBGK)为例,针对不同集合形状的流场,研究了数据分布与通信量及并行效率之间的关系。在“自强3000”集群式超级计算机上就流场网格的不同规模、多种数据分布及通信方案进行了数值实验。测试结果表明,LBGK模型的并行效率高、可扩展性好,在数据分布方案与流场网格形状相似时,并行效率最高。该结论与理论分析相吻合。     

异构并行编程模型研究与进展

近年来,异构系统硬件飞速发展.为了解决相应的编程和执行效率问题,异构并行编程模型已被广泛使用和研究.从异构并行编程接口与编译/运行时支持系统两个角度总结了异构并行编程模型最新的研究成果,它们为异构架构和上层应用带来的技术挑战提供了相应的解决方案.最后,结合目前的研究现状以及异构系统的发展,提出了异构并行编程模型的未来方向.     

OpenCL: A Parallel Programming Standard for Heterogeneous Computing Systems

We provide an overview of the key architectural features of recent microprocessor designs and describe the programming model and abstractions provided by OpenCL, a new parallel programming standard targeting these architectures.     

基于深度学习的稀疏矩阵向量乘运算性能预测模型

稀疏矩阵向量乘（SpMV）是求解稀疏线性方程组的计算核心,被广泛应用在经济学模型、信号处理等科学计算和工程应用中,对于SpMV及其调优技术的研究有助于提升解决相关领域问题的运算效率。传统SpMV自动调优方法基于硬件平台的体系结构参数设置来提升SpMV性能,但巨大的参数设置量导致搜索空间变大且自动调优耗时大幅增加。采用深度学习技术,基于卷积神经网络,构建由双通道稀疏矩阵特征融合以及稀疏矩阵特征与体系结构特征融合组成的SpMV运算性能预测模型,实现快速自动调优。为提高SpMV运算时间的预测精度,选取特征数据并利用箱形图统计SpMV时间信息,同时在佛罗里达稀疏矩阵数据集上进行实验设计与验证,结果表明,该模型的SpMV运算时间预测准确率达到80%以上,并且具有较强的泛化能力。     

Object Clustering for High Performance Parallel Computing

In this article we present a new parallel programming environment, called distributed object-oriented virtual computing environment (DOVE), for clustered computers based on distributed object model. In DOVE, a parallel program is built as a collection of concurrent objects each of which has its own computing power and which interacts with one another by remote method invocation. The parallelism is encapsulated within distributed objects, which can be handled the same way as local objects. The main goal of DOVE is to provide users with an easy-to-use transparent parallel programming environment while supporting efficient parallelism encapsulated and distributed among objects. For the experiment and evaluation of DOVE, two parallel application programs have been developed both on DOVE and PVM.     

异构重构计算系统应用任务调度的性能分析

异构重构计算是目前高性能计算的研究热点.由于应用任务的异构性,以及体系结构的可重构性,导致异构重构计算的性能分析非常困难,现有的并行计算性能分析方法不再适用.本文提出一种基于应用任务调度的性能分析方法,该方法以异构重构计算系统模型和应用任务模型为基础,利用异构匹配、重构耦合矩阵,实现应用任务和处理部件的优化选择和耦合匹配,通过调度算法求出应用任务在异构重构计算系统中的完成时间,并进行了实例分析.