基于高性能微机群集的可扩展性的研究与设计

可扩展性是并行计算系统的重要性能指标,虽然异构系统越来越普遍,但对其可扩展性的研究还很少。给出了一种既适合同构并行计算系统又适合异构并行计算系统的效率的定义,根据访定义对可扩展性进行了分析,得出了既适用于同构系统又适用于异构系统的等效率模型,并根据开销比得出了在某一效率常数保持一致的情况下系统规模和工作负载的变化情况。最后通过实验进行了分析,结果表明该模型可以对效率和可扩展性进行较好的评测,并能预测并行计算系统的高可扩展性。     

并行计算系统可扩展性的研究

可扩展性是设计并行计算系统和并行算法所要考虑的一个重要性能指标。分析了等效率、等速度、平均延迟和等并行计算开销比几种并行系统可扩展性模型的特征,提出了一种新的更有效的可扩展性度量标准。通过实验结果分析,该模型能很好地评测并行计算系统的可扩展性。     

固定结构约束下并行计算成比例的可扩展方法

针对固定结构下并行计算无法通过规模扩展提升计算性能的问题,提出了一种成比例调整图权的并行计算扩展方法。该方法首先分析影响可扩展性的并行任务因素及体系结构因素;然后采用带权图对并行任务及体系结构进行建模;最后,对并行计算图模型中顶点和边的权值进行调整,实现并行计算的扩展。针对并行任务与体系结构是否具有相同的拓扑结构进行了两组实验,结果显示扩展前后的速度效率不变或近似相等。在上述两组实验的基础上,固定并行任务的算法结构及硬件系统的体系结构,仅调整性能参数,从特定的初始状态开始,以相同的比例作连续多次扩展,结果显示随着并行任务的连续扩展,体系结构资源被充分利用,速度效率逐渐提高,但并行任务扩展至一定程度后,速度效率提高缓慢;而如果并行任务及体系结构按一定的比例一同扩展,并行计算的速度效率近似不变。     

异构并行计算系统可扩展模型的实现

效率和可扩展性是并行系统的2个重要的性能指标,虽然异构系统越来越普遍,但对其可扩展性的研究还很少。给出一种适合同构系统和异构系统的效率的定义,根据此定义对可扩展性进行分析,得出既适用于同构系统又适用于异构系统的等效率模型,并根据开销比得出在某一效率常数保持一致的情况下系统规模和工作负载应如何变化。实验结果表明该模型可以对效率和可扩展性进行较好的评测,并能预测算法的可扩展性。     

并行计算系统度量指标综述

系统度量指标的研究一直是并行系统和应用设计的重要问题。本文首先通过对国内外并行计算系统度量指标的分析,将当前并行计算系统度量指标分为单一的计算性能度量指标和多要素综合的高效能度量指标两种。其次,总结了这些度量指标的研究现状,并指出这些度量指标研究中存在的一些问题以及需要考虑的难点。由于并行计算系统正在逐渐从"高性能"走向"高效能",本文主要考虑当前大规模并行计算系统的可靠性和能耗要素对系统的影响,从系统可扩展角度建立了可靠并行加速比和能耗并行加速比模型,并进一步扩展为度量并行计算系统效能的综合指标模型。最后指出了未来并行计算系统度量的研究方向。     

异构并行工作站机群系统的性能评价指标

文中在对矩阵乘法进行实验研究的基础上，分析了异构性对工作站机群系统性能的影响，描述了异构性的数学模型，扩展了加速比和效率等性能指标的定义，使之能同时适用于同构，异构两种并行系统的性能评价。     

适用于异构集群的混合并行流线生成系统

流线是流场可视化的主要方法之一,而针对大规模流场的流线生成由于计算量大往往需要采用高性能计算机这样的并行计算环境结合并行化算法以实现计算加速.在当前异构计算系统越来越普遍的情况下,为了充分利用并行异构计算环境的计算能力,实现更高效的并行流线生成,本文采用了基于数据并行原语结合分布式消息通讯的技术架构,设计了一套适用于异构集群的混合并行流线生成系统,并在此基础上针对数据分块、数据冗余化及进程通讯策略等方面进行设计,提出并实现了一套并行粒子追踪算法.该系统被部署于国产超算平台上,并针对大规模CFD流场模拟结果数据可视化应用开展了实验.本文给出了相关实验结果,分析了核心并行算法的速度性能、可扩展性以及负载均衡等方面情况,说明了系统及算法的有效性和可扩展性.     

A novel scalability metric about iso-area of performance for parallel computing

Scalability is an important performance metric of parallel computing, but the traditional scalability metrics only try to reflect the scalability for parallel computing from one side, which makes it difficult to fully measure its overall performance. This paper studies scalability metrics intensively and completely. From lots of performance parameters of parallel computing, a group of key ones is chosen and normalized. Further the area of Kiviat graph is used to characterize the overall performance of parallel computing. Thereby a novel scalability metric about iso-area of performance for parallel computing is proposed and the relationship between the new metric and the traditional ones is analyzed. Finally the novel metric is applied to address the scalability of the matrix multiplication Cannon’s algorithm under LogP model. The proposed metric is significant to improve parallel computing architecture and to tune parallel algorithm design.     

数值并行计算可扩展性评价与测试

分析了几种可扩展性能评价模型存在的问题,针对实际评价与测试的需要,提出了一种基于等平均负载的数值并行计算可扩展性评价模型．该评价模型对可扩展性能加速比和可扩展性进行了重新定义,给出了使用该模型的进行可扩展加速比和可扩展性测试的方法,结合曲线拟合或并行计算时间模型可以预测并行系统的可扩展性,对NPB BT,SP和矩阵乘法进行了可扩展性预测．     

Performance bottlenecks and potentials of parallel computing on networks of workstations

The network of workstations (NOW) we consider for parallel computing is heterogeneous and nondedicated (time-sharing), where computing power varies among the workstations, and multiple jobs may interact with each other in execution. We address three performance issues in this paper. First, we examine the effects of heterogeneity on co-scheduling and local scheduling policies for parallel computing. Through experimentation and quantitative comparisons, we discuss features and requirements of scheduling policies on heterogeneous NOW. Second, the heterogeneity and non-dedication of NOW introduce new performance factors into parallel computing, which make traditional performance metrics for parallel computing under homogeneous platforms not suitable. We conducted a collection of experimental measurements to show the performance impact to parallel computing. Finally, using network latencies we experimentally evaluate the parallel computing scalability on NOW. Our objective of this study is to provide insights into unique performance bottlenecks and potentials of networks of workstations.     

高精度湍流直接数值模拟程序的异构并行优化分析

在众核处理器应用中,主要难点在于异构并行应用模式和负载均衡的策略,对于计算流体力学,需要针对相关应用设计相应的方案。我们针对湍流直接数值模拟中串行程序含有部分并行度较高的子程序或函数的特点,设计了一种新的并行计算模式,给出了一种异构平台优化方案,并在中科院超级计算系统"元"上进行了测试和分析,对领域内的典型算例进行了性能测试,着重讨论了不同规模下采用offload模式的CPU和MIC异构并行的扩展性能。     

一种面向异构计算的结构化并行编程框架

随着人工智能时代的到来,异构计算在深度学习、科学计算等领域发挥着越来越重要的作用。目前异构计算系统在应用上的瓶颈之一在于缺少高效的软件开发框架,已有的OpenCL、CUDA等支持GPU、DSP及FPGA的编程框架基于C/C++语言和传统的并行编程方法,导致软件开发效率较低,软件推理和调试困难,难以灵活处理计算设备之间的协作和调度。提出一种面向异构计算平台的基于脚本语言的结构化并行编程框架,提供结构化的并行编程接口,支持计算任务到异构计算设备的映射,便于并行程序的推理和验证。设计并实现了基于遗传算法的结构化调度算法,充分利用异构计算系统的计算能力,提高了异构计算系统的软件开发效率。实验结果表明,提出的编程框架在CPU+GPU平台上实现了相对于单处理器1.5到2.5倍的加速比。     

Evaluating scalability in heterogeneous systems

This paper presents a new expression for an isoefficiency function which can be applied both to homogeneous and heterogeneous systems. Using this new function, called H-isoefficiency, it is now possible to analyze the scalability of heterogeneous clusters. In order to show how this new metric can be used, a theoretical a priori analysis of the scalability of a Gauss Elimination algorithm is presented, together with a model evaluation which demonstrates the correlation between the theoretical analysis and the experimental results.     

基于对端重叠网络的通用大规模计算资源共享环境的构造

大规模计算资源共享是网格计算和其它基于Internet的计算模式的首要目标之一 .作为计算网格的一个主要分支 ,自愿计算环境在大规模计算模式中正在扮演着越来越重要的角色 .目前的自愿计算环境大多是专用和集中控制的 ,因而存在着某些可用性和可扩展性的问题 .该文构造了一个通用和可扩展的自愿计算环境 :Paradrop per .该环境的可扩展性得益于一个自组织的对端重叠网络 ( peer to peeroverlaynetwork) ;通用性得益于统一的计算和任务描述手段以及建立在该网络之上的计算任务调度、容错机制和界面友好的使用平台 .该文首先对自愿计算的特点以及Paradropper计算平台做了简要介绍 ,然后重点阐述该环境下计算网络的构造和基于该网络的计算任务调度算法 ,对计算网络的若干特性 (诸如高聚合性和低搜索路径 )以及调度的效能进行了仿真分析 ,最后 ,通过若干示例应用对计算平台的功能进行了测试 .仿真结果说明 ,该文构造的计算网络表现出明显的自组织特性 ,具有较好的可扩展性和自组织能力 ,能为计算资源的调度提供很好的支持 .小规模测试结果初步说明 ,该文构造的计算环境为Internet环境下的单程序多数据 (SPMD)的易并行计算应用提供了一个可行的思路 .     

Scalability versus Execution Time in Scalable Systems

Parallel programming is elusive. The relative performance of different parallel implementations varies with machine architecture, system and problem size. How to compare different implementations over a wide range of machine architectures and problem sizes has not been well addressed due to its difficulty. Scalability has been proposed in recent years to reveal scaling properties of parallel algorithms and machines. In this paper, the relation between scalability and execution time is carefully studied. The concepts of crossing point analysis and range comparison are introduced. Crossing point analysis finds slow/fast performance crossing points of parallel algorithms and machines. Range comparison compares performance over a wide range of ensemble and problem size via scalability and crossing point analysis. Three algorithms from scientific computing are implemented on an Intel Paragon and an IBM SP2 parallel computer. Experimental and theoretical results show how the combination of scalability, crossing point analysis, and range comparison provides a practical solution for scalable performance evaluation and prediction. While our testings are conducted on homogeneous parallel computers, the proposed methodology applies to heterogeneous and network computing as well.     

A parallel micro evolutionary algorithm for heterogeneous computing and grid scheduling

This work presents a novel parallel micro evolutionary algorithm for scheduling tasks in distributed heterogeneous computing and grid environments. The scheduling problem in heterogeneous environments is NP-hard, so a significant effort has been made in order to develop an efficient method to provide good schedules in reduced execution times. The parallel micro evolutionary algorithm is implemented using MALLBA, a general-purpose library for combinatorial optimization. Efficient numerical results are reported in the experimental analysis performed on both well-known problem instances and large instances that model medium-sized grid environments. The comparative study of traditional methods and evolutionary algorithms shows that the parallel micro evolutionary algorithm achieves a high problem solving efficacy, outperforming previous results already reported in the related literature, and also showing a good scalability behavior when facing high dimension problem instances.     

异构计算中的时间和能耗优化执行方法

计算环境的异构性以及应用任务的复杂多样性导致异构计算的必要性。异构计算的目的是重视并行处理系 统和计算任务的差异,寻求系统和任务的有效匹配,从而获得并行任务在系统上执行的最佳效果。当前,异构计算中 的时间优化执行方法较成熟,但同时将时间和能耗联合起来作为异构计算优化执行目标方面的研究很少。以高性能 计算和绿色计算为总目标,针对异构计算环境中并行任务分配调度执行问题,提出了异构任务模型、异构计算速率矩 阵、异构计算功率矩阵,利用能耗时间归一思想,给出并行任务在异构处理机上时间与能耗启发式优化执行算法,并通 过实例分析证实算法的可行性和有效性。     

支持绿色异构计算的能效感知调度模型与算法

异构调度可使大规模计算系统采用并行方式聚合广域分布的各种资源以提高性能.传统调度目标追求高性能而忽视高效能,远不能适应绿色计算科学发展新要求.因此,在理论上,一方面基于对动态频率和电压等系统参数的精细表述及有效量化,建立面向协同异构计算且易于复用的能效感知云调度模型;另一方面,提出并实现适于超计算机混合体系的多学科背景的元启发式多目标全局优化算法.从技术上解决了面向不同环境目标的云调度实施条件界定及其调度指标（时间、能效）实时变化描述等问题.大量仿真实验结果表明：与3个元启发式云调度器相比,该方法在能效及可扩展等方面优势明显;对于高维实例,整体性能改善分别达到8%,12%和14%.     

ChattyGraph:面向异构多协处理器的高可扩展图计算系统

现阶段,随着数据规模扩大化和结构多样化的趋势日益凸现,如何利用现代链路内链的异构多协处理器为大规模数据处理提供实时、可靠的并行运行时环境,已经成为高性能以及数据库领域的研究热点.利用多协处理器(GPU)设备的现代服务器(multi-GPU server)硬件架构环境,已经成为分析大规模、非规则性图数据的首选高性能平台.现有研究工作基于Multi-GPU服务器架构设计的图计算系统和算法(如广度优先遍历和最短路径算法),整体性能已显著优于多核CPU计算环境.然而,这类图计算系统中,多GPU协处理器间的图分块数据传输性能受限于PCI-E总线带宽和局部延迟,导致通过增加GPU设备数量无法达到整体系统性能的类线性增长趋势,甚至会出现严重的时延抖动,进而已无法满足大规模图并行计算系统的高可扩展性要求.经过一系列基准实验验证发现,现有系统存在如下两类缺陷:(1)现代GPU设备间数据通路的硬件架构发展日益更新(如NVLink-V1,NVLink-V2),其链路带宽和延迟得到大幅改进,然而现有系统受限于PCI-E总线进行数据分块通信,无法充分利用现代GPU链路资源(包括链路拓扑、连通性和路由);(2)在...     

网络集群计算系统中的并行任务调度

基于多处理机并行任务调度模型，探讨网络集群计算系统中的并行任务调度问题，首先证明了一般网络集群计算系统中调度算法的可近似性难度，然后提出了三种不同的启发式算法：最大长度优先调度算法、最大宽度优先调度算法和最大面积优先调度算法；然后根据大量的模拟实验对这些算法以及文献中已提出的调度算法进行了比较分析，结果表明该文的启发式算法比文献中的算法在性能上效果更好。