基于消息传递的并行计算环境:MPI与PVM的比较

本文对在分布式计算中广泛应用的二种并行计算环境ＭＰＩ（Ｍｅｓｓａｇｅ Ｐａｓｓｉｎｇ Ｉｎｔｅｒｆａｃｅ）和ＰＶＭ（Ｐａｒａｌｌｅｌ Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ）进行了比较。从ＭＰＩ和ＰＶＭ的设计思想出发,在可移植性、任务控制和分配、资源管理、容错、安全通信的上下文和多线程、通信方式、名字服务和消息句柄八个方面分析了它们各自的功能特点。     

消息传递、PVM及MPI

求文介绍了消息传递的发展历史、PVM系统的发展及流行、MPI标准的制定以及MPI的现状及未来的发展前景。在此基础上对MPI和PVM进行了比较，供人们在选择PVM或MPI作为消息传递库时作参考。     

消息传递并行编程环境MPI

本文介绍了消息传递接口MI的基本原理、编程方法和几个基本函数。     

不确定性MPI／PVM程序的完全调试

讨论如何完全地调试不确定性MPI／PVM并行程序．在循环调试过程中,不确定性导致前次遇到的错误在以后的执行中很可能无法再现．基于MPI／PVM的FIFO通信模型,给出一种记录－重放技术的实现．通过可控制的重放,用户可以覆盖所有可能的程序执行路径,从而达到完全调试的目的．和其它方法相比,所提供的方法所需时空开销要小得多．此技术已在两种消息传递体系结构上得到实现：一种是曙光－2000超级服务器（由国家智能计算机研究中心开发）,它由单处理器（PowerPC）结点经MESH网互联而成;另一种是国家高性能计算中心（     

网络并行计算环境PVM的消息传递及通信协议

本文首先介绍了ＰＶＭ的结构及其特点，然后对ＰＶＭ的关键技术－消息传递机制和网络通信协议的实现进行了分析。     

PVM并行调试环境的现状与技术分析

本文通过分析目前并行调试技术的研究和发展，阐述了并行调试环境所应具备的基本功能，并在此基础上探讨了ＰＶＭ并行调试环境的设计和关键技术。     

若干发展的消息传递界面：PVMPI，IMPI与FT—MPI

本文介绍了诸如PVMPI、IMPI的改进型消息传递界面(在异构环境中不同的MPI实现能够彼此互操作)，也介绍了具有容错能力的FI—MPI。分析了MPI的特征和体系结构及其性能。     

基于快速消息传递的高性能PVM

并行虚拟机(parallelvirtualmachine,简称PVM)是并行工作站机群系统中流行的并行软件环境之一.分析了PVM的实现机制,指出PVM低效的原因,并给了基于高速精简通信层调整消息传递(fastmessagepassing,简称FMP)的高性能PVM(high-performancePVM,简称HPVM)的详细设计和实现.     

分布式并行计算环境：MPI

1 引言在过去几十年里,大规模和超大规模并行机的可用性取得长足进步。由于各种因素,这些机器大多采用分布主存或分布共享主存结构,为了对用户提供必要的支持,厂商开发了各自专有的消息传递包或消息传递库如Intel的NX、IBM的EUI、Parasoft的Exress、橡树岭的PVM等。它们提供了相似的功能,并且在特定平台上具有优越的性能,但是在应用程序     

网络环境中MPI和PVM的分析与比较

消息传递接口(MessagePassingInterface,MPI)和并行虚拟机(ParallelVirtualMachine,PVM)是两种广泛应用的网络分布式并行计算环境。论文首先介绍了消息传递接口和并行虚拟机两者各自的起源和特点,然后在此基础上从可移植性、点对点通信、集体通信、资源管理和容错能力等多方面分析和比较了这两者的功能特点。     

基于MPI的并行程序设计

在介绍消息传递接口标准(MPI)和分析并行程序设计方法的基础上,提出了在并行程序设计中需要进行算法级分析和程序级测试,以此来对影响具体的并行程序执行效率的因素进行分析,并用实例验证了分析结果。最后对MPI的实现之一———MPICH1.2.5版本的不足,提出了改进的方法。     

RoCE协议下基于在网计算的MPI通信优化

高性能计算中,通信上的巨大开销已成为其算力提升的主要瓶颈之一,通信性能的优化一直是一个重要挑战.针对通信优化任务,提出一种基于在网计算技术降低通信开销的方法.该方法在基于以太网的超算环境下,利用RoCEv2协议、可编程交换机以及OpenMPI,实现将归约计算卸载到可编程交换机,支持Node和Socket两种通信模式.在真实超算环境下开展了集合通信基准测试和OpenFOAM应用测试实验,结果表明,当服务器节点数达到一定规模时,该方法在Node和Socket两种模式下相较于传统的主机通信,均呈现出较好的性能提升,其中集合通信基准测试有10%–30%左右性能提升,在应用级测试中应用整体性能有1%–5%左右提升.     

PVM应用移植到MPI问题的探讨

消息传递方式是广泛应用于一些并行机,特别是分布存储并行机的一种模式。ＰＶＭ（ＰａｒａｌｌｅｌＶｉｒｔｕａｌＭａｃｈｉｎｅ）和ＭＰＩ（ＭｅｓｓａｇｅＰａｓｓｉｎｇＩｎｔｅｒｆａｃｅ）都是目前是广受欢迎的基于消息传递的并行程序库,其中ＰＶＭ的消息传递接口,因其简单性,而没有给用户最大的灵活性以实现最佳的性能：为此,消息传递标准的讨论会工作组制定了消息传递接口ＭＰＩ标准,为ＰＶＭ实现最佳性能提供了可能。该文通过对ＰＶＭ和ＭＰＩ的比较,指出了从ＰＶＭ应用移植到ＭＰＩ应用时有利的方面和潜在的缺陷。如果一个应用程序能避开这些缺陷的影响,那么它就能够从移植中提高通信的性能,从而提高其分布式计算的性能。     

PC机群上JIAJIA与MPI的比较

对JIAJIA和MPI (message passing interface)是进行了比较.JIAJIA和MPI分别代表共享存储和消息传递的编程模式.MPI显式进行数据传输,编程复杂;JIAJIA由底层维护数据一致性,并附加提供简单的消息传递函数,编程容易、灵活.JIAJIA分配共享内存时开销较大,初始化时间比MPI长.提出了一个关于并行加速比与进程数目之间关系的近似经验公式,推出JIAJIA和MPI性能差距随着进程数目的增多而增大的结论.测试结果表明,大部分应用程序的JIAJIA和MPI版本的并行性能差距不超过10%.对于通信量很小的应用程序,其JIAJIA和MPI的性能差距较小,而通信量本身较大的应用程序,其JIAJIA和MPI的性能差距主要取决于运行时产生的实际通信量.     

MPI-RCDD: A Framework for MPI Runtime Communication Deadlock Detection

The message passing interface (MPI) has become a de facto standard for programming models of highperformance computing, but its rich and flexible interface semantics makes the program easy to generate communication deadlock, which seriously affects the usability of the system. However, the existing detection tools for MPI communication deadlock are not scalable enough to adapt to the continuous expansion of system scale. In this context, we propose a framework for MPI runtime communication deadlock detection, namely MPI-RCDD, which contains three kinds of main mechanisms. Firstly, MPI-RCDD has a message logging protocol that is associated with deadlock detection to ensure that the communication messages required for deadlock analysis are not lost. Secondly, it uses the asynchronous processing thread provided by the MPI to implement the transfer of dependencies between processes, so that multiple processes can participate in deadlock detection simultaneously, thus alleviating the performance bottleneck problem of centralized analysis. In addition, it uses an AND⊕OR model based algorithm named AODA to perform deadlock analysis work. The AODA algorithm combines the advantages of both timeout-based and dependency-based deadlock analysis approaches, and allows the processes in the timeout state to search for a deadlock circle or knot in the process of dependency transfer. Further, the AODA algorithm cannot lead to false positives and can represent the source of the deadlock accurately. The experimental results on typical MPI communication deadlock benchmarks such as Umpire Test Suit demonstrate the capability of MPIRCDD. Additionally, the experiments on the NPB benchmarks obtain the satisfying performance cost, which show that the MPI-RCDD has strong scalability.     

主动消息与MPI

本文详细分析了消息传递的开销问题,并对可降低开销的一种机制：主动消息进行了深入探计,在此基础上给出了将主动消息引入ＭＰ少基于主动消息实现ＭＰＩ的原型。     

基于MPI并行计算的信号稀疏分解

在研究信号稀疏分解理论及其最常用的匹配追踪算法的基础上,针对MP算法存在的计算量过大的问题,提出一种基于并行计算系统实现信号稀疏分解的方法。该方法利用8台微机,采用MPI消息传递机制,以100 M高速以太网作为互联网络,构建了一套Beowulf 并行计算系统,在此系统上通过编制并行程序来实现MP算法。实际测试表明这种方法具有很高的并行计算效率,分解时间从单机75 min左右下降到8机并行11 min左右,大大提高了信号稀疏分解的速度。     

POM:一个MPI程序的进程优化映射工具

现代超级计算机具有越来越多的计算结点,同时结点内具有多个处理器核。由于互联带宽的差异,结点间与结点内构成两个通信性能不同的通信层次,后者的通信性能好于前者。但是,目前MPI程序的默认进程映射未考虑该通信层次差异,无法利用结点内较好的通信带宽,严重束缚了超级计算机的性能发挥。针对该问题,本文设计实现了能利用层次通信差异的MPI程序自动进程优化映射工具POM,提供了高效、低开销获取MPI程序通信信息的方法,最终通过优化通信在通信层次上的分布提高了程序的通信效率,从而提高了应用程序的性能。本文解决了硬件平台通信层次的抽象、MPI程序通信信息的低开销获取与映射方案的计算三个问题。首先,按照通信能力差异将超级计算机结构抽象为高速互联的不同计算结点与相同结点上的多个处理器核两层。其次,提出了将集合通信转化成点到点通信的简单实现方法。最后,利用无向加权边图来表示MPI程序的进程间通信关系,将MPI程序的进程映射问题转化为图划分问题。在曙光5000A和曙光4000A上的实验结果表明,利用POM工具能够显著提高MPI程序的性能。