基于InfiniBand网络的MPI实现与分析

近年来,利用普通PC和高速网络搭建集群已经成为构建高性能计算环境的一种趋势。虽然InfiniBand在高性能计算领域还是相对比较新的技术,但是它的丰富特性使得它在高性能领域所占份额日趋扩大。InfiniBand Architecture(IBA)这种工业标准的主要设计思想是采用支持多并发链接的“转换线缆”技术提供高性能和高可靠性.这篇文章介绍了InfiniBand的体系结构和在InfiniBand上实现MPI的有关技术。最后在集群环境中,用MPI对InfiniBand网络的各项性能指标进行了测试。     

一种适合众核MPI的托管式消息模型

以异构多核为特征的众核处理器已成为处理器技术的主流发展方向,如何在众核上实现高效、可用的MPI将逐渐成为一个研究热点。本文首先介绍了众核MPI的研究现状,然后结合已有的研究成果提出一种适合众核MPI的消息模型,最后对MPI在众核上的发展趋势进行了展望。     

异构环境下MPI通信技术研究

异构环境下的高性能计算技术是当前获取高性价比计算平台的重要方法,在MPI系统中提供用户透明、高性能的异构支持是实现异构环境下进程间通信的自然选择,相关技术研究已成为高性能计算领域急待解决的问题.本文对网络异构和处理器异构进行了详细阐述,分析它们对MPI通信的影响;然后基于Open MPI系统.对这两类异构问题的具体实现进行介绍,测试并分析它们对通信性能的影响;最后展望了这一研究方向的技术难点与发展趋势.     

Spark任务间消息传递方法研究

当今诸多工程问题及科学研究中,都面临着大数据处理和高性能计算任务的双重挑战。基于内存计算技术提出的分布式处理框架Spark已在学术和工业界得到了广泛的应用,但其MapReduce-like的编程模型在任务间无法进行通信,导致科学计算中的数值算法无法进行高效实现。针对上述问题,研究了一种Spark内存计算与MPI消息传递模型相结合的解决方案,充分利用内存访问存取快速的特点和MPI的多种高性能通信机制,解决了Spark编程模型表达能力不足的缺陷,同时为MPI提供了面向数据的DAG计算方式。通过对Spark内部的运行环境和调度系统进行修改,使得MPI在Spark中得以无缝融合,为高性能计算和大数据任务提供了一个统一的内存计算系统。测试结果表明,在数值计算和迭代算法上相比Spark至少有50%的性能提升。     

一种并行程序性能工具的研究与实现

随着高性能计算技术的不断发展,并行程序的设计、调试、优化逐渐成为并行技术应用的关键,而性能工具在提高并行程序的执行效率方面发挥着重要的作用。本文阐述了并行程序性能工具的系统结构,以及各个模块功能的原理,并实现了一个基于MPI消息统计的性能工具。     

实时消息传递界面

实时系统消息传递界面(MPI/RT)是高性能计算中消息传递界面(MPI)在实时方面的扩展,可支持实时通信和实时系统的开发.文中介绍了MPI/RT的背景、开发的基本原理、重要技术和重要概念.描述了MPI/RT如何对双边、单边、零边3种类型的通信和时间驱动、事件驱动、优先级驱动3种实时典范以及这些典范的组合的支持.讨论了MPI/RT如何描述和满足高性能的实时系统的QoS要求.最后给出了一个用MPI/RT开发高性能的实时系统的一般过程.     

实时消息传递界面

实时系统消息传递界面(MPI/RT)是高性能计算中消息传递界面(MPI)在实时方面的扩展，可支持实时通信和实时系统的开发。文中介绍了MPI/RT的背景、开发的基本原理、重要技术和重要概念。描述了MPI/RT如何对双边、单边、零边3种类型的通信和时间驱动、事件驱动、优先级驱动3种实时典范以及这些典范的组合的支持。讨论了MPI/RT如何描述和满足高性能的实时系统的QoS要求。最后给出了一个用MPI/RT开发高性能的实时系统的一般过程。     

面向高性能应用的MPI大数据处理

针对消息传递接口（MPI）在高性能计算领域的应用场景,为了优化MPI现有数据集中管理模式,增强其对大数据的处理能力,借鉴并行与分布式系统思想,开发设计一套适用于大数据处理的基于MPI的数据存储组件（MPI-DSP）。首先,创建接口函数,以对MPI系统影响最小的方式实现"计算向存储迁移"的设计目标,将文件分配与计算进行分离,使MPI突破大数据文件读取时的网络传输瓶颈。然后,分析阐述设计目标、运行机制、实现策略,通过描述接口函数MPI_Open在MPI环境下的应用,验证设计理念。通过Wordcount实验对比使用MPI-DSP组件与原MPI在数据文件处理方面的时间性能,初步验证了MPI"计算向存储迁移"模式的可行性,使其具备在高性能应用场景下的大数据处理能力。同时分析了MPI-DSP的适用环境和局限性,界定了其应用范围。     

基于LAM/MPI的并行计算方法

介绍了并行计算的设计标准之一MPI,并深入研究了MPI的一个实现版本LAM,研究LAM的目的是为了在VLSI设计中运用LAM来加快矩阵的运算速度.LAM/MPI是对MPI标准的一个高质量的运用和实现,提供了在不同平台上的高性能运行.     

MPI容错问题的研究及实现

集群式计算机由于其良好的性能价格比已经成为高性能计算的主要发展方向,可靠性是这一类平台的主要问题.基于消息传递的MPI是广泛应用于集群系统的并行程序开发环境,实现MPI的容错对避免异常情况下应用程序从头执行造成的计算浪费具有重大意义.文中讨论了MPI标准中的容错以及回卷恢复这一容错技术,并以自强2000-SUHPCS为平台设计了针对MPICH并行消息传递库的容错系统.     

Model‐based MPI‐IO tuning with Periscope tuning framework

For many parallel applications, I/O performance is a major bottleneck. MPI‐IO, defined by the MPI forum, can help parallel applications overcome the performance and portability limitations of existing parallel I/O interfaces. Although autotuning has been used to improve the performance of computing kernels, MPI‐IO autotuning has rarely been studied. To automate MPI‐IO performance tuning, we designed and implemented an automatic tuner. The tuner relies on the Periscope tuning framework for transparently passing hints to the MPI‐IO library and for automatically collecting performance data. Unlike computational code, each MPI‐IO function takes a relatively long time to complete. Thus, exhaustively searching through the entire parameter space is impractical. So we developed a performance model that can direct us to shorten the tuning time. Copyright © 2015 John Wiley & Sons, Ltd.     

一种优化MPI程序性能的改进方法

在分布式存储系统上,MPI已被证实是理想的并行程序设计模型。MPI是基于消息传递的并行编程模型,进程间的通信是通过调用库函数来实现的,因此MPI并行程序中,通信部分代码的效率对该并行程序的性能有直接的影响。通过用集群通信函数替代点对点通信函数以及通过派生数据类型和建立新通信域这两种方式,两次改进DNS的MPI并行程序实现,并通过实验给出一个优化MPI并行程序的一般思路与方法。     

Design and implementation of Java bindings in Open MPI

This paper describes the Java MPI bindings that have been included in the Open MPI distribution. Open MPI is one of the most popular implementations of MPI, the Message-Passing Interface, which is the predominant programming paradigm for parallel applications on distributed memory computers. We have added Java support to Open MPI, exposing MPI functionality to Java programmers. Our approach is based on the Java Native Interface, and has similarities with previous efforts, as well as important differences. This paper serves as a reference for the application program interface, and in addition we provide details of the internal implementation to justify some of the design decisions. We also show some results to assess the performance of the bindings.     

多层次并行体绘制算法的研究与应用

三维数据场的体绘制技术是科学可视化中一个重要的研究方向,本文在研究和总结体绘制的发展历程与关键技术的基础之上,着重研究了体绘制中的光线投射算法,结合多核处理器机群系统,提出并实现了一种基于多层次并行编程模型的并行光线投射体绘制算法,并成功地将该算法应用于三维城市浅层地质模型,取得了良好的可视化效果。分别对MPI环境和多层次并行编程MPI+OpenMP环境下的光线投射算法进行了不同计算规模的性能比较实验。实验和分析表明,多层次并行光线投射体绘制算法加快了体绘制的速度,MPI+OpenMP多层次并行模型性能高于纯MPI编程模型的性能。     

嵌入式零树小波压缩和解压缩的并行化算法

嵌入式零树小波压缩算法是图像压缩技术中有效的压缩算法,但其压缩时间较长.对该算法进行了研究,并在多核机群系统下实现了该算法的并行算法,提高了算法的性能.实现了MPI和MPI+OpenMP两种并行算法,并将串行算法、MPI并行算法与MPI+OpenMP并行算法进行比较.结果显示,随着数据量的增多,MPI并行算法和MPI+OpenMP并行算法相对于串行算法的运行效率都有明显提高,其中MPI+OpenMP并行算法的效率更好.     

基于Linux集群的并行环境简单架设*

并行计算在各个领域的应用越来越广泛,而基于Linux集群的MPI并行环境是一个廉价、高效的并行计算系统。介绍了两种简单的基于Linux集群的MPI并行环境的构建方法,并且提供了软件的详细配置过程。     

IBA网络管理系统的设计及诊断系统的实现

随着InfiniBand协议的日益流行,相应的网络产品也越来越多.应用规模的增加,也随之带来新的问题,如何管理、测试和维护这种新兴网络,已经成为工程师面前的新课题.IBA协议支持各种形式的网络拓扑,不同的管理维护策略适用于不同的网络;研究了多种网络结构后,对一种树形的网络拓扑,给出了网络管理系统的设计及其中诊断系统的实现策略.     

MPI-LAPI: an efficient implementation of MPI for IBM RS/6000 SPsystems

The IBM RS/6000 SP system is one of the most cost-effective commercially available high performance machines. IBM RS/6000 SP systems support the Message Passing Interface standard (MPI) and LAPI. LAPI is a low level, reliable and efficient one-sided communication API library implemented on IBM RS/6000 SP systems. This paper explains how the high performance of the LAPI library has been exploited in order to implement the MPI standard more efficiently than the existing MPI. It describes how to avoid unnecessary data copies at both the sending and receiving sides for such an implementation. The resolution of problems arising from the mismatches between the requirements of the MPI standard and the features of LAPI is discussed. As a result of this exercise, certain enhancements to LAPI are identified to enable an efficient implementation of MPI on LAPI. The performance of the new implementation of MPI is compared with that of the underlying LAPI itself. The latency (in polling and interrupt modes) and bandwidth of our new implementation is compared with that of the native MPI implementation on RS/6000 SP systems. The results indicate that the MPI implementation on LAPI performs comparably to or better than the original MPI implementation in most cases. Improvements of up to 17.3 percent in polling mode latency, 35.8 percent in interrupt mode latency, and 20.9 percent in bandwidth are obtained for certain message sizes. The implementation of MPI on top of LAPI also outperforms the native MPI implementation for the NAS Parallel Benchmarks     

MPI-implementation of PFI-code for numerical modeling of the anatomy of breast cancer

Large-scale parallelized distributed computing has been implemented in the message passing interface (MPI) environment to solve numerically, eight reaction-diffusion equations representing the anatomy and treatment of breast cancer. The numerical algorithm is perturbed functional iterations (PFI) which is completely matrix-free. Fully distributed computations with multiple processors have been implemented on a large scale in the serial PFI-code in the MPI environment. The technique of implementation is general and can be applied to any serial code. This has been validated by comparing the computed results from the serial code and those from the MPI-version of the parallel code.     

一种基于MPI的并发面向对象模型

1.引言面向对象程序设计方法是当今最有前途的软件设计技术之一。面向对象方法是与现实模型相对应的,而现实模型中的对象是并发活动的,因此面向对象方法被认为具有潜在的并发性。将面向对象技术和并发技术结合起来的并发面向对象技术是近几年才兴起的,是一个比较新的研究领域。近年来,国内外提出了许多并发面向对象模型,文[1]提出了Actor模型,在该模型中,对象被称为actor,它是自含的、交互的和独