对MPICH作业提交方法的改进和验证

MPI(Message Passing Interface)是大规模集群和网格平台中最通用的编程环境,而MPICH是其中应用得最广的一种可移植的实现.在集群式系统中,通信时间取决于许多因素,如节点数、网络带宽、拓扑结构还有软件算法等.到目前为止关于程序层面上的通信模式被研究得很多,以期达到提高通信效率的目的,但是MPICH系统内部所需要的通信时间特别是作业提交过程所花费的时间往往为人们所忽略.分析了当前MPICH的作业提交方法,并提出了同步二叉树法、异步二叉树法和二倍扩散法等一系列改进算法,达到了减少通信时间,优化通信性能的目的.     

机群系统LogP通信模型的测试与分析

本文形式化描述并发展了通信Microbenchmark技术，并在这种技术的基础上，比较系统地测试了机群系统上四种并行通信系统－－GM－API、基于100M以太网的MPICH，基于Myrinet网络的MPICH和GM－MPI－－的表征通信性能的LogP参数，并通过比较，得出四种并行通信系统特点优劣关系，最后，给出了各个通信系统对不同的并行应用的适用情况。     

MPI集群通信性能分析

MPICH是国内常用的集群计算消息传递系统。MPICH库函数提供的集群通信函数对并行程序的性能有很大的影响。根据集群通信的功能特性．初步地分析了MPICH集群通信的实现机制，并在Windows-10M NOWs和Linux-100M NOWs 中测试了MPICH库函数提供的常用的集群通信函数的执行效率。     

基于RapidIO的单边通信接口的设计与实现

随着MPI 2的发布,单边通信越来越受到广泛的关注.集群系统中单边通信将是一个重要的发展方向,由IBM研制的Blue Gene/L系统就是一个典型例子.在PowerPC架构上实现了一种基于RapidIO的单边通信接口,为下一步与MPICH2的连接实现迈出了重要一步.基于RapidIO的单边通信接口,将使整个网络达到低开销、高带宽和低延时,集群系统的性能也必将得到极大的提高.     

基于RapidIO的MPI设备层的设计与实现

针对RapidlO网络的特点,分析MPICH2的层次设计以及建立在TCP,SCTP网络通信协议上的MPI通信方法,通过重新定义ADI3下的CH3层,设计并实现了一种基于RapidIO的MPI设备层,建立了从MPI到RapidlO的通信通道并实现了多流通信的思想.通过在装有RapidIO网卡机器上的实验表明,在带宽和延迟通信性能上,这种专用的MPI设备层要比以太网模拟器表现出色,而且对于大数据量的通信,性能表现更好.     

采用多框架技术实现在线考场恢复系统

本文分析了当前一些基于Web的在线考试系统在考场恢复方面的不足，提出了一种基于多框架的在线考场结构，并通过框架之间的通信机制和后台提交页面方式来实现即时考生答案的提交工作，从而完成了服务器端的在线考场恢复机制，进一步完善了网络考场的功能。     

基于Myrinet上MPICH-2的实现

在当前并行计算环境中的通信网络中,MPICH-1并行系统可以使用Internet和Myrinet千兆位包交换网络,而MPICH-2并行系统只能使用Internet,由于通信时间的限制而影响了整个系统性能.对MPICH-1和MPICH-2中的作业提交模式进行了研究,给出了一种在MPICH-2中使用Myrinet网络来提交作业的应用,从而达到减少了通信时间的目的.     

MPICH2-CMEX:可扩展消息传递接口实现技术

在大规模并行计算系统中,为了更有效地利用系统的并行性,实现一个高性能、可扩展的MPI系统是非常重要的。CMEX是无连接模式的用户级通讯软件接口,提供了高性能的报文传输和RDMA通讯操作,MPICH2-CMEX是基于CMEX的MPI实现,结合RDMA读和RDMA写通讯操作的特性,MPICH2-CMEX实现了多种数据传输通道,并利用并行应用的近邻通讯模式,实现了混合通道数据传输方法,实际的应用测试表明,MPICH2-CMEX系统具有良好的性能和可扩展性。     

基于计算网格的图像三维重建系统的设计

在计算机视觉处理领域中,三维重建是一种将二维图像恢复成三维信息的方法。目前,由于图像的三维重建过程涉及到大量的数据,重建速度较慢。为了提高三维重建的性能,构建了基于计算网格的图像三维重建系统。利用该系统提供的Web方式,用户可以实现作业提交、作业运行状态查询和图像三维重建服务部署的功能。最后,对所构建的计算网格三维重建系统进行了测试和分析。     

采用多框架技术实现在线考场恢复系统

本文分析了当前一些基于Web的在线考试系统在考场恢复方面的不足,提出了一种基于多框架的在线考场结构,并通过框架之间的通信机制和后台提交页面方式来实现即时考生答案的提交工作,从而完成了服务器端的在线考场恢复机制,进一步完善了网络考场的功能。     

KD60集群消息传递接口群集通信算法优化

大规模集群已经发展到多核的时代,多核架构对并行计算提出了新的要求。消息传递接口(MPI)是最常用的并行编程模型,而群集通信又是MPI中的重要组成部分。研究高效的群集通信算法对并行计算效率的提升有着重要的作用。KD60平台是采用首款国产多核芯片——龙芯3号搭建的国产万亿次多核集群。首先分析了KD60平台多核集群的体系特征以及多核架构下通信具有的层次性特征;然后分析原有群集通信算法实现原理及其不足;最后以广播为例,在原有算法基础上,采用一种基于片上多核(CMP)架构改进算法,改变原有算法通信模式,同时结合实验平台KD60体系特征,对算法做了体系相关优化。实验结果表明,改进算法能够很好地利用多核结构的特点,提高了群集通信广播算法的性能。     

一种基于流水线结构的多级数字混沌编码方案

研究了一种基于流水线结构的多级数字混沌保密通信方案,以驱动参量法作为同步实现模型,并在编码机制上进行了改进。以流水线方式对整个处理过程进行分割,为进程间设定合理的通信粒度,数值模拟得到了另人满意的并行加速比。文章最后对方案中流水线的执行时间进行估算,并分析了在不同任务划分及不同通信速率下的并行加速比情况。     

A Speculative and Adaptive MPI Rendezvous Protocol Over RDMA-enabled Interconnects

Overlapping computation with communication is a key technique to conceal the effect of communication latency on the performance of parallel applications. Message Passing Interface (MPI) is a widely used message passing standard for high performance computing. One of the most important factors in achieving a good level of overlap is the MPI ability to make progress on outstanding communication operations. In this paper, we propose a novel speculative MPI Rendezvous protocol that uses RDMA Read and RDMA Write to effectively improve communication progress and consequently the overlap ability. Performance results based on a modified MPICH2 implementation over 10-Gigabit iWARP Ethernet reveal a significant (80–100%) improvement in receiver side overlap and progress ability. We have also observed up to 30% improvement in application wait time for some NPB applications as well as the RADIX application. For applications that do not benefit from this protocol, an adaptation mechanism is used to stop the speculation to effectively reduce the protocol overhead.     

基于判例构造的并行作业性能预测

针对基于MPI 的并行作业性能预测问题,鉴于历史预测与建模分析方法在异构网络计算环境中性能预测的局限,提出了基于判例构造的并行作业性能预测方法.在MPI 库PMPI 接口中插入封套函数,获取通信日志,并设计了日志规整和合并算法.将最核心的日志循环收缩问题,转化为字符串循环子串收缩问题,提出了一种基于后缀数组算法,在理论和实际的性能方面均优于已有算法;判例程序自动构建阶段,解决了计算时间与通信时间等比例缩放问题,设计了自动构建可执行判例程序的方法.同构与异构机群环境实验结果表明,判例预测方法能够比较准确地预估计算作业的运行时间,对于同构机群误差不超过3%,异构机群误差不超过10%,与同类算法相比,具有较好的综合性能.     

基于天河互连MPI聚合通信归约操作卸载优化

MPI collective communication operation is widely used in parallel scientific application, which has an important influence impact on the scalabilityof the program. Tianhe interconnect network supports the trigger communication operations, which can offload the messaging and processing work and improve the performance between nodes. Allreduce and Reduce algorithms under different tree topological structures are designed by using thetriggered operations to lower the latency the reduction operation communication between nodes. Tests based on the actual system platform show that that, compared with the point to point implementation of these two types of operations in MPICH, the offload algorithm based on trigger can reduce the running time by up to 59.6% at different node scales.     

PBS中的任务调度以及一类资源分配失效的解决

首先对PBS强大的任务调度功能做了详细的介绍，然后实现了PBS和MPICH的绑定，从而解决了使用PBS和MPICH所带来的资源分配失效的问题。