Myrinet:一种适用于机群系统的新型高速网络

机群系统用于并行处理具有很多ＭＰＰ系统所没有的优点，但要实现高性能的机群系统，则需要高带宽、低延迟的高速网络的支持。该文从软硬件结构、采用的技术及其应用实例几方面介绍了一种适用于机群系统的新型高速网络———Ｍｙｒｉｎｅｔ，并通过实验测试数据以及与其它高速网络特性的对比可知，Ｍｙｒｉｎｅｔ的性能／价格比很高，是组建机群系统的理想网络解决方案。     

一种适用于机群系统的用户层消息传递机制

网络通信中的软件开销是目前影响机群系统性能的瓶颈,为了提高机群系统的通信性能,提出了一种用于机群系统的用户层快速消息传递机制ULFM(user-levelfastmessage),并在TH-GBNet上加以实现.ULFM以通信缓冲区的管理为核心设计了一种易于实现的用户层网络访问接口,通过综合采用用户层网络接口访问、零拷贝数据传递、精简通信协议等技术,可以有效地降低机群系统的通信开销,为应用程序提供实际的低延迟、高带宽的通信性能.在TH-GBNet的实现中,ULFM节点间16字节数据包的单向延迟减小到仅为6μs,2K字节数据包的带宽达40MB/s.     

提高工作站机群系统通信性能方法的研究

工作站机群系统是目前并行处理技术的研究特点之一，而春网络通信的性能又是机群系统的关键。本文在分析影响系统性能因素的基础上，从软、硬件两方面着重讨论了高速网络技术，精简通信协议和Ａｃｔｉｖｅ Ｍｅｓｓａｇｅ通信机制等提高网络通信性能的方法。     

Windows2000流媒体技术

M ｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ Ｍｅｄｉａ Ｓｅｒｖｉｃｅ是一个能适应多 种网络带宽条件的流式多媒体信息的发布平台,包括了流式媒体的制作、发布、播放和管理的一整套解决方案。另外,还提供了开发工具包（ＳＤＫ）供二次开发使用。 Ｗｉｎｄｏｗｓ Ｍｅｄｉａ Ｓｅｒｖｉｃｅ的核心是ＡＳＦ（Ａｄｖａｎｃｅｄ Ｓｔｒｅａｍ Ｆｏｒｍａｔ）。ＡＳＦ是一种数据格式,音频、视频、图像以及控制命令脚本等多媒体信息通过这种格式,以网络数据包的形式传输,实现流式多媒体内容发布。其中,在网络上传输的内容就称为ＡＳＦＳｔｒｅａ…     

SMP超结点机群系统的仿真分析

通过网络将独立的计算机结点连接起来协同工作 ,机群系统已经成为实现超级计算的一个重要手段 .随着计算机制造工艺的发展 ,处理器的运算能力得到迅速提高 ,使得网络性能成为机群系统的瓶颈问题 .因此 ,采用高频宽网络 ,减少通信开销是发展机群系统的首要任务 .采用交换式网络及用户层消息传递机制是提高网络性能的有效手段 .通过建立仿真模型 ,我们对机群系统进行模拟 ,定量分析了交换网络及用户层消息传递对其性能的影响 .本文介绍了交换式机群系统和用户层消息传递的原理及其仿真结构 .本文还描述了对机群系统的仿真测试 ,并对实验结果进行分析     

MPI网络并行计算系统通信性能及并行计算性能的研究

本文研究了基于ＰｅｎｔｉｕｍＰＣ和１００Ｍｂｐｓ交换工以太网的机群系统的ＭＰＩ并行计算环境的通信及并行计算性能，并将其模型化。并且通过对典型应用实例的测试，分析了通信性能对并行计算性能的影响。     

Windows TCP／IP平台上MMS通信系统研究与实现

Ｗｉｎｄｏｗｓ ＴＣＰ／ＩＰ是当今流行的应用和开发平台。ＭＭＳ（制造报文规范）是计算机网络应用层的重要标准之一，适合于ＣＩＭＳ和自动化系统通信。本文首先介绍ＭＭＳ协议规范和Ｗｉｄｎｏｗｓ ＴＣＰ／ＩＰ开放系统平台，接着探讨了在Ｗｉｎｄｏｗｓ ＴＣＰ／ＩＰ平台上开发ＭＭＳ通信系统的方法和步骤，最后给出ＭＭＳ通信系统实现流程。     

RTLinUx下基于半轮询驱动的用户级报文传输机制

网络通信软件的处理开销已成为影响机群系统的性能瓶颈,为了提高机群系统的网络性能,在实时操作系统RTLinux下,设计并实现了一个符合VIA规范的用户级通信软件UMPS,提出了半轮询驱动的概念,利用半轮询驱动机制降低了系统中断频率,明显提高了短报文的处理能力.通过更为高效的地址翻译和基于资源映射图的缓冲区管理算法,应用程序旁路操作系统,依靠异步DMA直接与通信设备进行交互,有效地降低了网络通信的延迟与开销.通过性能的分析比较表明,UMPS接收64 byte与1500 byte的报文时吞吐量分别达到394 Mbps和895 Mbps,与现有的报文传输机制相比,UMPS的性能有了较为显著的提高.     

国产万亿次机群系统NPB性能测试分析

对3个国产万亿次机群系统进行了NPB性能测试分析，重点研究大规模并行处理时(处理器数目达到上千个)的性能特点和趋势．分析了不同的处理器、互连网络等系统配置对NPB性能的影响，发现NPB的8个程序在3个万亿次机器上的性能特点和表现并不一致，表明国产高性能机群在设计上正在逐渐走出同质化的趋势，向多样化发展．进一步分析表明，目前NPB程序的可扩展性可以达到几百个处理器，但尚不能达到上千个处理器，NPB程序能发挥出的系统峰值的百分比仍然徘徊在10％左右，机群系统的并行可扩展性和应用程序对机器运算潜能的利用还需要进一步提高．对于处理器数目达到上千个的万亿次机群系统来说，对集合通信和细粒度通信能力的支持亟需提高．     

MPEG-4视频标准及它在未来多媒体应用上的潜力

制定ＭＰＥＧ－１和ＭＰＥＧ－２视音频压缩标准的运动图象专家组（ＭｏｖｉｎｇＰｉｃ ｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ），目前正在许多工业部门的参与下制定ＭＰＥＧ－４视音频压缩标准。ＭＰＥＧ－４是针对交互式多媒体应用的，并且将在１９９８年正式成为一个国际标准。可以预见，就象ＭＰＥＧ－２成为数字电视的通用技术那样，ＭＰＥＧ－４将成为多媒体视听通信的通用技术。本文的目的主要是通过ＭＰＥＧ－４的视频标准，来讨论ＭＰＥＧ－４标准在网络上实现多媒体交互的适用范围与潜力。     

适用于工作站机群系统高性能计算的快速消息传递协议

消息传递系统对于工作站机群系统的计算性能是至关重要的．随着网络设备性能的飞速提高,传统的TCP／IP协议中不必要的开销已经成为通信速度的瓶颈．为了能够充分利用高速硬件的通信潜能,介绍了一种专门为Myrinet设计的新的通信协议——FMP．该协议包含网络部分和本地部分,是一个精简的通信协议．物理层假定是不会出错的,因此该协议十分简单而高效．与TCP／IP相比,该协议的性能有了很大的提高．介绍了该协议中的关键技术,并展示了部分结果     

基于Myrinet的用户空间精简协议

通信子系统是影响工作站机群系统整体性能的主要因素.文章在分析和比较了3种常用的网络性能之后,指出上层协议的处理是影响工作站机群系统性能的主要瓶颈.在由640Mbps的Myrinet连接的8台Sun SPARC工作站组成的机群系统上实现了一个用户层的高性能的精简通信协议——RCP(reduced communication protocol).通过精简协议的冗余功能、减少数据拷贝次数和直接操作硬件缓冲区等方法,达到低延迟、高效率.RCP的回路延迟时间比TCP/IP小得多（200μs vs 1 540μs）,     

Device level communication libraries for high‐performance computing in Java

Since its release, the Java programming language has attracted considerable attention from the high‐performance computing (HPC) community because of its portability, high programming productivity, and built‐in multithreading and networking support. As a consequence, several initiatives have been taken to develop a high‐performance Java message‐passing library to program distributed memory architectures, such as clusters. The performance of Java message‐passing applications relies heavily on the communications performance. Thus, the design and implementation of low‐level communication devices that support message‐passing libraries is an important research issue in Java for HPC. MPJ Express is our Java message‐passing implementation for developing high‐performance parallel Java applications. Its public release currently contains three communication devices: the first one is built using the Java New Input/Output (NIO) package for the TCP/IP; the second one is specifically designed for the Myrinet Express library on Myrinet; and the third one supports thread‐based shared memory communications. Although these devices have been successfully deployed in many production environments, previous performance evaluations of MPJ Express suggest that the buffering layer, tightly coupled with these devices, incurs a certain degree of copying overhead, which represents one of the main performance penalties. This paper presents a more efficient Java message‐passing communications device, based on Java Input/Output sockets, that avoids this buffering overhead. Moreover, this device implements several strategies, both in the communication protocol and in the HPC hardware support, which optimizes Java message‐passing communications. In order to evaluate its benefits, this paper analyzes the performance of this device comparatively with other Java and native message‐passing libraries on various high‐speed networks, such as Gigabit Ethernet, Scalable Coherent Interface, Myrinet, and InfiniBand, as well as on a shared memory multicore scenario. The reported communication overhead reduction encourages the upcoming incorporation of this device in MPJ Express ( http://mpj‐express.org ). Copyright © 2011 John Wiley & Sons, Ltd.     

基于Myrinet的高性能VIA设计与实现

Virtual interface architecture(VIA)建立了一种低延迟、高带宽的通信模型,定义了集群系统中用户层高性能通信规范的标准.通过分析VIA的进展、原理及当前的实现,在Myrinet上设计并实现了一个符合VIA规范的高性能用户层通信软件MyVIA.首先定义了MyVIA的设计原理和框架;然后针对MyVIA实现的不同层次,通过与BerkeleyVIA的比较,提出了UTLB、连续物理内存和可变长NIC内存管理、基于资源和DMA chain的流水线处理、物理描述子环和物理描述子动态缓存等多项优化技术.通过性能的分析比较表明,MyVIA发送4KB数据包时的带宽可达到250MB/s,最小单边延迟为8.46(s.与目前其他VIA实现相比,MyVIA的性能有了较为显著的提高.     

一种基于Myrinet LANai9硬件支持的VIA原型实现

VIA定义了一种低延迟、高带宽的数据传输模型，成为集群系统通讯技术的工业标准。本文介绍VIA的产生背景和结构特征，详细阐述了清华大学在Myrinet LANai9硬件上实现 的VIA原型－MyVIA2，最后给出了几种用户层通信软件的测试结果和比较分析。     

高性能计算机系统接口通信机制的研究

高性能并行计算机技术是当今关键技术之一,由清华大学计算机系设计的高性能网络并行超级计算系统THNPSC－1在设计接口时,通过一个表对通信缓冲区进行维护,这样可以直接将数据从应用空间输入／输出到网络,从而支持真正意义上的0拷贝通信协议。通过提供用户层网络访问接口,通信与计算重叠等手段,该接口取得了很高的通信性能。其中实际测量的应用程序之间16字节信息的传递延迟不到7us,最大持续通信带宽可达30MBytes/s。     

曙光超级服务器上DMPI和DPVM的设计

介绍了运行于曙光超级服务器上的DMPI和DPVM的设计与实现。DMPI支持RMA和动态进程管理的功能。DMPI和DPVM在对ADI层进行灵活有效的扩展(DADI-E)的基础上提供了一个高性能的通信层。该文对DADI-E的特点进行了阐述,包括RMA机制、动态进程管理和对PVM的支持。而且,DMPI还提供了一个特殊的数据通路———流水发送,它可以改善DMPI的带宽,使之接近于底层通信协议的带宽峰值。最后还给出了DMPI和DPVM在Myinet卡上的性能指标。     

面向机群互连网络的智能网卡设计

在机群系统中,机群的互连网络性能对整个机群系统的性能有着至关重要的影响。机群系统要求互连网络具有高带宽、低延迟、高可靠等特性,因而通常需要研究专用的网络以满足这一要求。该文介绍了一种面向机群系统互连网络的基于i960VH的智能网卡的设计和实现方法,该网卡采用可编程逻辑器件EPLD实现网络接口设计,采用DMA方式提高网络传输带宽,采用全流水方式减小网络传输延迟,并通过将通讯协议下载到网卡上来执行以提高计算和通讯的重叠。实测表明,在不包括上层协议的情况下,网卡到网卡的传输延迟为3us,节点到节点数据传送带宽可达500Mbit/s。     

MoNoC: A monitored network on chip with path adaptation mechanism

Complex systems on chip containing dozens of processing resources with critical communication requirements usually rely on the use of networks on chip (NoCs) as communication infrastructure. NoCs provide significant advantages over simpler infrastructures such as shared busses or point to point communication, including higher scalability, more efficient energy management, higher bandwidth and lower average latency. Applications running on NoCs with more than 10% of bandwidth usage attest that the most significant portion of message latencies refers to buffered packets waiting to enter the NoC, whereas the latency portion that depends on the packet traversing the NoC is sometimes negligible. This work presents an adaptive routing architecture, named Monitored NoC (MoNoC), which is based on a traffic monitoring mechanism and the exchange of high priority control packets. This method enables to adapt paths by choosing less congested routes. Practical experiments show that the proposed path adaptation is a fast process, enabling to transmit packets with smaller latencies, up to 9 times smaller, by using non-congested NoC regions.     

基于通用以太网卡的高性能通信库设计实现

采用硬件无关的设计方法,在Linux下实现了一个基于通用以太网卡的高性能集群通信库HPCL/Ethernet。该库利用Linux操作系统的网络设备接口实现了对各种以太网NIC(Network Interface Card)的支持,在软件层实现一个轻量级通信协议支持消息的可靠传输。采用通道简化缓冲区管理,固定缓冲区策略来减少消息拷贝,采用中断回收技术、链路层直接处理消息来优化通信。测试结果表明,该通信库在传输小消息时具有很低延迟,在传输大消息时具有高带宽的特点。传输消息长度为1196bytes时带宽高达1.18E+08bytes/s,是千兆以太网卡硬件带宽的94.4%。