高性能计算机互连系统研究

互连系统是构成高性能计算机系统和决定系统通信性能的关键部分 ,其主要功能是实现系统中大量结点机间的消息传送。因而其通信带宽和延迟将直接影响高性能计算机系统计算能力和效率的发挥。本文重点研究高性能计算机“高带宽、低延迟”互连系统技术 ,以支持高性能计算机系统计算能力和效率的更好发挥。本文研究了高性能计算机系统的性能度量和提升途径 ,分析并找出了影响系统加速比的关键因素。分析了互连系统中的拓扑结构、切换技术、流控策略和路由算法等方面采用的技术和研究现状 ,总结了提高互连通信系统性能的技术途径。本文对高性能计…     

HPP:一种支持高性能和效用计算的体系结构

为了同时做到应对千万亿次高性能计算的技术挑战和满足数据中心(data center)未来的主要应用模式效用计算(utility computing)的需求,提出了一种称为HPP(Hyper Parallel Processing)的高性能计算机体系结构.HPP的主要特征是全局地址空间(global address space)和单一操作系统映像的超节点(hyper node).HPP结合了MPP的可扩展性,DSM的高效通信和机群的普及化的优点,为高性能计算和效用计算都提供了许多创新研究的机会.基于HPP体系结构,实现了一个曙光5000高性能计算机的原型系统,初步验证了它的可行性.     

高带宽远程内存结构中的预取研究

高速电路和光互联技术的发展极大地提高了网络的速度与带宽。因而，突破高性能计算机CPU与内存紧耦合的传统结构成为可能，CPU与内存的耦合不再受距离的限制，这必将引起体系结构的变革。文[1]提出DSAG结构——CPU与内存在空间上分离，每个CPU节点上仅留少量内存．将海量内存放在远程统一管理作为内存服务器，CPU节点和内存服务器之间通过高速网络互连。这种新的体系结构带来了更好的共享性和可扩展性，但同时也对我们解决CPU和内存之间的不平衡性问题带来了挑战。为了降低DSAG这种远程内存结构增加的访存时延，我们考虑到CPU正常访存没有充分利用网络的高带宽，因此可以利用剩余的网络带宽来进行远程内存数据的预取。本论文在应用程序执行时记录本地（相对于远程内存）不命中的地址信息，以页对齐分析其中存在的页框流（Page Frame Stream）的统计特征，并提出可基于页框流的预取机制可降低访存延迟、提升系统性能的观点。最后我们采用模拟的方法验证了观点的可行性与正确性，进一步提出了三种预取策略，比较并分析影响预取效果的因素。     

以存储器为中心的路由器MRouter

并行系统的互连技术一直是高性能计算机的一个关键研究领域。在本文作者1999年中提出了一种基于多端口快速存储器的新型互连体系结构MCIM,并在此基础上构造出规模为16－128个CPU的结点系统。该文将MCIM原理应用在互连网络通信技术上,实现了一种以存储器系统为中心 的路由器MRouter。它采用流水操作和穿通传输技术,可用于构成低延时、高带宽的高性能互连网络。这将种互连网络与上述结点系统结合,可以实现更大规模的并行系统。而且其无论在板级或是结点级都采用同一种互连技术,有利于系统的模块化实现。文中介绍了以存储器为中心的互连机制MCIM的原理,同时描述了以存储器为中心的路由器MRouter的结构及数据传输流程,在仿真实验中作者对MCIM的互连通信技术和其它互连技术进行了测试和比较。     

一种基于NIC的RDMA可靠传输协议的设计与实现

高性能计算机不断增长的规模和复杂性使得可靠性成为影响高性能计算机系统可用性的关键因素,系统互连网络是高性能计算机的重要组成部分,其可靠性是高性能计算机系统设计必须考虑的重要问题。针对高性能计算机系统互连网络可能出现的故障,提出一种基于NIC实现的RDMA可靠传输协议,给出了一种通用的设计实现方案,并对该方案的几种具体优化设计实现方法进行了讨论。提出的可靠传输协议及实现方案能容忍系统互连网络可能出现的多种网络故障,并能尽量减少实现可靠传输所带来的额外开销。实验结果表明,所提出的RDMA可靠传输的实际测试性能与无连接RDMA传输相当。     

多级混洗交换网络开关选择的二分算法

多级混洗交换网络是高性能计算机体系结构中极为重要的一种互连网络连接体系结构，本文提出了一种新的开关选择算法，可以在实际应用中有效提高计算机的性能。     

高性能计算机曙光4000A的网格使能特征

网格计算的理想是实现基于Internet的资源共享和协同工作，是Internel．继WWW后的又一个发展浪潮．高性能计算机(超级服务器)是网格中主要的共享资源提供者，而网格也必将成为高性能计算机的主要应用环境．因此网格成为推动高性能计算机发展的一个重要因素，高性能计算机研制中必须考虑网格的需求，并提供必要的支持．曙光4000A是由中国科学院计算技术研究所最新研制的面向网格的高性能计算机，该系统的研制得到国家“八六三”高技术研究发展计划的支持，并作为中国国家网格的主节点部署在上海超级计算中心．详细论述了曙光4000A系统中主要的网格使能特征，这些特征从体系结构、系统硬件和软件方面对网格提供了支持，是从高性能计算机研制角度对网格使能技术进行的积极探索和尝试．     

高性能计算机系统MGH串行背板设计

高性能计算机和通信系统的互连传输速率超过10Gbps,信号频谱高端已达数10GHz(MGH)以上。本文分析了MGH背板的互连方式,讨论了高性能PCB板材和连接器的性能和应用能力。针对MGH背板高速率串行传输的信号完整性设计要求,提出采用小角度布线、反钻和双直径过孔的设计技术,并在工程设计中得到了成功应用。     

先进计算基础设施中结点内部的任务调度和监控

一、引言在当前的高性能计算研究中,网络并行超级计算系统(集群式计算系统,又称cluster是国内外研究的热点。网络并行超级计算可以以很低的价格提供高性能计算,能满足大多数用户的要求,特别适合在国内推广和使用。目前对高性能应用的需求要求越来越高,仅靠一台高性能计算机已经无法完成某些超大规模应用问题。这就需要将分布在不同地区、不同体系结构的高性能计算机通过高速网     

一种基于定制高性能互连的对象存储系统

基于高性能互连实现对象存储系统已经成为构建高性能计算机可扩展I/O系统的发展趋势。我们设计并实现了一种定制的高带宽、低延迟的高性能互连芯片HSNI,它提供了很好的通信性能,可用于构建对象存储系统。本文对HSNI的硬件体系结构、软件结构及其通信机制进行了介绍,并基于HSNI构建了高性能的对象存储系统。性能测试结果表明,HSNI芯片带宽高、延迟低,非常适合构建大规模对象存储系统,该存储系统能够很好地发挥Lustre系统的性能,并具有很好的可扩展性,能够很好地满足面向高性能计算的I/O系统需求。     

织女星网格的体系结构研究

网格技术是高性能计算机研究的热点，网格的体系结构是构建网格系统的基础，在分析比较现有网格技术的基础上，提出了织女星网格的体系结构设计，并对其中的关键问题进行了研究，织女星网格体系结构的基本思路是实现一台虚拟的、单一的网格超级计算机，其核心是Vege设计思想，织女星网格体系结构的关键组成包括网格硬件、网格互联系统以及网格操作系统，同时提出了资源路由器、网格计算协议、网格浏览器等重要概念。     

基于InfiniBand的高性能计算机技术研究

网络性能一直是制约高性能计算技术发展的瓶颈，无论是面向计算的网络还是面向存储的网络，通信速度的发展远落后于CPU的发展．InfiniBand互连结构能够缩短网络和CPU之间的性能差距，使高性能计算机的性能趋于平衡．2000年在InfiniBand协议发展初期，国家并行计算机工程技术研究中心就在国家“八六三”计划的支持下开始对InfiniBand协议展开了深入研究，旨在改进高性能计算特别是集群系统的互连性能，研制出符合InfiniBand标准规范的高性能互连部件，并最终开发出了具有自主知识产权的InfiniBand互连网络产品．论述了以自行研制的InfiniBand部件技术为基础的高性能集群计算机系统的组成、结构和应用，并对系统性能进行了实验分析．     

Algorithm level power efficiency optimization for CPU-GPU processing element in data intensive SIMD/SPMD computing

Power efficiency investigation has been required in each level of a High Performance Computing (HPC) system because of the increasing computation demands of scientific and engineering applications. Focusing on handling the critical design constraints in the software level that run beyond a parallel system composed of huge numbers of power-hungry components, we optimize HPC program design in order to achieve the best possible power performance on the target hardware platform. The power performance of a CUDA Processing Element (PE) is determined by both hardware factors including power features of each component including with CPU, GPU, main memory and PCI buses, and their interconnection architecture; and software factors including algorithm design and the character of executable instructions performed on it. In this paper, approaches to model and evaluate the power consumption of large scale SIMD computation by CUDA PEs on multi-core and GPU platforms are introduced. The model allows obtaining design characteristic values at the early programming stage, thus benefitting programmers by providing the necessary environment information for choosing the best power-efficient alternative. Based on the model, CPU Dynamic frequency scaling (DFS) can be applied on CUDA PE architecture that adjusts CPU frequency to enhance power efficiency of the entire PE without compromising its computing performance. The power model and power efficiency improvements of the new designs have been validated by measuring the new programs on the real GPU multiprocessing system.     

Designing a Crossbar Scheduler for HPC Applications

A crucial part of any high-performance computing (HPC) system is its interconnection network. Corning and IBM are jointly developing a demonstration interconnect based on optical cell swtiching with electronic control. Key innovations in the scheduler architecture directly address the main HPC requirements: low latency, high throughput, efficient multicast suppot, and high reliability.     

ArchSim: A System-Level Parallel Simulation Platform for the Architecture Design of High Performance Computer

High performance computer (HPC) is a complex huge system, of which the architecture design meets increasing difficulties and risks. Traditional methods, such as theoretical analysis, component-level simulation and sequential simulation, are not applicable to system-level simulations of HPC systems. Even the parallel simulation using large-scale parallel machines also have many difficulties in scalability, reliability, generality, as well as efficiency. According to the current needs of HPC architecture design, this paper proposes a system-level parallel simulation platform: ArchSim. We first introduce the architecture of ArchSim simulation platform which is composed of a global server (GS), local server agents (LSA) and entities. Secondly, we emphasize some key techniques of ArchSim, including the synchronization protocol, the communication mechanism and the distributed checkpointing/restart mechanism. We then make a synthesized test of some main performance indices of ArchSim with the phold benchmark and analyze the extra overhead generated by ArchSim. Finally, based on ArchSim, we construct a parallel event-driven interconnection network simulator and a system-level simulator for a small scale HPC system with 256 processors. The results of the performance test and HPC system simulations demonstrate that ArchSim can achieve high speedup ratio and high scalability on parallel host machine and support system-level simulations for the architecture design of HPC systems.     

面向飞行器设计的网络虚拟设计环境的体系结构和关键技术研究

网络虚拟设计环境NVDE（Networked Virtual Design Environment）是在网络虚拟环境NVE（Networked Virtual Environment）中,实现多人异地的协同设计,目前主要应用领域是飞行器设计。首先介绍NVDE以网络为中心的体系结构,然后解释了两个关键技术：使用基于Windows的高性能计算实现单一平台设计和通过VLAN技术使光纤网络支持协同设计,最后总结NVDE当前的工作进展和下一步工作。     

基于UML的分布式软件体系结构中部件交互模式的复用

以客户／服务器系统为例，说明基于UML的分布式软件体系结构中部件交互模式的复用技术。用UML中的类图描述了模式中的部件，用合作图 部件喑的交互，同时也对同步方式、异步方式和代理通讯方式进行了建模。最后对前面所建模型进行了实例化，说明本模式的复用有着较大的实用价值。     

存储与计算的分离

当前计算应用的发展对传统计算机体系结构提出了挑战．由计算资源和存储资源固定连接形成的系统已经不能适应动态计算的需求．从应用出发,提出计算资源和存储资源物理分离和逻辑分离的概念,并以此为基础,构造三维可重构计算环境可以解决这些问题．在这种环境中,用户程序、计算资源和存储资源可以根据应用的需求动态组合．由于摆脱了资源的地理位置和操作环境等方面的限制,计算过程将呈现出数据驱动的特点,从而实现按需计算,使计算系统可以在更大范围内为用户提供服务。     

基于RapidIO的双路IEEE 1394b串行总线控制器的实现

介绍了1394b总线网络系统和1394b逻辑设计架构,阐述了基于RapidIO架构的双路1394总线控制器的硬件平台。在此平台上进行基于VxWorks操作系统的1394驱动开发和RapidIO驱动开发,并搭建1394b总线网路测试平台。验证了板卡上两路1394b总线控制器的基本通信功能,实现了板卡内部芯片间的高速互联,以及根节点和叶节点在不同通道上、在100 Mbit/s和400 Mbit/s速率模式下的总线网路通信。