Sockvia--机群环境中的高效socket

随着机群研究的蓬勃发展和高性能网络的出现,机群通信系统的性能得到了大幅度地提升,该文针对普通的网络应用程序高效地移植到机群高性能通信系统之中的问题展开研究,提出了机群环境中的高效socket——sockvia。sockvia利用核心级的VIA作为底层的支持协议,在操作系统核心中提供了与基于TCP/IP的socket完全兼容的socket编程界面和运行环境,使得网络应用程序无需修改源码和重新编译连接,可透明地移植到机群高性能通信系统之中,同时sockvia还表现出理想的通信性能,经过标准的netperf测试,sockvia在AMD64位平台上最低延迟为9.71usec,最高带宽可达1974.85Mbit/sec。     

高性能光互连机群网络接口卡的设计与实现

由于网络环境的机群系统中单个结点的性能越来越高，机群互联网的通信带宽和可靠性成为提高系统性能的主要因素。该文提出了基于计算机DDR存储器接口的高性能光互连机群网络接口卡的结构，并在Xilinx公司的FPGA芯片XC2VP20上进行了实现，对高性能机群互连链路瓶颈问题的解决做了探索性的尝试。实际测试结果表明，DDR存储器接口带宽达到了1600MB／s，链路单通道的最高实测速率达到2．5Gb／s。     

单套网络与多套网络通信性能的比较与分析

目前,以单套网络作为通信系统的机群广泛应用于科学计算中,为了进一步提高机群计算处理能力,引入了多套网络作为机群通信系统。多套网络能够明显地提高机群的通信性能,但是怀疑其应用性能是否也有相应的提高。为了解决疑问,在GM通信系统的基础上实现了双套网络的通信系统(PCS),并全面而又具体地对GM和PCS进行性能比较,实验数据表明:在通信性能方面,PCS的带宽比GM提高了98.4%,而延迟只增加了0.3!s￣0.5!s;在应用性能方面,对于通信量比较大、大消息比较频繁的应用程序,PCS能够取得很好的性能提高,如IS程序,执行时间减少了25.3%,而对于小消息通信比较频繁的应用程序,性能会略有下降,如LU程序,执行时间增加了0.4%。     

数据传输模式对用户态通信的性能影响分析

用户态通信允许应用程序从应用层直接访问网络接口，主机与网络接口之间的数据传输模式对协议性能有重要影响．有效的数据传输模式可以减少数据拷贝次数，降低数据传输开销，尽可能将网络硬件的高性能反映到用户层．本文详细分析了通信系统开销来源，讨论了Myrinet网络环境下不同数据传输模式的实现与特点，测试并分析了不同数据传输模式对用户态通信性能的影响，并给出了相应的适用环境．     

嵌入式网络控制节点研究

为了适应网络控制系统的发展,对嵌入式网络控制节点进行了研究。构建了以S3C2410嵌入式微处理器为核心具有网络通信功能的嵌入式硬件平台。在此基础上构建了以嵌入式linux操作系统为核心的软件平台．并详细探讨了软件平台的构建过程。节点中的网络应用程序调用驱动程序,控制A／D与D／A转换电路,实现与被控对象和信息传递,同时通过socket接口编程实现了与远程计算机的通信。     

通信对机群并行计算性能的影响

分析了通信和计算重叠模型及LogGP模型，指出各通信参数对并行计算性能的影响，结合并行程序的特征介绍了在机群环境下改善并行计算性能经常采用的五种通信方式：采用高速网络、采用用户级通信协议、利用SMP通信、动态预取或迁移数据、消息合并发送，详尽测试了各种方式影响性能情况并分析了其特点和适用范围．采用高速网络是最常用的方法，性能提高明显，适用于各类应用程序．需要传送大量小消息的并行程序还应采用用户级通信协议．对于特定的一类应用程序，采用消息合并发送方式提高性能最多．采用动态预取或迁移数据和利用SMP通信时要慎重，这两种方法只在特定条件下有效．     

曙光超级机上面向连接的机群通信协议

面向连接的简单机群通信协议BCL-SCOP为底层通信协议提供面向连接的协议接口,在目前的机群底层通信协议上实现高速可靠的数据传输,为应用程序提供简单高效的数据收发协议,并对底层协议透明,用户程序与底层协议无关能够方便地移植。应用程序对底层协议的透明使面向连接的协议接口能支持不同机制的协议,以及多协议的并行或高可用的通信。在曙光超级服务器的底层通信协议BCL上实现的BCL-SCOP协议具有较高的性能。     

用户级通信协议BCL-3对IP协议支持的研究

为了充分利用高性能网络，研究人员开发了多种用户级通信协议．这些用户级通信协议可以获得底层硬件提供的高带宽、低延迟．然而由于它们提供完全不同的应用程序接口，用户级通信协议往往只能支持科学计算，而不能支持传统的基于Socket接口、采用核心级通信协议的网络应用程序．通过增加一个IP协议支持模块，BCL-3用户级通信协议在支持科学计算的同时，可以有效地支持现有的基于TCP／IP协议的网络应用程序．而且在分析TCP／IP协议软件开销的基础上，IP协议支持模块有针对性地采用了一些优化技术，使运行在BCL-3上的TCP／IP协议可以取得很高的网络性能．改进的BCL-3已经运行在曙光3000L超级服务器上．在曙光3000L上，运行于BCL-3之上的TCP／IP协议取得了最大带宽938Mbps，最小单向延迟48．1μs的性能．     

一个基于通信系统支持的并行检查点系统

在大规模机群环境下，检查点和恢复机制是一种必不可少的容错技术。该文提出一种基于机群通信系统的可靠性机制，在不作全局同步的情况下获取通信系统全局状态的方法，并利用该方法实现了一个对应用程序透明的并行检查点系统。该系统通过底层通信系统的支持降低了并行检查点的实现复杂度和执行开销，适用于大规模机群应用。     

在TCP/IP网络支持下的Client/Server编程技术

一、引言 1.网络应用程序接口socket介绍 通常用户可利用网络操作系统提供的命令,如ftp,rcp,rcmd,rlogin等来进行网络操作。但用户应用程序则需要利用TCP/IP提供的网络应用程序接口(API)来实现进程间通信。TCP/IP提供的网络API主要是socket。socket的目的是解决网间网进程通信问题,一般UNIX系统进程通信是在同一台主机内不同的进程间的通信,主要是利用进程通信机制(IPC)来实现的,通信双方可用各自的进程号来标识。但是在网络上进程间通信就比较复杂了,此时大部分通信是发     

融合企业网络

应用背景:进入二十一世纪,机(集)群已成为高性能服务器的主流体系结构,它以商用服务器为结点,通过高速通信网络实现结点间互连,对外提供单一系统映像,以支持大规模的科学工程计算、信息服务和事务处理。 据专家介绍,机群(Cluster)服务器是当前高性能服务器家族中最受关注的一个分支,其性能覆盖小型机(SMP UNIX工作站/服务器)到大型机(超级服务器),具有很高的性能价格比,有些高端机群服务器已在石油地震资料处理、基因和蛋白质计算等重要领域得到了广泛应用。机群计算将成为格点计算(Grid computing)的一种主要实现形式,国际上甚至有些专家预言:格点计算环境将是新一代的Internet,而机群服务器则将是其中的关键设备。风高效,外观朴实典雅,嵌入式液晶显示屏可提供自然、简洁的管理操作界面,即使在结点机发生软硬件故障的情况下也能独立地正常工作,确保全部系统运行状况尽在系统管理员的掌控之中。     

高性能计算机系统接口通信机制的研究

高性能并行计算机技术是当今关键技术之一,由清华大学计算机系设计的高性能网络并行超级计算系统THNPSC－1在设计接口时,通过一个表对通信缓冲区进行维护,这样可以直接将数据从应用空间输入／输出到网络,从而支持真正意义上的0拷贝通信协议。通过提供用户层网络访问接口,通信与计算重叠等手段,该接口取得了很高的通信性能。其中实际测量的应用程序之间16字节信息的传递延迟不到7us,最大持续通信带宽可达30MBytes/s。     

机群OpenMP系统的设计与实现

OpenMP以其易用性和支持增量并行的特点成为共享存储体系结构的编程标准．目前机群系统已成为高性能计算的主流平台,研究机群OpenMP系统对推进并行应用的开发和普及非常有意义．该文作者以软件DSM系统JIAJIA作为OpenMP的运行时系统,结合一个前端编译器OMP2JIA,在机群系统上实现了OpenMP／JIAJIA计算环境,同时在提高性能方面根据机群系统特点扩展了OpenMP制导,优化了后端运行时库。通过11个OpenMP应用,作者比较了该计算环境和一个支持OpenMP的硬件cc-NUMA系统(SGI 2100)的性能．结果表明,作者的机群OpenMP系统的7机平均加速比为4．62;SGI 2100系统为4．55,二者性能相当．     

适合机群OpenMP系统的制导扩展

OpenMP以其易用性和支持增量并行的特点成为共享存储体系结构的编程标准．机群OpenMP系统在机群上实现了OpenMP计算环境,它将OpenMP的易编程性和机群的可扩展性结合起来,是很有意义的．OpenMP的编程方式主要有循环级和SPMD两种,其中循环级方式易于编程而SPMD方式难于编程．然而在机群OpenMP系统中获得高性能OpenMP程序,必需采用SPMD方式．该文描述了适合机群OpenMP系统的一个简单的OpenMP制导扩展子集(包括数据分布制导、循环调度模式),并在机群OpenMP系统OpenMP／JIAJIA上进行了实现．应用测试表明,利用这些制导扩展进行编程,既保持循环级方式的易编程性又获得与SPMD方式相当的性能,是有效的编程方式．     

BCL/IP:机群系统域网中TCP/IP协议的实现

论文介绍了基于BCL机群底层通信协议的高性能TCP/IP通信(BCL/IP)在机群系统域网(SANs)中的设计与实现方法。作为曙光4000L超级服务器系统的重要组成部分,BCL/IP在充分发挥底层高效BCL协议和高速Myrinet网络性能的同时,还实现了同现有多数网络应用程序的二进制兼容。最后给出了Linux平台上BCL/IP的性能测试结果和简要分析。另外还提供了一种在对系统核心不做(或尽可能小)修改的前提下利用现有底层通信协议在机群系统域网中实现高性能TCP/IP协议的方法。     

一体化机群操作系统Phoenix

从操作系统的角度完备地定义了一体化机群功能软件Phoenix的体系结构,将机群操作系统分为异构资源、机群操作系统核心、用户环境3个层次,综合用户环境的核心需求,定义了机群操作系统核心的结构,并且基于组服务保证了机群操作系统核心的容错和可扩展特性.在机群操作系统核心的基础上构造了满足于不同用户需求的用户环境. Phoenix在曙光4000A高性能计算机系统上得到了应用.     

面向网格计算的机器选择算法研究

在以网络为基础的科学与并行计算环境中,计算资源具有强分布性、异构性和动态性．当应用程序提交给网格计算环境时,需要从全部可用计算资源中选择一个资源子集以支持该应用的执行．复杂的应用问题通常包含多方面的异构性,不同性质的应用适合在不同的体系结构运行．基于对网格中可用资源的动态监测与分析结果,论文使用模糊聚类方法,根据不同的性能指标要求,为不同应用选择不同的计算结点集合．将全部可用结点划分为不同的逻辑分组,每个分组称为一个逻辑机群．针对应用的不同种类,使用λ-截矩阵为每个应用指派一个或多个聚类中心值较大的逻辑机群来协同应用调度．实验表明,根据应用类型进行机器选择,可以明显改善应用性能,通信密集应用选择内部通信性能好的逻辑机群进行调度,性能更优、计算密集应用选择计算能力强的逻辑机群进行调度,性能明显改善．     

基于硬件虚拟接口结构的系统域网络设计

提出了一种硬件虚拟接口结构（HVIA）,从硬件逻辑设计的角度介绍了一个基于HVIA结构系统域网络（HVIA—Net）的实现关键技术,给出了33MHz、64位PCI环境下实际测试的通信性能,并与同类流行的高性能网络进行了性能比较．最后简要介绍了基于PCI—E总线的系统域网络HVIA-Net-E的实现方案．     

基于BACnet的智能家居网络的中间件设计与开发

在基于BACnet的智能家庭网络中,使用了中间件技术的B/S架构,可以使用户的远程web操作置于一个可靠的、可扩展的、透明的平台之上。本文分析了socket套接字和数据库的连接池技术,向web应用程序提供了socket套接字和数据库的接口,在嵌入式的BACnet家庭信息中心上,将web的通信请求转换为BACnet网络标准服务,实现了一种高效、灵活的服务调用方式,也可用于非BACnet网络。     

网络交通自相似特性的分析及应用--具有单一登录点的机群网络服务器的性能评测

自相似过程很好地描述了网络服务的访问模型,因此也为开发、模拟和测试与网络服务相关的系统提供了一个很好的理论基础．网络应用的不断发展促进了机群系统网络服务器的应用．将自相似过程用于网络服务器的访问过程,指导机群网络服务器,特别是服务器单一登录点系统的设计,有助于提高整个系统的性能．文中首先介绍机群网络服务器的用户访问模型——自相似过程,然后通过分析网络信息的轨迹确定可能影响系统性能的因素．在这些工作的基础上,根据己有文献中所提出的 Ｏ Ｎ／ Ｏ Ｆ Ｆ信号源叠加模型,简单而实用地生成具有自相似特性的测试数据,并用生成数据对一个由１２ 台曙光天演计算机组成的、具有单一登录点的机群网络服务器系统进行性能测试