计算与通信重叠和并行I/O在粒子模拟中的应用

三维电磁场粒子模拟是研究空间众多微观物理现象的一项先进数值模拟方法。虽然应用MPI和OpenMP混合编程技术实现了程序并行,但阻塞通信的通信同步和应用网络文件系统集中式数据I/O的数据传输降低了程序效率。介绍引入非阻塞通信法,最初计算需要通信部分,在其他计算继续时,进行非阻塞通信,最后接收全部数据,从而实现计算和通信重叠,减少通信等待时间;在分布式存储系统中,各节点同时把本节点数据输入输出到本地单独文件中,大幅度减少数据并行I/O时间,随着数据量和CPU数的增加,改善更加明显,从而提高程序性能。     

大规模海洋数据同化的并行优化

海洋数据同化是一种同时利用海洋观测资料和海洋数值模式对海洋数据进行修正的有效方法,经过处理的海洋数据更加接近海洋的真实情况.在高分辨率下,基于中国科学院大气物理研究所（Institute of Atmospheric Physics,Chinese Academy of Sciences,IAP）和大气科学和地球流体力学数值模拟国家重点实验室（State Key Laboratory Modelling for Atmospheric Sciences and Geophysical Fluid Dynamics,LASG）发展的LASG/IAP气候系统海洋模式（LASG/IAP climate ocean model,LICOM）的同化并行程序往往涉及大量的文件读取、通信和计算,以往的研究虽然对这些方面进行了优化,但是由于优化只是停留在上层算法层面,没有考虑底层的文件系统以及超算集群的架构,因此优化的效果不太明显.针对以往研究存在的问题,进一步将海洋数据同化的数据特性、计算特性与所使用的超算平台的架构特性相结合,在此基础上结合时间局部性和空间局部性,提出了基于计算拓扑图的负载均衡策略...     

Trace生成对大规模并行性能模拟的影响及其改进策略

Trace生成是trace驱动体系结构模拟中不可或缺的步骤。Trace不仅需要占用大量存储空间,其生成过程还可能对目标应用程序的模拟执行产生一定程度的干扰,导致性能数据误差。Trace驱动并行性能模拟器由于其设计实现特点和所运行的宿主并行平台的多样性,使得trace生成的影响具有其独特性。本文选取典型并行模拟器BigSim和若干具有不同计算通信比的目标并行程序,在三个支持不同traceI/O方式的宿主机平台上设计实验评估了trace生成对并行性能模拟的影响,结果表明trace生成对模拟效率和精度均有较大的影响,并分析了这种影响与并行模拟器实现和宿主机平台I/O方式的关系,进而讨论了几种可行的改进方案,对trace驱动并行模拟器设计、实现和使用具有一定的指导意义。     

可伸缩分布共享大规模并行I／O系统设计

如何有效地解决I／O瓶颈问题，一直是高性能并行计算机有待研究解决的关键技术。我们提出了一种可伸缩分布共享并行I／O系统方案，并自行研制了结点控制器芯片和路由器芯片，研制了原型系统SDSP604。为实现系统的计算、通讯和I／O性能随着系统规模均衡扩展的目标，该系统基于CC-NUMA系统结构，采用了合理的分布共享并行I／O系统结构。     

分布存储并行计算机优化数据安放一种方法

本文分析了面向分布存储ＳＩＭＤ／ＭＩＭＤ并行机的并行程序的优化数据安放问题，在ＦＯＲＡＬＬ程序模型和ＭＥＳＨ通信模型上，研究了数据分解过程中减少通信代价的优化要求，我们使用编好图描述并行数组之间的对准需求，通过消除维偏好图中的冲突，可得到维对准对准图，一个维对准图就对应一个数据安放方案，维对准图的总代价越大，对应的通信代价就越小，文中给出了最大代价维对准图的一个近似算法。     

基干MPI的并行I/0方法

基于MPI-2规范的并行I/O方法,以并行矩阵乘法问题为例,比较了并行I/O和串行I/O的性能,给出了并行I/O方法的应用实例.     

大规模空气动力学数值模拟中的并行重叠网格装配技术

重叠网格方法因为其网格生成简单、局部网格质量高等优点,是模拟有相对运动的非定常问题的一种常用方法。重叠网格首先需要装配过程,即通过建立网格间的重叠关系、确定宿主及待插值单元,实现网格间的流场信息交换。本文针对大规模数值模拟中,网格分散存储在多个处理器上的情况,研究了分布式重叠网格装配方法。本文先提出分布式网格装配问题,再详细阐述适用于三维结构网格的分布式装配技术,最后利用标准的机翼挂载模型对算法进行了测试,结果表明该算法可以在保证较高并行性的同时,为非定常计算提供准确的流场插值信息。     

典型商用并行文件系统分析

并行文件系统是高性能并行计算机的重要组成部分。本文分析了几种典型的商用并行文件系统,包括Intel的PFS．IBM的PIOFS和GPFS,SGI的XFS和CXFS等,详细比较了它们在提高并行性、维护数据一致性以及提供Unix兼容接口等备方面的技术特点,以对设计和实现高效的并行文件系统提供参考。     

基于机群环境的并行多连接存储分布技术

基于机群系统的数据存储分布是并行数据库领域的一个重要问题。已有的研究工作多集中在基于单个关系的存储分布,不能有效支持复杂多连接查询处理。文章提出了多个关系整体分布方法,给出分布属性选择和处理机分配算法。实验结果表明,算法具有良好的性能,有助于提高并行多连接查询效率。     

基于FFT并行算法的并行I/O性能的研究

该研究对象为并行计算机的I/O性能,将任务分发给不同的处理结点,通过进程间的相互协调、有序合作完成FFT并行算法的实现。在完成任务的过程中,通过记录I/O时间与计算时间,求出I/O性能与计算性能,通过分析比较数据从而认识I/O性能的重要性。研究计算机的I/O性能对于如何进一步改进系统以及提高资源利用率具有重要意义。     

大规模并行粒子模拟系统通信性能优化研究与分析

随着粒子模拟在化工、材料、生物等领域应用不断深入,计算规模越来越大,运行一个作业需要的高性能集群节点数也越来越多.因此,降低网络通信所占总运行时间开销成为提高粒子模拟系统整体运行性能的关键环节之一.本文测试了不同MPI消息传递环境、英特尔I/O加速技术以及网络设备驱动参数设置在多相复杂系统国家重点实验室高性能计算集群上的性能发挥情况,并通过优化有效提高了网络通信性能.最后对GAMMA等用户层通信协议替代TCP/IP通信协议进行了初步的可行性测试.     

网络存储I/O流水机制研究

将I／O请求处理划分为多个阶段，为流水线技术引入网络存储提供了新思路．同时，I／O请求处理的各阶段必定通过缓存（内存）来传递或处理数据．I／O请求处理除了直通方式外，大部分依赖存储转发方式（例如对I／O命令的聚散、排队操作等），存储转发的方式下的网络存储I／O流水线具有一些新的特点厦其自身特有的制约因素．探讨I／O流水机制，对提高网络存储系统整体性能，具有一定的指导及实践意义．     

基于MPI的并行I/O方法

基于MPI-2规范的并行I/O方法,以并行矩阵乘法问题为例,比较了并行I/O和串行I/O的性能,给出了并行I/O方法的应用实例。     

使用MPI的并行I/O实现及性能分析

论文讨论了并行环境中I/O的基本方法——串行I/O方法和并行I/O方法,并使用MPI-1及MPI-2对这两种方法进行了实现。分析了不同的实现方法对I/O带宽产生的影响。通过理论分析和实验表明,基于MPI-2的并行I/O实现方法与其它I/O实现方法相比,可得到更高的I/O带宽,是解决I/O性能问题的有效途径。     

基于HD F5实现多区结构网格CFD程序的并行I/O

计算流体动力学（computational fluid dynamics ,CFD）是高性能计算重要应用领域之一,其计算涉及大量数据访问．在大规模并行计算情况下,串行I/O的性能与计算能力不匹配,I/O成为性能瓶颈．并行I/O 是解决这一问题的主要途径之一．针对一个真实多区结构网格CFD 并行程序 HOSTA （high‐order simulator for aerodynamics）,基于HDF5（hierarchical data format v5）数据存储格式及其并行I/O编程接口,实现了其主要数据的并行I/O．在一套有6个I/O服务器结点的高性能计算机系统上,采用实际C FD算例进行了性能测试．对一个三角翼算例,并行I/O相对于串行I/O的性能加速比达到21．27,最高获得5．81 GBps的I/O吞吐率,并使程序整体性能提高10％以上;对一个网格规模更大的简单翼型算例,并行I/O最高获得了6．72 GBps的I/O吞吐率．     

遥测数据多硬盘并行存储方法的研究

针对遥测遥感数据码速率高、数据量大以及系统造价尽量低的要求,采用PC机控制多硬盘并行工作对遥测数据进行实时采集及存储,使数据存储只在缓冲存储器和硬盘数据端口之间进行,不占用系统机时。控制电路用EPLD集成,制成PC接口卡。     

YLT:一个基于大规模并行计算机的并行文件系统

并行文件系统是提高大规模并行计算机I／O速度的有效途径之一，但构造一个并行文件系统往往是件复杂的工作。文中对并行文件的概念、结构作了深入的探讨，提出了在传统文件系统基础上构造并行文件系统的简单而有效的方法，并介绍了YLT并行文件系统的实现策略，最后在理论上对YLT的性能作出了评估。     

并行文件系统与并行I/O研究

集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径.论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略.     

一种新型高效共享的并行I/O系统

如何有效地解决I／O瓶颈问题，一直是高性能并行计算机有待解决的关键技术。该文提出了一种高效共享的并行I／O系统——HPPIO，该系统基于CC-NUMA并行系统结构，采用了一系列高效共享、并行I／O技术。该文对其分布与集中相结合的高效共享并行I／O系统结构、基于PCI Express的高性能I／O控制器设计等进行了介绍。