基于GPU的多重网格Navier-Stokes解算器并行优化方法研究

随着工业计算需求的激增,计算流体力学 (Computational Fluid Dynamics, CFD) 学科对计算效率问题越来越重视。作者基于自行开发的 Navier-Stokes 解算器,引入多重网格加速收敛算法,并结合NVIDIA GPU 计算平台,从数值方法和高性能计算两个方面为 CFD 实现加速。数值加速算例测试结果表明,基于多重网格算法的 GPU 解算器相对 CPU 版本代码双精度可获得 45 倍以上的加速。     

非结构网格的并行多重网格解算器

多重网格方法作为非结构网格的高效解算器,其串行与并行实现在时空上都具有优良特性.以控制方程离散过程为切入点,说明非结构网格在并行数值模拟的流程,指出多重网格方法主要用于求解时间推进格式产生的大规模代数系统方程,简述了算法实现的基本结构,分析了其高效性原理;其次,综述性地概括了几何多重网格与代数多种网格研究动态,并对其并行化的热点问题进行重点论述.同时,针对非结构网格的实际应用,总结了多重网格解算器采用的光滑算子;随后列举了非结构网格应用的部分开源项目软件,并简要说明了其应用功能;最后,指出并行多重网格解算器在非结构网格应用中的若干关键问题和未来的研究方向.     

OpenFoam中多面体网格生成的MPI+OpenMP混合并行方法

网格生成是计算流体力学中非常重要的一环,大规模数值模拟过程中对网格精度要求的提高会导致网格生成所耗的时间增加。文中基于OpenFoam开源软件中的网格生成算法,主要研究多面体网格的并行生成,并提出OpenMP和MPI混合并行的多面体网格生成方法。通过理论分析得到,使用混合并行方法生成相同质量的网格时,混合并行方法生成网格的时间消耗随着线程数量和网格单元数量的增加而减少。3组使用不同求解器的数值模拟实验结果表明,该混合并行方法不但可以保证生成网格的质量——可以正常进行数值计算模拟且模拟结果与原方法相比几乎没有差别,而且生成同样质量与数量网格的耗时最多可以缩短至未使用OpenMP并行方法之耗时的1/4以内。     

面向CFD的交互式并行化系统Paractive

该文介绍了面向计算流体力学(CFD)的交互式并行化系统Paractive以及Paractive系统实现时所采用的关键技术。该文根据CFD程序及其并行化的特点提出了CFD程序并行化的区域计算模型以及区域相关的概念。区域计算模型将CFD程序看成区域操作的有序组合,区域相关则以区域操作为基本单位,区域操作本身所具有的对大块数据进行整体操作的特点,使得区域计算模型和区域相关非常适合开发CFD程序中蕴含的数据并行性。另外,该文还介绍了基于程序对象树的增量分析技术以及CFD程序并行化的静态性能预测技术,并在最后给出了使用Paractive并行化CFD实际算例的测试数据。     

基于网格技术的并行搜索引擎

研究现有网格技术和搜索技术,分析并行搜索引擎的优点和不足,提出基于网格技术的并行搜索引擎解决方案,其中包含一个3层结构的应用框架和一个并行搜索引擎的应用方案。根据该方案实现并部署一个基于网格的并行搜索引擎——MSE1．0,获得了较好的检索结果。     

基于结构网格的大规模并行计算研究

通过求解RANS方程和Menter's k-Omega SST两方程湍流模型,以及采用多重网格加速收敛技术、基于多块结构网格的通用数据传输方法和区域分解负载平衡技术,实现CFD软件的并行计算。在国家超算长沙中心的"天河"系统上完成了软件的移植、测试,并实现翼身组合体外形的2048处理器核数、网格规模上亿单元的大规模并行计算,并行效率达到48%,较大幅度地缩短了计算周期,提高了工作效率。通过对DLR-F6的模拟,在气动力系数精确求解、超大规模网格模拟的快速收敛和网格收敛性研究等方面取得了初步结果,为下一步大规模工程实际应用打下了坚实基础。     

基于HDF5的结构网格计算流体动力学程序并行I/O技术

大规模计算流体动力学(CFD)计算对数据I/O能力提出了很高需求。层次式文件格式(HDF5)可有效管理大规模科学数据,并对并行I/O具有良好的支持。针对结构网格CFD并行程序,设计了其数据文件的HDF5存储模式,并基于HDF5并行I/O编程接口实现了其数据文件的并行I/O,在并行计算机系统上进行了性能测试与分析。结果表明,在使用4~32个进程时,基于HDF5并行I/O方式的写文件性能比每进程独立写普通文件的方式高6.9~16.1倍;基于HDF5并行I/O方式的读文件性能不及后者,为后者的20%~70%,但是读文件的时间开销远小于写文件的时间开销,因此对总体性能的影响较小。     

并行化洪水演进模拟研究综述

近年来,并行化洪水演进模拟技术发展迅速,在防汛减灾领域发挥重要作用。在考虑洪水演进模型的数值方法、并行模式和编程技术等因素后,选取一些有代表性的洪水演进模型,分析了同构并行和异构并行洪水演进模型涉及的技术细节,提出并行化模型开发的技术难点和解决方法。最后,提出将来并行化洪水演进模型研发的着力点：非结构网格模型的异构并行化;混合并行的洪水演进模型;适于GPU异构并行的网格形式;并行环境下的实时可视化和交互式计算;基于动态编程语言的模型开发;界面式开发及模型应用推广。     

基于HD F5实现多区结构网格CFD程序的并行I/O

计算流体动力学（computational fluid dynamics ,CFD）是高性能计算重要应用领域之一,其计算涉及大量数据访问．在大规模并行计算情况下,串行I/O的性能与计算能力不匹配,I/O成为性能瓶颈．并行I/O 是解决这一问题的主要途径之一．针对一个真实多区结构网格CFD 并行程序 HOSTA （high‐order simulator for aerodynamics）,基于HDF5（hierarchical data format v5）数据存储格式及其并行I/O编程接口,实现了其主要数据的并行I/O．在一套有6个I/O服务器结点的高性能计算机系统上,采用实际C FD算例进行了性能测试．对一个三角翼算例,并行I/O相对于串行I/O的性能加速比达到21．27,最高获得5．81 GBps的I/O吞吐率,并使程序整体性能提高10％以上;对一个网格规模更大的简单翼型算例,并行I/O最高获得了6．72 GBps的I/O吞吐率．     

面向JAUMIN的并行AFT四面体网格生成

非结构网格应用软件编程框架JAUMIN(J adaptive unstructured mesh applications infrastructure)支撑了多个千万亿次并行应用软件的快速研发,并已成功应用于重大科学装置结构力学分析与优化设计、裂变能源等领域,在这些应用中,网格生成是重要步骤,为了精确刻画物理现象对应的复杂几何区域,需快速生成高质量和高精度网格。提出了一种无缝对接JAUMIN的AFT(advancing front technique)四面体网格生成并行方法,它支撑基于JAUMIN研发的应用软件进行大规模四面体网格生成,其主要特点是:(1)首先生成几何自适应的粗网格,然后基于粗网格进行分区,再通过子区域的AFT方法保证分区交界处网格的一致性;(2)在并行流程中进行表面网格贴体加密,使网格越细化越贴近真实几何形状;(3)并行流程中插入对分区交界处网格的优化步骤,进一步提高网格质量。该方法能针对实际工程应用模型快速生成数亿规模的四面体网格,可扩展性良好。     

基于结构网格的高超声速流动大规模并行数值模拟研究

本文采用MPI消息传递模式自主开发出适用于高超声速流动数值模拟的并行计算软件,该软件以三维Navier-Stokes方程为基本控制方程来求解层流问题,应用基于结构网格的有限体积法对计算域进行离散,采用AUSMPW+格式求解对流通量,利用MUSCL插值方法获得高阶精度,时间格式上采用LU-SGS方法进行时间迭代以加快求解定常流动的收敛过程。在高性能计算机上针对不同高超声速流动进行大规模并行计算的结果表明,所开发的CFD并行计算软件具有较高的并行计算效率,为高超声速飞行器气动力/热的准确预测提供了高效工具。     

高超声速流动CFD并行计算研究

并行计算是CFD技术发展的必然趋势。本文从高超声速流动的特点出发,研究多分区结构网格下CFD并行计算方法,重点解决了区域之间流场信息的数据交换问题和边界处理问题,以保证流场的连续性。本文采用有限体积法求解高超声速流场,空间离散格式为Osher-Chakravarthy TVD格式,利用MPI消息传递模式完成数据交换,在自主搭建的PC集群上进行算例考核,验证了算法的可行性和正确性。     

Parallel simulation of anisotropic diffusion with human brain DT-MRI Data

We conduct simulations for the 3D unsteady state anisotropic diffusion process with DT-MRI data in the human brain by discretizing the governing diffusion equation on Cartesian grid and adopting a high performance differential-algebraic equation (DAE) solver, the parallel version of implicit differential-algebraic (IDA) solver, to tackle the resulting large scale system of DAEs. Parallel preconditioning techniques including sparse approximate inverse and banded-block-diagonal preconditioners are used with the GMRES method to accelerate the convergence rate of the iterative solution. We then investigate and compare the efficiency and effectiveness of the two parallel preconditioners. The experimental results of the diffusion simulations on a parallel supercomputer show that the sparse approximate inverse preconditioning strategy, which is robust and efficient with good scalability, gives a much better overall performance than the banded-block-diagonal preconditioner.     

Parallelization Strategies for Computational Fluid Dynamics Software: State of the Art Review

Computational fluid dynamics (CFD) is one of the most emerging fields of fluid mechanics used to analyze fluid flow situation. This analysis is based on simulations carried out on computing machines. For complex configurations, the grid points are so large that the computational time required to obtain the results are very high. Parallel computing is adopted to reduce the computational time of CFD by utilizing the available resource of computing. Parallel computing tools like OpenMP, MPI, CUDA, combination of these and few others are used to achieve parallelization of CFD software. This article provides a comprehensive state of the art review of important CFD areas and parallelization strategies for the related software. Issues related to the computational time complexities and parallelization of CFD software are highlighted. Benefits and issues of using various parallel computing tools for parallelization of CFD software are briefed. Open areas of CFD where parallelization is not much attempted are identified and parallel computing tools which can be useful for parallelization of CFD software are spotlighted. Few suggestions for future work in parallel computing of CFD software are also provided.     

三维激光烧蚀流体界面不稳定性程序的并行化

在共享存储并行机和MPP并行机上,基于MPI(MessagePassingInterface)并行编程环境,本文研究三维激光烧蚀界而不稳定性程序(Lared-S)的并行实现.三维激光烧蚀的数值模拟采用分裂方法,其90％以上的计算负载存在于流体方程和热传导方程的求解(流体方程的求解采用分裂显格式,热传导方程的求解采用分裂隐格式).本文给出基于三维分裂格式的交替平面数据通信模式.分裂隐格式的求解转化为三对角方程组的求解,其并行实现采用块流水线并行算法.数值实验结果表明交替平面数据通信策略和块流水线并行算法是有效且可扩展的.在共享存储并行机上,应用64台处理机获得93％以上的并行效率;在MPP并行机上,应用128台处理机获得90％以上的并行效率.     

多物理数值模拟中一种有效的并行耦合方法

在实现多物理并行数值耦合模拟中,需要处理多个物理过程之间网格、并行区域分解的差异.针对该同题,该文基于三维流体力学与激光传播耦合的并行数值模拟,提出了一种实用的并行耦合方法:引入辅助状态将本地插值与通信相分离;构建并行耦合图并定义主导属性,以确定过程间传输的最小数据集合;提供并行数据重分配算法来完成通信.并行数值结果表明:该方法是有效的,在64台处理机上使整体程序获得50.07的加速比.     

ParTransgrid: A scalable parallel preprocessing tool for unstructured-grid cell-centered computational fluid dynamics applications

The development of a basic scalable preprocessing tool is the key routine to accelerate the entire computational fluid dynamics (CFD) workflow toward the exascale computing era. In this work, a parallel preprocessing tool, called ParTransgrid, is developed to translate the general grid format like CFD General Notation System into an efficient distributed mesh data format for large-scale parallel computing. Through ParTransgrid, a flexible face-based parallel unstructured mesh data structure designed in Hierarchical Data Format can be obtained to support various cell-centered unstructured CFD solvers. The whole parallel preprocessing operations include parallel grid I/O, parallel mesh partition, and parallel mesh migration, which are linked together to resolve the run-time and memory consumption bottlenecks for increasingly large grid size problems. An inverted index search strategy combined with a multi-master-slave communication paradigm is proposed to improve the pairwise face matching efficiency and reduce the communication overhead when constructing the distributed sparse graph in the phase of parallel mesh partition. And we present a simplified owner update rule to fast the procedure of raw partition boundaries migration and the building of shared faces/nodes communication mapping list between new sub-meshes with an order of magnitude of speed-up. Experiment results reveal that ParTransgrid can be easily scaled to billion-level grid CFD applications, the preparation time for parallel computing with hundreds of thousands of cores is reduced to a few minutes.     

重叠网格CFD并行计算的通信优化研究

介绍了重叠网格并行计算主从对之间通信量最小化方法,通过迷路算法将主网格点进行分类,在保证计算正确的前提下将主从间通信量降至最小;在嵌套重叠情况下的通信时序控制方面,提出了重叠关系有向图避免通信等待和重复插值;实验结果表明该重叠网格通信优化处理方法能得到较理想的并行效率。     

Modelling Parallel Oracle for Performance Prediction

The problem of predicting the performance of a parallel relational DBMS for a set of queries applied to a particular data set on a shared nothing parallel architecture without transferring the application to a parallel system is a challenging one. An analytical approach has been developed to assist with this task and has been applied to the ICL GoldRush machine, a parallel machine with a shared-nothing architecture. This paper describes how the Oracle Parallel Server and the Parallel Query Option are modelled by the method and compares the predictions of the model against actual measurements obtained.     

并行计算在高超声速流场数值模拟中的应用

采用计算流体力学方法,对高超声速流场进行了多区并行计算研究。基于MPI消息传递库采用Fortran语言编制了CFD并行计算程序,对NS方程采用AUSMPW+格式和LU-SGS方法求解。针对流场采用多区剖分,将每一个子区分配给相应节点进行计算。每一迭代步,相邻子区域间交换边界数据。计算表明,本文所建立的程序和方法是可行的,能够进一步延伸到大规模并行计算和工程应用中。