气象应用基准测试程序MM5 Benchmark并行性能优化

由美国国家大气研究中心(NCAR)和宾夕法尼亚大学(PSU)共同开发的MM5模式是目前气象领域广泛采用的中尺度模式之一。由于MM5模式的广泛应用和计算特点,MM5 Benchmark成为了高性能计算领域衡量计算机实用性能的典型应用之一。本文介绍了MM5模式的并行计算方法,针对目前流行的Intel Itanium-2 CPU特点,在性能分析的基础上,从编译选项、代码优化、区域分解、处理机拓扑结构等方面对程序性能进行优化。实际测试结果表明,在某国产巨型机上优化后的持续计算性能最大提高20%左右。     

基于曙光1000的中尺度数值气象预报系统及其在江淮流域的适用性研究

本文介绍了我们基于曙光1000建立起来的中尺度数值气象预报系统及其在江淮流域的适用性研究,包括MM4数值预报模式的分析及其并行化方法,系统组成及基于该系统的预报过程.通过对1998年、1999年发生在江淮流域的多次各类暴雨天气过程,利用曙光1000上并行化中尺度模式MM4进行的数值预报结果与实况进行的对比分析研究,结果表明曙光1000上并行化的中尺度数值模式MM4对发生在江淮流域的江淮气旋、梅雨锋暴雨等中尺度天气系统具有较好的预报能力,尤其在6至24小时的预报时效内对发生在系统内的中尺度降水系统(中尺度雨带)具有很好的预报能力,反映出该系统具有良好的区域适用性.实例研究也表明,该中尺度数值模式仍然有许多问题要解决,文中指出了今后将继续研究和改进的方向.     

MASNUM海浪模式的性能特点分析与并行优化

海浪模式MASNUM(marine science and numerical modeling)是我国自主研发的海浪数值模式,该模式已广泛应用于我国海洋防灾减灾、海上交通运输、军事活动保障等方面的海浪预报中.随着提升业务预报精度和气候研究需求的不断增长,高分辨率成为海浪模式发展的必由之路.尽管高性能计算机的快速发展为高分辨率数值模式提供了强大的计算能力支持,但当前很多并行数值模式效率还不高,无法获得更高并行加速比,无法提高模式并行效率并缩短运行墙钟时间.结合现代高性能计算机体系结构特点,深入分析MASNUM模式的性能瓶颈,继而有针对性地对其开展并行优化,明显地提升了通信性能、I/O性能和二维剖分负载平衡性,进而提升了MASNUM模式整体并行效率和可扩展规模.这里以串行性能为基准,当扩展规模达到960个CPU核时,改进后版本加速比可达431.5.该研究也为其他数值模式提供了一些可供借鉴的并行优化策略.     

基于网格运算实现MM5模式中Web Service

论文介绍了基于网格运算实现MM5模式的实验环境和实现的方法,实验结果具有一定的实用价值。     

一个数值天气预报模式的并行混合编程模型及其应用

提出了一个适用于数值天气预报模式的并行混合编程模型,归纳出混合并行算法设计的特点.依据该模型,针对国内发展的区域数值天气预报模式,开发基于MPI/OpenMP的并行版本.通过对五种并行方案的并行性能分析比较,发现其结果同抽象模型的分析结论是一致的.     

气象计算网格模式预报系统的建立与优化*

为了在气象部门内跨地域共享使用MM5模式系统,基于建成的气象计算网格平台,成功地接入了MM5模式系统。根据用户预报需求,设计了参数化和业务运行方案,建立了华中区域MM5数值预报应用系统。完成模式系统部署运行后,通过使用网格平台的资源调度和工作流引擎等工具手段,优化了后处理运行流程。运行分析表明网格平台上MM5模式系统的运行效率显著提高。     

一类求解非线性方程组算法的并行性能分析

讨论了一类求解非线性方程组算法的并行性能,与传统的算法不同之处是用一个块对角矩阵作为迭找矩阵,且该矩阵可由一个仅包含向量内积的矩阵与向量乘积的递推关系简便计算得到,在对算法进行描述之后,分析了算法的并行执行过程,给出了算法的并行加速比和对存储的需求分析,数值计算表明理论分析与数值结果相符合,算法具有较好的并行度和较低的存储要求,可适用于一般和大规模科学与工程的高性能计算。     

基于机器学习的动态分区并行文件系统性能优化

近年来,随着大数据、云计算技术的发展,应用系统越来越集中,规模亦越来越大,使得存 储系统的性能问题越来越突出。为应对其性能要求,并行文件系统得到了大量的应用。然而现有的并 行文件系统优化方法,大多只考虑应用系统或并行文件系统本身,较少考虑两者之间的协同。该文基 于应用系统在并行文件系统上的访问模式对存储系统的性能有显著影响这一特点,提出基于动态分区 的并行文件系统优化方法。首先,利用机器学习技术来分析挖掘各个性能影响因素和性能指标之间的 关系和规律,生成优化模型。其次,以优化模型为基础,辅助并行文件系统的参数调优工作。最后, 基于 Ceph 存储系统进行原型实现,并设计了三层架构应用系统进行了性能测试,最终达到优化并行 文件系统访问性能的目的。实验结果表明,所提出方法可以达到 85% 的预测优化准确率;在所提出模 型的辅助优化下,并行文件系统的吞吐量性能得到约 3.6 倍的提升。     

基于SMP集群的多层次并行编程模型与并行优化技术*

详细描述了适用于SMP集群这种多层次并行体系结构的混合并行编程模型MPI／OpenMP,它提供了实现SMP节点间和节点内多层次并行的机制。在此基础上结合实用的性能评价方法,分别介绍了MPI,OpenMP和单处理器三个层次上的一些常用和有效的并行优化技术,并指出单处理器性能优化是提高并行程序性能一个不容忽视的问题。     

风暴潮数值模式的并行化

实现了风暴潮数值模式基于MPI的并行化;根据该模式数值计算的特点提出了一种并行求解三对角方程组的新方法,相对于传统算法编程简单而且并行效率更高;负载平衡是并行程序性能优化首先要解决的问题,以水格点的个数作为任务分解的标准,实现了较好的负载平衡,相比水陆格点不作区分的分解方法性能有明显的提高;在SMP平台上使用8个CPU时加速比可以达到7.0,在集群平台上为6.5。     

气象数值模式MM5自动化业务系统的构架与实现

利用Shell、Fortran、Grads、Visual Basic等高级语言构架并实现了MM5并行计算的自动化业务系统,该系统能定时自动运行、自动绘图、并自动转移到基于Windows的业务平台,同时还具有自动填补t213个别缺失资料、查询历史预报图的功能,极大的提高了效率.     

Linpack并行性能模型及其预测

通过分析大规模Linpack的主要时间开销,建立关于矩阵规模、网络带宽、下三角方程求解效率以及矩阵乘法效率的Linpack并行性能模型。在神威蓝光和神威4000A上分别对该模型进行可信性验证,结果证明,该模型能较好地估计主要因素的改变对Linpack并行性能的影响,尤其在大规模矩阵情况下预测误差不到1%。     

Modelling Parallel Oracle for Performance Prediction

The problem of predicting the performance of a parallel relational DBMS for a set of queries applied to a particular data set on a shared nothing parallel architecture without transferring the application to a parallel system is a challenging one. An analytical approach has been developed to assist with this task and has been applied to the ICL GoldRush machine, a parallel machine with a shared-nothing architecture. This paper describes how the Oracle Parallel Server and the Parallel Query Option are modelled by the method and compares the predictions of the model against actual measurements obtained.     

一个结构网格并行CFD程序的单机性能优化

从单机性能优化角度对一个高阶精度结构网格CFI)并行程序进行了优化。通过识别关键变量并对其进行 常量参数化优化,使编译器能够实现更高级别的针对性优化;根据程序数据结构特点及访问模式,设计了分级数据缓 存技术,使程序主要计算代码能够以更优的方式访问主要数据结构,提高了访存空间局部性;进行了各种循环变换,以 优化访存性能。在国家超算长沙中心“`Tianhe—lA',并行机上的测试结果表明,相对于采用Intel编译器最高优化级别 的版本,其对10。万网格点二维翼型算例,串行程序性能提高约22.2%-28.9%;对1. 12亿网格点三角翼算例,并行 程序性能提高约13.9%-20.2%。     

Mapping evapotranspiration using MODIS and MM5 Four-Dimensional Data Assimilation

Evapotranspiration (ET), the sum of evaporation from soil and transpiration from vegetation, is of vital importance in the hydrologic cycle and must be taken into consideration in assessments of the water resources of any region. The MODerate resolution Imaging Spectroradiometer (MODIS) sensor offers a promising opportunity for estimating daily ET with a 1 km spatial resolution, but is hampered by frequent cloud contamination or data gaps from other factors. In this study, 1) a stand-alone ET model was applied and tested during clear or partial cloudy sky conditions using MODIS-based inputs of land surface and atmospheric data and 2) meteorological simulations by using Four-Dimensional Data Assimilation (FDDA) system between MODIS and the 5th Generation Meso-scale Meteorological Model (MM5) was used in cloudy conditions to facilitate continuous daily ET estimates. The MODIS ET algorithm modified from Mu et al. (2007) is based on the Penman-Monteith equation and was applied to predict ET at flux measurement sites. This algorithm considers both the effects of surface energy partitioning processes and environmental constraints on ET. We devised gap-filling approaches for MODIS aerosol and albedo data that were identified as bottlenecks to determine retrieval rates of insolation and ET. MODIS-derived input variables (i.e., meteorological variables and radiation components) for estimating ET showed a good agreement with flux tower observations at each site. The retrieval rate of MODIS ET doubled at four flux measurement sites after gap-filling with negligible compensation was undertaken for accuracy. In spite of the high accuracy of MODIS-derived input variables, MODIS ET showed meaningful errors at the four flux measurement sites. These errors were mainly associated with errors in the estimated canopy conductance. During clear sky conditions, MODIS was used to calculate ET, while the MODIS-MM5 FDDA system provided input variables for the calculation of ET under cloudy sky conditions. The performance of the MODIS-MM5 FDDA system was evaluated by comparing ET based on MODIS, which showed a good agreement with the MODIS ET for various land cover types. Our results indicate that MODIS can be applied to monitor the land surface energy budget and ET with reasonable accuracy and that MODIS-MM5 FDDA has the potential to provide reasonable input data of ET estimation under cloudy conditions.     

面向高性能数值计算的并行计算模型DRAM(h)

提出了一个基于存储层次的新并行计算模型DRAM(h)，并在该模型下对两个经典并行数值计算算法的不同实现形式：四种形式并行下三角方程求解(PTRS)和六种形式无列选主元并行LU分解(PLU)，进行了分析．模型分析表明，具有近乎相同时间和空间复杂性的同一算法不同实现形式，在该模型下会有完全不同的存储复杂度．作者在日立公司SR2201MPP并行机、曙光3000超级服务器和中国科学院科学与工程计算国家重点实验室(LSEC)的128节点Linux Cluster等三种并行计算平台上对模型分析结果进行了实验验证．结果表明，该模型分析在绝大多数情况下都能较好地与不同实验平台上的实验结果吻合．个别出现偏差的分析结果，在根据计算平台的存储层次特点修改模型分析的假定后，也能够进行解释．这说明了该模型对不同形式的算法实现进行存储访问模式区分的有效性．对在计算模型中加入指令／线程级并行的可行性和方法的研究是下一步的工作．     

海洋模式FVCOM2.6并行计算性能TAU分析

本文利用并行程序分析软件Tuning and Analysis Utilities(TAU),对基于Message Passing Interface(MPI)的海洋环流模式Finite-Volume Coastal Ocean Model(FVCOM)2.6版本进行并行性能分析。在Linux集群(Intel Xeon CPU E5450,10GInfiniBand)上,使用不同进程数分别对低分辨率(网格节点数为2108和10378)、高分辨率(网格节点数为15347和26033)的深沪湾潮汐算例进行测试。结果表明,模式单进程运行时,平流项子程序所占运行时间比例较大;模式多进程运行时,通过比较不同算例的加速比,发现算例分辨率对模式的并行性能有较大影响。在本次测试硬件条件下,算例存在某一最佳进程数,低分辨率为32,高分辨率为64,最佳进程数随分辨率增高而增高。到达最佳进程数后,随着进程数增加,模式运行时间反而增加。TAU分析表明,主要是由于MPI_Waitany程序时间比例增加以致阻塞时间占模式运算总时间的比例增大,从而为FVCOM并行性能进一步改善提供参考。     

多集群并行作业的性能监测及分析

介绍一种多集群计算模式,在分析了多集群系统结构灵活、具有可重组性等特点的基础上,研究适用于该模式的并行作业性能监测分析方法与技术,设计和实现了一个并行作业性能监测分析工具。它采用动态性能分析方法,遵循分布式软件设计架构,具有高内聚、低耦合的模块组织结构,运行验证表明其能够在多集群计算模式下有效工作。