高性能计算机统一资源管理系统的设计与实现

高性能计算是气象业务及科研应用的重要的基础平台,中国气象局(CMA)近年来相继引进多套高性能计算机系统用以提高气象服务和研发能力。随着用户和应用的增加,如何有效管理高性能系统资源成为一个重要课题。本文详解介绍CMA高性能计算机系统统一资源管理平台的设计和实现,该系统可以对多套异构的高性能计算机系统进行统一的资源精细化统计分析和计费管理,通过该平台,系统管理员动态掌握系统的运行和资源使用情况,并据此调整系统资源分配调度策略,从而更合理高效的利用系统资源,有效提高系统运行效益。     

基于工作流的气象高性能计算用户环境

分析气象数值预报业务系统的特点,引入工作流思想,从业务流程定义、引擎系统、监控系统等方面设计并实现气象高性能计算用户环境。扩展各种关系依赖和流程语义,设计基于shell适配器的引擎系统和基于插入式组件的监控系统,从而增强系统的灵活性和适应性,在气象高性能计算用户环境中得到较好应用。     

气象计算资源管理系统设计

为有效管理国家气象中心高性能计算系统的计算资源,提出一种气象计算资源管理系统。用银行账户的设计思想表示计算资源与用户的关系,以账户资金量化描述资源使用量,以账户的消费充值等事务处理描述用户对计算资源的使用行为,通过数据库技术实现计算资源的记账、分配与统计等管理功能。应用结果表明,该系统能对计算资源进行实时、精细粒度的管理。     

浅谈武汉气象高性能计算机系统的运维管理

高性能计算机在气象部门得到了广泛应用,发挥了重要作用,对高性能计算集群的科学高效的运维管理是确保高性能计算机系统正常运行的首要任务。本文结合武汉军运会气象高性能计算机的实际情况,对高性能计算机在业务应用、运行监控与维护管理等方面做了介绍,对业务科研人员和运维管理人员具有一定参考借鉴意义。     

云及高性能计算集群环境中配置管理系统设计

比较主流的配置管理工具和代码托管服务平台的特点,分析其适用性,结合气象部门项目存在的问题,提出气象私有云平台上基于Perforce的分布式版本控制系统和基于Git的代码托管协作平台的设计,以及高性能计算集群架构上基于Subversion的版本控制系统设计,并分别给出三套系统的项目配置管理实例,实践显示适用性良好。     

气象计算网格模式预报系统的建立与优化*

为了在气象部门内跨地域共享使用MM5模式系统,基于建成的气象计算网格平台,成功地接入了MM5模式系统。根据用户预报需求,设计了参数化和业务运行方案,建立了华中区域MM5数值预报应用系统。完成模式系统部署运行后,通过使用网格平台的资源调度和工作流引擎等工具手段,优化了后处理运行流程。运行分析表明网格平台上MM5模式系统的运行效率显著提高。     

初探云计算与气象数据处理

云计算是在网格计算基础上提出的一种新型计算模型,是下一代网络计算平台的核心技术,它提供了可靠安全的数据存储、方便快捷的互联网服务和强大的计算能力。对气象部门而言,云计算可能成为未来气象数据处理和分析的基本平台,同时对气象资源的开发也提出了新的思路。     

一种气象数据共享接口系统的设计与实现

随着气象部门与各行业部门间合作逐渐深入,气象信息对外服务越来越普遍,各行业部门对精细化气象服务提出了更高要求。在对当前气象数据共享服务需求分析基础上,基于数据库相关技术,设计一种通用气象数据共享接口系统,实现气象部门与各行业部门数据共享共用。系统接口设计灵活,使用便捷,为推进部门合作和信息共享具有一定意义。     

气象信息网络运行保障社会化相关问题探讨

气象信息网络系统是气象事业的公共基础设施,是国家信息基础设施的重要平台和组成部分,是世界气象组织信息系统的重要节点,是气象业务技术体系能否高效能运转的基础保障。气象信息网络业务主要包括4个方面：气象数据通信、高性能计算、数据存储与处理、天气会商支撑业务。1953年气象部门从军队建制转为政府建制前,气良信息网络基本是由气象部门“自建、白用、自管”。90年代,气象信息网络以专网为主（VSAT卫星通信网）、公网为辅,覆盖到县。2000年气像业务体制改革时,提出了“全国气象信息网络系统采用国家公用网与气象专用网相结合,并逐步过渡到以国家公用网为主”的发展方向。此后,随着国家公共通信网络基础设施的高速发展,速率提升、资费降低,气象专用卫星通信网逐步让位于电信地面宽带网络。与之相应,企业干口社会力量在气象信息网络业务中发挥的作用也越来越大。     

集群架构支撑气象预报——山东省搭建气象数值预报系统

随着山东省国民经济的快速发展和人民生活水平的不断提高,各级政府部门需要气象部门提供时空分辨率精细和预报准确率更高的天气预报,社会公众、各行各业也对气象工作提出了个性化程度高、针对性强的天气预报要求,迫切要求山东省气象局改进气象数值预报技术,提高气象预报水平。提高数值预报系统的性能需要高性能的计算系统来支持,而此前山东气象局还处于单机计算的模式,计算设备对庞大的数值计算早已不堪重负,更无法满足人们日益增长的对气象预报准确、及时、精细的要求。一套具有强大的运算处理速度、庞大的数据存储功能、精密的逻辑分析能…     

新一代数值预报模式GRAPES的并行计算方案设计与实现

GRAPES(global and regional assimilation and prediction system)是由中国气象科学研究院灾害天气国家重点实验室自主研究开发的中国新一代数值天气预报系统,其目标是科研/业务通用.为了实现这一目标,结合高性能计算机的体系结构设计并实现模式的并行计算是必不可少的.作为核心开发技术之一,GRAPES系统设计并实现了模式的并行计算方案,包括中尺度有限区模式的并行计算和全球模式并行计算.GRAPES模式并行计算版本在IBM-Clusterl600上的测试表明,GRAPES模式的并行计算程序正确、稳定、有效,为其业务化之路奠定了基础,同时也为系统未来的可持续开发、优化创造了条件.     

GRAPES模式中Helmhothz方程两种求解方法的对比研究

GRAPES是中国气象局自主研发的一个全球/区域分析预报系统。其模式计算方程组经过离散化之后,积分求解过程最终归结为对一个椭圆方程或Helmholtz(赫姆霍兹)方程的求解,这个求解是整个动力框架计算的核心。在目前GRAPES全球模式的准业务计算中,对于分辨率为0.5o的系统,Helmholtz方程的求解时间占到了整个模式计算时间的三分之一强。而且随着未来高分辨率模式的进一步加细,以及模式计算精度的提高,方程求解计算总量更是呈指数式增长。为此,本文分析了GRAPES模式中求解Helmholtz方程所采用的广义共轭余差法(GCR),并对比给出了利用PETSC函数库中提供的GMRES方法求解Helmholtz方程的一些初步测试结果。结果表明,采用高精度的GMRES方法可以减少模式预报偏差,改善模式预报准确度,在大规模并行计算时具有更好的可扩展性能。     

国家高性能计算环境资源评价规范研究

高性能计算资源作为科技创新的重要手段,是当代科技竞争的战略制高点,能集中体现一个国家的综合实力。国家高性能计算环境聚合了国内优秀的高性能计算资源,面向用户提供高效、便捷的高性能计算服务。为加强环境建设、提高服务质量,本文提出了一套可以量化网络服务水平和集群计算服务水平的规范,为高性能计算环境的准入提供理论依据,支持和引导用户合理使用资源,形成全局统筹的资源布局。本文首先提出对高性能计算资源服务水平的评价标准,针对资源的性能、可用性、安全性、可靠性、需求管理、技术支持和服务响应这些内容分别展开介绍。然后介绍了这些评价标准的计算方法,为评价标准的确立提供理论基础。最后以提出的资源评价标准为依据,对资源的分级标准进行制定并提出高性能计算环境的准入标准。     

面向人工智能和大数据的高效能计算

【目的】本文主要分析人工智能和大数据应用随着迅速增大的数据规模,给计算机系统带来的主要挑战,并针对计算机系统的发展趋势给出了一些面向人工智能和大数据亟待解决的高效能计算的若干研究方向。【文献范围】本文广泛查阅国内外在超级计算和高性能计算平台进行大数据和人工智能计算的最新研究成果及解决的挑战性问题。【方法】大数据既为人工智能提供了日益丰富的训练数据集合,但也给计算机系统的算力提出了更高的要求。近年来我国超级计算机处于世界的前列,为大数据和人工智能的大规模应用提供了强有力的计算平台支撑。【结果】而目前以超级计算机为代表的高性能计算平台大多采用CPU+加速器构成的异构并行计算系统,其数量众多的计算核心能够为人工智能和大数据应用提供强大的计算能力。【局限性】由于体系结构复杂,在充分发挥计算能力和提高计算效率方面存在较大挑战。尤其针对有别于科学计算的人工智能和大数据领域,其并行计算效率的提升更为困难。【结论】因此需要从底层的资源管理、任务调度、以及基础算法设计、通信优化,到上层的模型并行化和并行编程等方面展开高效能计算的研究,全面提升人工智能和大数据应用在高性能计算平台上的计算能效。     

基于ParaViewWeb架构的GPU高性能运算实现

针对智能手机、平板电脑等移动终端计算能力有限的问题,提出一种基于网络的通用计算服务平台。该平台以服务的方式为移动终端提供远程计算支持,增强其进行复杂运算的能力。利用ParaViewWeb架构的可扩展性,将高性能GPU通用计算与ParaViewWeb架构结合,在保留ParaViewWeb原有的三维数据分析与可视化功能的基础上,扩展其远程调用服务器GPU运算资源的能力。选取医学图像滤波算法为实验对象,验证了该平台的有效性,结果表明对比本地应用,基于网络的应用取得了显著加速。     

基于多算力融合的数字孪生黄河黄河云设计研究

为解决数字孪生黄河建设过程中出现的算力基础设施能力不足，数据存储、处理、服务效率不高，资源服务模式不够灵活等问题，立足数字孪生黄河建设对算力基础设施实际需求，结合水利部出台的相关技术规范，提出多算力融合黄河云重构搭建方案。开展对多元算力、多模态存储模式等关键技术的综合分析，提出多算力融合黄河云的总体框架、部署架构、资源池及资源管理设计。多算力融合黄河云针对模型计算、数据底板、智能应用、大数据处理与分析等不同场景建设虚拟化、高性能、裸金属等算力资源，根据数据类型、特点及数据量匹配集中、分布式存储资源，并提出适应黄委组织架构的云管理模式，可为数字孪生黄河建设提供高效算力底座，并可为数字孪生流域建设算力提供部门提供设计参考。     

Prediction of job characteristics for intelligent resource allocation in HPC systems: a survey and future directions

Nowadays, high-performance computing (HPC) clusters are increasingly popular. Large volumes of job logs recording many years of operation traces have been accumulated. In the same time, the HPC cloud makes it possible to access HPC services remotely. For executing applications, both HPC end-users and cloud users need to request specific resources for different workloads by themselves. As users are usually not familiar with the hardware details and software layers, as well as the performance behavior of the underlying HPC systems. It is hard for them to select optimal resource configurations in terms of performance, cost, and energy efficiency. Hence, how to provide on-demand services with intelligent resource allocation is a critical issue in the HPC community. Prediction of job characteristics plays a key role for intelligent resource allocation. This paper presents a survey of the existing work and future directions for prediction of job characteristics for intelligent resource allocation in HPC systems. We first review the existing techniques in obtaining performance and energy consumption data of jobs. Then we survey the techniques for single-objective oriented predictions on runtime, queue time, power and energy consumption, cost and optimal resource configuration for input jobs, as well as multi-objective oriented predictions. We conclude after discussing future trends, research challenges and possible solutions towards intelligent resource allocation in HPC systems.     

曙光高性能计算机在数值预报模式中的应用

文中首先介绍了中国气象局武汉暴雨研究所高性能计算机应用现状和目前的模式业务系统,针对气象预报模式精细化对计算能力的更高需求,中国气象局武汉暴雨研究所采用曙光高性能计算机集群对原有集群系统进行升级,升级后的计算节点CPU可提供11.40 TFlops的双精浮点计算能力;其次,讨论了升级后的高性能计算机几个关键技术的现状并对未来进行展望;最后以WRF模式为例,对升级后的高性能计算机的性能进行了分析,得到了较好的加速比。结果表明：新升级的集群系统将大大节省区域高分辨数值预报模式运算时间,有助于提高科研成果的转化效率。     

Distributed computing model for processing remotely sensed images based on grid computing

With advances in remote-sensing technology, the large volumes of data cannot be analyzed efficiently and rapidly, especially with arrival of high-resolution images. The development of image-processing technology is an urgent and complex problem for computer and geo-science experts. It involves, not only knowledge of remote sensing, but also of computing and networking. Remotely sensed images need to be processed rapidly and effectively in a distributed and parallel processing environment. Grid computing is a new form of distributed computing, providing an advanced computing and sharing model to solve large and computationally intensive problems. According to the basic principle of grid computing, we construct a distributed processing system for processing remotely sensed images. This paper focuses on the implementation of such a distributed computing and processing model based on the theory of grid computing. Firstly, problems in the field of remotely sensed image processing are analyzed. Then, the distributed (and parallel) computing model design, based on grid computing, is applied. Finally, implementation methods with middleware technology are discussed in detail. From a test analysis of our system, TARIES.NET, the whole image-processing system is evaluated, and the results show the feasibility of the model design and the efficiency of the remotely sensed image distributed and parallel processing system.