国家863计划“面向水利信息化的高性能计算与网格应用”课题通过验收

2011年7月22日，科技部高技术中心组织验收专家组在北京对水利部水利信息中心承担的国家863计划“面向水利信息化的高性能计算与网格应用”课题进行了现场验收。课题组组长水利部信息办主任蔡阳对课题进行了汇报，课题组有关人员演示了研究成果。     

水利信息化平台计算环境的设计

论述了如何利用网格技术在计算方面的优势,解决水情预报等水利工作中面临的复杂计算问题,介绍了水利信息化平台计算环境的设计目标和原则、计算环境的体系结构、模块功能,该设计加以实现后可利用现有硬件环境实现大型机甚至超级计算机的运算服务能力,改善目前计算资源匮乏的局面。     

复杂工程力学高性能应用软件系统研制进展

2016年科技部发布了"十三五"高性能计算重点研发计划专项项目,资助支持E级高性能计算机系统、高性能计算应用软件、高性能计算环境等的研制研发,其中"复杂工程力学高性能应用软件系统研制"是水利行业承担的唯一项目。该项目面向E级(每秒百亿亿次,1018 FLOPS)计算,研制一套涵盖静动力学分析、模态分析、冲击分析、材料损伤与破坏分析、非连续性分析等的"复杂工程力学高性能应用软件系统",突破100亿自由度计算规模,实现国家重大科技专项中复杂工程装备系统的典型力学响应行为分析,实现我国典型大型土木工程和大型水利工程抗重大自然灾害和全生命周期中抗疲劳损伤的力学综合性能评估,获得与实验一致的模拟结果。包含四项基本关键技术:(1)适应于高性能计算的高置信度物理建模与高精度计算方法;(2)复杂几何结构超大规模非结构网格的高可扩展建模技术;(3)连续-非连续复杂物理过程高精度模拟技术;(4)面向工程力学问题的十亿亿次高效求解技术。目前,完成了工程力学软件SAPTIS和PANDA的基于JAUMIN框架编程的高性能并行化工作,丰富了求解方法和模型,并且针对三峡水利工程和光机装置等应用完成了初步测试,测试结果显示加速效果明显,计算精度高,为项目最终目标的达成奠定了坚实基础。     

刀片式服务器在水利高性能计算中的应用

随着处理器多核技术的发展,高性能并行处理技术将应用于更多的领域,变得更加普及。目前高性能计算已取得了巨大成就,在众多关键领域有着重要的应用。加之,ATCA标准的公布和广泛应用,服务器的发展由机架进入刀片时代。与机架式高性能计算集群相比,基于刀片的高性能计算集群系统采用集群架构搭建,即保全了集群架构的主要优点,又符合当前高性能集群在计算密度、功耗、可靠性、扩展性等方面的更高要求。随着刀片式服务器的发展、推广和应用,刀片式高性能集群在水利高性能上的普及,水利高性能计算在计算密度、节能环保、易于扩展和管理维护也提出了更高的要求。本文结合全国山洪灾害防治管理平台高性能计算集群的建设实践,针对其中的刀片式高性能集群的节能低耗、高密度、集中管理和计算性能作了重点阐述。     

水利信息化综合集成服务平台及应用模式

介绍了目前我国水利信息化的基础建设的状况,分析了水信息应用中的主要问题。从水利信息及其应用特点,应用的组件化、信息共享、高性能计算、面向特定主题的应用模式等方面对水利信息化建设中的关键问题进行了分析。阐明了水利信息化建设中需要加强的工作,提出应用新模式的目标、综合集成服务平台的思想体系,以及以知识服务及协同决策平台为核心的应用模式。     

水利信息化综合集成服务平台及应用模式

介绍了目前我国水利信息化的基础建设的状况,分析了水信息应用中的主要问题.从水利信息及其应用特点,应用的组件化、信息共享、高性能计算、面向特定主题的应用模式等方面对水利信息化建设中的关键问题进行了分析.阐明了水利信息化建设中需要加强的工作,提出应用新模式的目标、综合集成服务平台的思想体系,以及以知识服务及协同决策平台为核心的应用模式.     

基于水利网格的资源整合与应用

在探讨网格技术的基础上,以主题信息服务、按需计算服务、个性化决策服务的高效化和便捷化为目标,构建了水利网格平台框架及平行系统,分别实现了异构信息的高效集成、计算力资源调度及服务可视化、卫星遥感MODIS数据的按需计算服务、基于平行系统的洪水预报以及基于网格系统的仿真模拟环境。以水利网格作为基础平台的资源整合与应用方案,能够有效的解决多种水利业务的分析、处理问题,并在一定程度上辅助支持了预报和决策。     

基于水利网格的资源整合与应用

在探讨网格技术的基础上,以主题信息服务、按需计算服务、个性化决策服务的高效化和便捷化为目标,构建了水利网格平台框架及平行系统,分别实现了异构信息的高效集成、计算力资源调度及服务可视化、卫星遥感MODIS数据的按需计算服务、基于平行系统的洪水预报以及基于网格系统的仿真模拟环境.以水利网格作为基础平台的资源整合与应用方案,能够有效的解决多种水利业务的分析,处理问题,并在一定程度上辅助支持了预报和决策.     

基于网格的三维可视化技术及其在水利信息化中的应用

使用网格计算对网络环境下多台计算机处理能力的集成来解决三维显示不连续、单帧视觉图像处理时间过长的问题,并使用Petri网的描述方法对三维显示任务的分解进行理论上的描述.以高速的数据共享服务和有效的节点数据缓存管理方法为基础,开发了能够集成多台计算机的处理能力的网格应用系统,以利于今后在数字流域、水利信息化工程管理的三维显示中应用.     

网格计算及应用前景

网格计算是一种前景看好的新技术 ,通过阐述网格计算的概念 ,介绍网格计算的目的、体系结构、关键技术 ,展示网格计算技术的前景。     

数值流形法覆盖系统并行生成算法研究

计算效率低是当前制约数值流形法应用于大型实际工程模拟的瓶颈问题,并行计算作为一种加速计算技术,能有效地提高数值流形法的计算效率。在串行算法基础上,系统研究了基于分布式内存编程模式的数值流形法覆盖系统和流形单元并行生成算法。首先,在分析并行算法与串行算法不同点和难点的基础上,采用区域分解算法实现并行任务分配,并提出覆盖系统并行生成主要步骤。采用临时规则粗网格形成负载均衡的子区域,提出相应子区域生成算法。其次,在深入分析数值流形法数学覆盖、物理覆盖和流形单元之间关系基础上,探讨并行算法中子区域覆盖系统生成的关键技术,以及物理覆盖和流形单元编号规则。然后,针对并行算法提出了建立覆盖系统界面信息算法,为数值流形法并行计算过程中通讯和数据交换提供支持。最后,在覆盖系统并行生成算法基础上,采用C++面向对象编程技术开发了相应程序。2个算例结果验证了算法正确性和有效性,为后续并行模拟提供了前处理器。     

水利科学计算并行计算平台构建及算法实践

文中采用现代先进的信息技术和计算技术,研究基于高性能并行计算的水利水电大型科学计算平台体系和构建,并采用Sun Fire 6800R和Sun Cluster Tools初步形成了高性能并行计算平台的架构,结合水利水电科学计算的实践,通过数学模型的结构分析、并行改造,探索、推广并行计算技术在水利水电数学模型计算领域的应用,并以此构架基于网络的开发式并行计算共享平台。     

平面二维非均匀泥沙OpenMP并行计算模型

为实现平面二维非均匀泥沙模型并行计算,采用OpenMP指令对串行源程序进行改造。基于三角形-四边形混合网格的平面二维非均匀泥沙有限体积模型具有显式求解时网格单元相互独立性这种特性,Fortran串行源程序无需进行较大的修改,只要在循环计算和数组整体操作部分嵌入OpenMP循环并行指令和数组并行指令,即可实现并行计算。案例分析结果表明,在并行线程数目等于计算机固有线程数目时,并行加速比达到最大值1.55;OpenMP技术使用线程间共享内存的方式协调并行计算,很适合在多核计算机上运行,且编程简单灵活,将随着计算机硬件性能的提高得到更广泛的应用。     

基于LINUX和MPICH2 的高性能科学计算集群搭建及其性能评测

在水利工程计算中,单机计算已经不能满足实际科研和生产的需要,大型工程的设计、施工、管理和科学研究都越来越依赖于高性能科学计算。采用并行计算和计算机网络技术构建高性能科学计算集群,能够有效提高计算速度并降低运算成本。本文探讨了基于Beowulf集群模型,利用普通PC机和以太网,通过在LINUX操作系统下搭建基于MPICH2的并行计算集群,实现低成本并行计算平台的技术,并介绍了利用Linpack测试对并行计算集群进行性能评测的具体方法。这一技术对于解决较大规模科学和工程计算问题具有重要的实用价值和经济意义。     

小浪底水库三维数学模型并行计算研究

基于MPI消息传递实现了小浪底水库三维数学模型的并行编程,采取网格分区和主从模式实现了并行计算,在全局网格和局部区域之间建立了映射关系,并对临界单元和进出口单元等特殊点进行了处理。结果表明:神威-SZNM集群的8CPU并行计算的加速比为5.2,远高于原串行程序在Windows操作系统下采用CVF编译器编译执行的计算速度,极大地缩短了计算时间,提高了计算准确度。     

基于有限体积法的河网水动力并行计算模型

针对具有干河床、急缓流态交替的河网水动力模拟,采用MUSCL-Hancock有限体积格式离散Saint-Venant方程组,运用汊点水位预测-校正法处理河网汊点连接条件,建立了断面与河道完全数值解耦的复杂河网水动力模型。运用OpenMP和OpenACC编程模式分别实现了CPU,GPU并行计算。采用经典算例对模型计算精度进行了验证,采用珠三角河网实际算例对不同并行计算方式的加速效果进行了分析。算例研究表明,该模型具有良好的稳定性和计算效率,可适用于陡坡河道水动力模拟,具有较好的推广应用价值。     

混凝土静动力学分析数值模拟程序中的并行算法设计

对混凝土进行静动力学分析的数值模拟程序，从多个方面考虑了其中的并行算法设计。首先，从整体上提出了一个将有限单元分布与未知量分布有机结合的整体并行算法设计方案。之后，分别针对刚度矩阵装配、双门槛不完全Cholesky分解预条件、稀疏矩阵与向量相乘、稀疏向量相加等核心算法，提出了相应的高效并行算法。在由8台奔腾4微机组成的机群上对一采用 44117个网格点与53200个有限单元的混凝土断裂过程数值模拟表明，加速比可以达到6.92，与单机算法改进效果相结合后，一次加载的计算时间从原程序的11443s减少到了13s。在有4个CPU的一台Sun HPC上对采用71013个网格点与78800个有限单元的问题进行数值模拟时，串行算法改进与并行算法的设计也使得整个过程所需的计算时间从原串行程序的约15d减少到只要122min。     

适用于Hadoop云平台的洪水淹没分析并行算法

数字高程模型(Digital Elevation Model, DEM)特殊的数据结构有利于数据在计算机中进行计算,但其数据量大,受计算机性能的限制,无法满足大规模洪水淹没分析的需要。针对单机计算能力有限以及有源淹没分析递归算法占用计算机资源较多的问题,提出了一种利用Hadoop云平台进行洪水淹没分析的并行算法。该算法对研究区域DEM按规则格网的思想进行划分,将大规模的研究区分割成多个规则的小区域。在指定水位下,对每个小区域进行数据压缩,计算每个栅格单元的淹没值,并将同一行中相连的淹没栅格序列记为淹没块,每个淹没块包含该栅格序列所属的区块号、行号、起始列号、终止列号以及淹没标记;当不同行或不同区域中的淹没块相互连通时,需对其淹没标记进行一致性设计。最终,根据淹没点所在淹没块的淹没标记提取出淹没点所在的淹没区,即为实际的淹没范围。实验结果表明,在指定淹没水位下,通过该算法可以快速提取淹没范围以及实现淹没水深的计算。