高性能计算集群中的网络技术研究与实践

随着高性能计算技术及计算规模的快速发展,网络通信速度的发展已远远落后于CPU 的发展,网络性能已成为高性能计算集群发展的瓶颈。全国山洪灾害防治管理平台,需要海量数据存储能力和高速度、大容量、高精度计算处理能力,为了打破网络通信速度对高性能计算集群速度的制约,采用InfiniBand互连结构有效的缩短网络和CPU 之间的性能差距,使高性能计算集群的整体性能趋于平衡。本文结合全国山洪灾害防治管理平台高性能计算集群的建设实践,针对其中的专用网络技术研究及网络环境的搭建作了重点阐述。     

水利高性能计算的进展

针对水利信息化对精细模拟与高性能运算提出的愈来愈高的要求,在简单介绍高性能计算的硬件、软件环境及其在水利上的几个应用实例后,着重介绍了并行有限元法、并行边界元法的一些进展以及网格技术的最新进展。指出从网络到网格是高性能计算发展的最新方向,应以网格平台支持、促进水利信息化进程。     

基于集群化架构的水资源管理系统设计与案例研究

随着现代水利信息资源的深入开发和利用,传统的集中式水资源管理系统集成方法已经难以满足水利专业模型的高性能和服务化需求。微服务系统架构将模型封装成服务资源,为上层高级智能应用提供模块化的底层功能,是一种细粒度、低耦合、可伸缩的水资源管理模型集成方法。在专业模型的服务化中,单个服务的运行效率是系统整体性能的关键因素。在微服务系统架构下,结合水资源管理专业模型的服务化需求,提出了一种有效的水资源管理系统服务集群化方法;在采用主流的容器技术实现专业模型服务的横向性能扩展的同时,采用网关技术实现了网络和服务的负载均衡。相关技术在金沙江下游-三峡梯级电站水资源管理决策支持系统中得到应用,可为水利信息化系统的设计和开发提供参考。     

数据虚拟化平台优化方案构想

计算资源虚拟化是目前最成熟的云计算技术之一。虚拟化技术将各种资源虚拟出多台主机,通过把多个操作系统整合到一台高性能服务器上,最大化利用硬件平台的所有资源,用更少的投入实现更多的应用,降低管理资源的难度。随着水利信息化水平的提高,实际业务应用系统的快速增长,按照水利的业务和数据增长需要,升级包括服务器虚拟化、网络虚拟化、云管理平、存储扩容和容灾备份等,实现水利信息化统一计算、统一存储、统一网络、统一监管的安全基础设施共享架构。     

水利科学计算并行计算平台构建及算法实践

文中采用现代先进的信息技术和计算技术,研究基于高性能并行计算的水利水电大型科学计算平台体系和构建,并采用Sun Fire 6800R和Sun Cluster Tools初步形成了高性能并行计算平台的架构,结合水利水电科学计算的实践,通过数学模型的结构分析、并行改造,探索、推广并行计算技术在水利水电数学模型计算领域的应用,并以此构架基于网络的开发式并行计算共享平台。     

基于MPI的Beowulf集群系统构建及评测

Beowulf 集群系统是基于广泛应用于通用网络环境下由一些微机组成的计算机群系统,它可以运行于多种操作系统(如Linux、Windows等).主要研究了在Windows XP操作系统下异构Beowulf 集群系统的构建,利用计算圆周率的并行算例进行了系统性能测试,并与Sun高性能服务器测试结果进行了比较.测试结果表明实验构建的Beowulf集群具有很高的并行计算效率和并行加速比,能够达到比较好的实际效果.     

基于负载均衡的Web业务应用架构的设计与应用

随着水利信息化业务的广泛应用,对基于Web业务架构的应用服务提出了更高的要求.该文介绍了负载均衡技术在广东水利数据中心和三防指挥系统中的应用.实践证明,负栽均衡技术对日益增加的Web应用服务提供了可靠、扩展性强的技术手段,并可有效保护用户原有投资.     

云计算在水利数值模拟中的应用探讨

目前数值模拟技术在水利工程设计及研究领域得到了广泛应用,并且出现了模拟尺度精细化、算例规模大型化的趋势。传统的单机计算模式严重制约了水利数值模拟工作的深入开展。从管理实践出发,提升数值模拟计算效率,充分验证云计算技术在水利数值模拟领域的适用性,并为后续水利云平台的建设奠定了坚实的基础架构与技术储备。     

高性能混凝土及制品在水利工程中应用进展

通过分析混凝土耐久性的研究现状,结合中等强度高性能混凝土、化学外加剂和高性能预制混凝土水泥制品的快速发展情况,介绍了高性能混凝土与制品在水利工程中的研究和应用进展。并结合我国未来10年水利大投入、大建设、大发展形势,提出了水利工程中高性能混凝土与水泥制品研究与应用建议。     

复杂工程力学高性能应用软件系统研制进展

2016年科技部发布了"十三五"高性能计算重点研发计划专项项目,资助支持E级高性能计算机系统、高性能计算应用软件、高性能计算环境等的研制研发,其中"复杂工程力学高性能应用软件系统研制"是水利行业承担的唯一项目。该项目面向E级(每秒百亿亿次,1018 FLOPS)计算,研制一套涵盖静动力学分析、模态分析、冲击分析、材料损伤与破坏分析、非连续性分析等的"复杂工程力学高性能应用软件系统",突破100亿自由度计算规模,实现国家重大科技专项中复杂工程装备系统的典型力学响应行为分析,实现我国典型大型土木工程和大型水利工程抗重大自然灾害和全生命周期中抗疲劳损伤的力学综合性能评估,获得与实验一致的模拟结果。包含四项基本关键技术:(1)适应于高性能计算的高置信度物理建模与高精度计算方法;(2)复杂几何结构超大规模非结构网格的高可扩展建模技术;(3)连续-非连续复杂物理过程高精度模拟技术;(4)面向工程力学问题的十亿亿次高效求解技术。目前,完成了工程力学软件SAPTIS和PANDA的基于JAUMIN框架编程的高性能并行化工作,丰富了求解方法和模型,并且针对三峡水利工程和光机装置等应用完成了初步测试,测试结果显示加速效果明显,计算精度高,为项目最终目标的达成奠定了坚实基础。     

基于LINUX和MPICH2 的高性能科学计算集群搭建及其性能评测

在水利工程计算中,单机计算已经不能满足实际科研和生产的需要,大型工程的设计、施工、管理和科学研究都越来越依赖于高性能科学计算。采用并行计算和计算机网络技术构建高性能科学计算集群,能够有效提高计算速度并降低运算成本。本文探讨了基于Beowulf集群模型,利用普通PC机和以太网,通过在LINUX操作系统下搭建基于MPICH2的并行计算集群,实现低成本并行计算平台的技术,并介绍了利用Linpack测试对并行计算集群进行性能评测的具体方法。这一技术对于解决较大规模科学和工程计算问题具有重要的实用价值和经济意义。     

基于云计算的牧区水利信息系统研究

近年来，随着牧区经济的发展和国家投入的增加，牧区水利建设取得了明显的成效，但同时也面临着很多困难，如政策和措施不完善、技术力量薄弱、项目建设和运行管理存在疏漏、基层服务体系不健全等。现代信息技术的迅速发展，特别是云计算的出现和发展．给这些问题的解决带来了契机。该文简述云计算理论的基本内容，探讨建立以云计算为基础的牧区水利信息系统的可行性．并提出总体框架和分析未来发展趋势，旨在促进和保障牧区水利健康发展。     

基于云计算架构的水文大数据云平台建设

随着信息技术的应用发展,水文行业在水情采集、分析、业务处理等方面产生的数据量急剧膨胀,突发性汛灾情的频发使得各水文领域应用系统对调用数据的时效性和并发性要求越发严苛,现代高效的水文数据中心的建设需求随之变得更加迫切。大数据技术与云计算技术在海量异构数据的高效存储、处理、数据挖掘等方面具有天然优势,在气象、国土等行业已落地应用,但水文行业目前尚未有大数据和云计算技术的应用先例。综合水文大数据的特点和目前浙江省水文中心私有云建设现状,创造性提出基于云计算与大数据技术的混合云水文数据中心架构设计,以满足海量水文数据高效分布式采集、融合与分发,同时为水文数据的挖掘分析提供操作平台。     

New prospects for computational hydraulics by leveraging high-performance heterogeneous computing techniques

In the last two decades, computational hydraulics has undergone a rapid development following the advancement of data acquisition and computing technologies. Using a finite-volume Godunov-type hydrodynamic model, this work demonstrates the promise of modern high-performance computing technology to achieve real-time flood modeling at a regional scale. The software is implemented for high-performance heterogeneous computing using the Open CL programming framework, and developed to support simulations across multiple GPUs using a domain decomposition technique and across multiple systems through an efficient implementation of the Message Passing Interface(MPI) standard. The software is applied for a convective storm induced flood event in Newcastle upon Tyne, demonstrating high computational performance across a GPU cluster, and good agreement against crowdsourced observations. Issues relating to data availability, complex urban topography and differences in drainage capacity affect results for a small number of areas.     

水利数据中心资源开发与应用研究

面临异构环境、业务融合、管理规范等非常复杂的问题,以及水利数据中心建设的现实需求,山东省水利厅按照国家水利数据中心建设的基本技术要求,结合山东省实际情况,采用云计算、虚拟化、大数据、宽网络等新技术,初步建成水利数据中心;完善水利数据中心标准,建立统一规范的技术基础平台和数据中心业务流程：构建数据中心应用服务平台,建设以水利数据中心为核心的水利信息资源共享环境与服务体系;实现各类水利数据信息的汇集存储与交换共享。     

太仓市县级基础水信息平台设计与建设

建立统一高效的基础水信息平台是基层水利单位信息化建设的重点任务。结合水利工作不断发展的业务需求,以太仓市水利基础水信息平台建设为基础,探讨利用 SOA架构并运用云计算的新理念,Web GIS 和Web Services技术,深入研究1个数据库,1套标准,1张图,1个平台,1个门户--“五个一”的县级基础水信息平台的搭建,对提高水利业务的管理水平和效率具有重要的意义。     

Conjunctive Management of Large-Scale Pressurized Water Distribution and Groundwater Systems in Semi-Arid Area with Parallel Genetic Algorithm

This study develops a production well management model for the conjunctive management of water resources in semi-arid areas. The management model integrates a large-scale pressurized water distribution system and a three-dimensional groundwater model under an optimization framework. The well pump operations optimization problem is formulated as a Boolean integer nonlinear programming (BINLP) problem to optimize the periodic 24-h pump on/off operations over a 1-week operation horizon. The management model considers multiple objectives and is solved by a parallel genetic algorithm (PGA) to overcome the difficulty of solving the BINLP problem. The PGA significantly reduces computation time for a case study in Chandler, Arizona. The Chandler water distribution model is built based on EPANET, and the Chandler three-dimension groundwater model is developed using MODFLOW. The high performance computing (HPC) of the genetic algorithm makes it possible to obtain 24-h real-time operations in the 7-day forecast model. The tank reliability, resilience, and vulnerability (R-R-V) are evaluated to infer the system reliability. The Pareto curve provides compromise solutions between the two competing objectives of energy reduction and pressure violation reduction.