浅谈武汉气象高性能计算机系统的运维管理

高性能计算机在气象部门得到了广泛应用,发挥了重要作用,对高性能计算集群的科学高效的运维管理是确保高性能计算机系统正常运行的首要任务。本文结合武汉军运会气象高性能计算机的实际情况,对高性能计算机在业务应用、运行监控与维护管理等方面做了介绍,对业务科研人员和运维管理人员具有一定参考借鉴意义。     

一个基于Linux的集群部署方案

集群提供了强大的批处理和并行计算能力,代表了高性能计算机发展的新方向,但也同时具有不易管理、故障率高、维护繁琐等问题.通过研究Linux启动过程,结合远程启动技术,提出一种基于Linux的集群部署方案.有效地解决了集群的安装、升级、备份等问题,方便了用户的使用和管理,为实现集群的高性能、高可靠性、高可用性提供了良好的系统支持,极大地简化了系统管理.并且针对高性能计算集群的特点,构建了一个针对上海大学自强3000的集群部署系统(Cluster Deployment System,CDS).     

面向高性能计算机的海量数据处理平台实现与评测

高性能计算机主要应用于传统的科学计算领域,而在云计算时代,数据密集型应用成为一大类新型应用,已经变得越来越重要.主要探索如何在高性能计算机上高效地进行海量数据处理,使高性能计算机在进行科学计算的同时,能够非常好地支持数据密集型应用,拓展高性能计算机的应用领域.分析了高性能计算机上MapReduce模型实现和部署的可行性之后,在高性能计算环境中进行了实验.实验结果表明,存储系统的并行I/O能力不能充分发挥,是造成系统无法高效运行的主要瓶颈.而导致这个性能瓶颈的原因,是高并发带来的对集群文件系统资源的竞争和冲突.最后,提出了几种解决集群文件系统资源冲突的方案,这是今后的研究方向.     

中国气象局高性能计算机系统高可靠性设计

中国气象局的高性能计算机系统属于国家级的关键应用,承担着中国气象局所有业务及绝大部分科研项目的计算任务,系统的高可靠性对于整个系统和气象业务来说尤为重要。本文在简单介绍中国气象局目前主要的业务系统IBM cluster1600概况的基础上,从系统部件、网络配置、文件系统、存储等多个方面阐述了该系统设计实施过程中在高可靠性方面的考虑,并对2012年全年系统运行概况、故障及节点和系统可用性进行了统计和分析,证明该系统具有良好的高可靠特性。     

高性能计算机统一资源管理系统的设计与实现

高性能计算是气象业务及科研应用的重要的基础平台,中国气象局(CMA)近年来相继引进多套高性能计算机系统用以提高气象服务和研发能力。随着用户和应用的增加,如何有效管理高性能系统资源成为一个重要课题。本文详解介绍CMA高性能计算机系统统一资源管理平台的设计和实现,该系统可以对多套异构的高性能计算机系统进行统一的资源精细化统计分析和计费管理,通过该平台,系统管理员动态掌握系统的运行和资源使用情况,并据此调整系统资源分配调度策略,从而更合理高效的利用系统资源,有效提高系统运行效益。     

海信要干 凭实力介入

对于介入高性能计算机领域,海信有这样的看法:高性能计算机的应用主要在科学计算领域,市场需求则主要在高校、研究所和其它一些需要大量计算工作的单位。以清华大学计算机系李三立院士作为主要研究者的超级计算机采用集群计算技术、使用最新的 PentiumIII作为计算结点,开发成本仅为几十万元,在市     

HPC机群分布式强制访问控制技术可行性研究

高性能计算（high performance computing,HPC）机群具有单一系统和分布式系统的双重特点,从而对机群的安全性提出了新的挑战。根据高性能计算机群的安全现状和需求,提出了一种适用于高性能计算机群的分布式强制访问控制模型;根据该模型设计了一个基于单节点的强制访问控制系统SE Linux,实现了高性能计算机群访问控制系统框架,并搭建了一个原型系统。最后,对高性能计算机群强制访问控制技术的可行性进行了分析和验证。分析结果表明,高性能计算机群分布式强制访问控制技术在功能上能够满足高性能计算机群的安全需求,对系统的计算和带宽的消耗也在可接受的范围内。     

VCC实验室集群相关工作简介

集群技术的发展使得高性能计算机逐渐成为一种普通的实验设备。集群计算以及协同计算是合肥工业大学可视化与协同计算研究室的一个主要研究方向之一，本文对VCC集群相关的工作进行简要的回顾。     

高性能计算机互连系统研究

互连系统是构成高性能计算机系统和决定系统通信性能的关键部分 ,其主要功能是实现系统中大量结点机间的消息传送。因而其通信带宽和延迟将直接影响高性能计算机系统计算能力和效率的发挥。本文重点研究高性能计算机“高带宽、低延迟”互连系统技术 ,以支持高性能计算机系统计算能力和效率的更好发挥。本文研究了高性能计算机系统的性能度量和提升途径 ,分析并找出了影响系统加速比的关键因素。分析了互连系统中的拓扑结构、切换技术、流控策略和路由算法等方面采用的技术和研究现状 ,总结了提高互连通信系统性能的技术途径。本文对高性能计…     

美国能源部高性能研发

2004年8月,美国能源部和Sun公司联合宣布了设在美国爱达荷州的美国能源部国家工程与环境实验室(INEEL)数据中心的一项高性能计算机集群系统的研发项目。该集群系统将采用230多部基于AMD　Opteron　微处理器的Sun　FireV20z服务器和总容量超过12×1012比特的Sun　StorEdge　6320存储阵列,以及Solaris　9操作系统和Sun公司的StarOffice　7.0办公套件等硬、软件产品,并由Sun服务部门提供现场高级培训与支持服务。该集群系统的超高速计算能力使INEEL数据中心成为全球前150个超级计算站点之一。“I N E E L与S u n 的此项合作使INE…     

An energy management system for cluster infrastructures

This paper presents a general energy management system for High Performance Computing (HPC) clusters and cloud infrastructures that powers off cluster nodes when they are not being used, and conversely powers them on when they are needed. This system can be integrated with different HPC cluster middleware, such as Batch-Queuing Systems or Cloud Management Systems, and can also use different mechanisms for powering on and off the computing nodes. The presented system makes it possible to implement different energy-saving policies depending on the priorities and particularities of the cluster. It also provides a hook system to extend the functionality, and a sensor system in order to take into account environmental information.     

Towards highly available and scalable high performance clusters

In recent years, we have witnessed a growing interest in high performance computing (HPC) using a cluster of workstations. This growth made it affordable to individuals to have exclusive access to their own supercomputers. However, one of the challenges in a clustered environment is to keep system failure to the minimum and to achieve the highest possible level of system availability. High-Availability (HA) computing attempts to avoid the problems of unexpected failures through active redundancy and preemptive measures. Since the price of hardware components are significantly dropping, we propose to combine both HPC and HA concepts and layout the design of a HA-HPC cluster, considering all possible measures. In particular, we explore the hardware and the management layers of the HA-HPC cluster design, as well as a more focused study on the parallel-applications layer (i.e. FT-MPI implementations). Our findings show that combining HPC and HA architectures is feasible, in order to achieve HA cluster that is used for High Performance Computing.     

OSCAR集群技术

集群系统是目前最广泛被采用的高性能计算机系统解决方案。安装一个高性能计算集群需要多个节点协同安装和配置，这对于多达几百台计算机节点的集群系统常常是很麻烦的过程。目前最受欢迎的集群系统安装软件包”OSCAR(Open Source Cluster Application Resource)”很好地解决了这个问题。详细介绍了OSCAR的各个功能部件的工作方式和使用方法，并概括了OSCAR集群的安装流程。     

基于Hadoop的高性能海量数据处理平台研究

海量数据高性能计算蕴藏着巨大的应用价值,但是目前云计算体系只具有海量数据处理能力,而不具有足够的高性能计算能力。将具有超强并行计算能力的CPU与云计算相融合,提出了基于CPU/GPU协同的异构高性能云计算体系结构。以开源Hadoop为基础,采用注释码的形式对MapReduce函数中需要并行的部分进行标记。通过 定制GPU类加载器,将被标记代码转换为CUDA代码并动态编译运行。该平台将GPU的计算能力融合到MapReduce框架中,可高效处理海量数据。     

异构高性能计算系统Linpack效率受限因素分析

能耗是目前高性能计算系统性能提升的一大挑战。主处理器连接加速器的异构计算技术可以有效提升系统能效,因而被广泛应用于当前高性能计算系统的设计。同等系统规模下,异构计算系统的Linpack效率普遍低于同构系统。针对这一问题,从结构设计的角度,基于真实计算系统的设计参数和性能数据,分析了大规模异构高性能计算系统Linpack效率受限的主要因素及其对结构设计的需求,并构建了针对异构计算系统的Linpack性能模型对分析结论进行了验证。研究成果对异构计算系统Linpack的性能优化以及未来高效异构架构的设计具有一定的指导意义。     

Improving the energy efficiency of data-intensive applications running on clusters

Abstract

As an alternative to traditional computing architecture, cloud computing now is rapidly growing. However, it is based on models like cluster computing in general. Now supercomputers are getting more and more powerful, helping scientists have more indepth understanding of the world. At the same time, clusters of commodity servers have been mainstream in the IT industry, powering not only large Internet services but also a growing number of data-intensive scientific applications, such as MPI based deep learning applications. In order to reduce the energy cost, more and more efforts are made to improve the energy consumption of HPC systems. Because I/O accesses account for a large portion of the execution time for data intensive applications, it is critical to design energy-aware parallel I/O functions for addressing challenges related to HPC energy efficiency. As the de facto standard for designing parallel applications in cluster environment, the Message Passing Interface has been widely used in high performance computing, therefore, getting the energy consumption information of MPI applications is critical for improving the energy efficiency of HPC systems. In this work we first present our energy measurement tool, a software framework that eases the energy collection in cluster environment. And then we present an approach which can optimise the parallel I/O operation’s energy efficiency. The energy scheduling algorithm is evaluated in a cluster.     

New techniques for simulating high performance MPI applications on large storage networks

In this work, we propose new techniques to analyze the behavior, the performance, and specially the scalability of High Performance Computing (in short, HPC) applications on different computing architectures. Our final objective is to test applications using a wide range of architectures (real or merely designed) and scaling it to any number of nodes or components. This paper presents a new simulation framework, called SIMCAN, for HPC architectures. The main characteristic of the proposed simulation framework is the ability to be configured for simulating a wide range of possible architectures that involve any number of components. SIMCAN is developed to simulate complete HPC architectures, but putting special emphasis on the storage and network subsystems. The SIMCAN framework can handle complete components (nodes, racks, switches, routers, etc.), but also key elements of the storage and network subsystems (disks, caches, sockets, file systems, schedulers, etc.). We also propose several methods to implement the behavior of HPC applications. Each method has its own advantages and drawbacks. In order to evaluate the possibilities and the accuracy of the SIMCAN framework, we have tested it by executing a HPC application called BIPS3D on a hardware-based computing cluster and on a modeled environment that represent the real cluster. We also checked the scalability of the application using this kind of architecture by simulating the same application with an increased number of computing nodes.     

HPP:一种支持高性能和效用计算的体系结构

为了同时做到应对千万亿次高性能计算的技术挑战和满足数据中心(data center)未来的主要应用模式效用计算(utility computing)的需求,提出了一种称为HPP(Hyper Parallel Processing)的高性能计算机体系结构.HPP的主要特征是全局地址空间(global address space)和单一操作系统映像的超节点(hyper node).HPP结合了MPP的可扩展性,DSM的高效通信和机群的普及化的优点,为高性能计算和效用计算都提供了许多创新研究的机会.基于HPP体系结构,实现了一个曙光5000高性能计算机的原型系统,初步验证了它的可行性.     

面向评估的高产出率计算指标量化分析

为了解决当前传统的高性能计算片面强调性能而忽视系统各方面的平衡性所导致的问题，研究人员提出了“高产出率计算”的概念，并为此展开了高产出率计算评估体系的研究。本文从当前高产出率计算评估体系研究现状出发，从高产出率计算对传统“性价比”评估概念的扩展入手，提出了以“指标量化”和“统一量纲”为中心的评估高产出率计算效果的方案，并针对计算能力、鲁棒性、能耗和易用性四个要素给出了一种量化的评估办法。