我国生物医学领域高性能计算发展分析与建议

【目的】生物医学领域对高性能计算需求突出,结合发展现状和挑战,提出针对性建议。【方法】从计算基础设施、软件工具资源、人才成果统计、数据安全监管4个方面,调研国内外生物医学领域高性能计算平台建设进展,归纳总结发展特点、存在差距及现实挑战。【结果】提出推进算网融合发展、鼓励软件研发创新、培养复合型人才、加强标准规范建设等发展建议。【结论】围绕资源、技术、人员和标准开展高性能计算建设,以期推动生物医学与信息技术的深度融合,支撑新技术的研发、应用与服务。     

应用感知的算力优化调度方法

【目的】在“东数西算”工程的大背景下,为了更好地实现对分布在不同地域超级计算机资源的调度管理,针对计算资源忙闲不均等问题,提出通过研究典型应用作业的运行特征,开发多中心任务的调度系统,以解决国家高性能计算环境统一调度的关键技术问题。【方法】首先收集了若干超级计算中心的应用运行历史情况,建立了应用运行历史数据库;其次将用户应用对资源的需求和典型应用的资源使用特征分析相结合,通过机器学习的方法,建立了一种可精确描述应用特征的框架;然后实现了跨集群高性能计算应用的容器方式迁移;最后研究了基于多中心应用特征的任务调度方法,开发了基于应用感知的全局资源优化调度系统。【结果】该系统为国家高性能计算环境服务化运营和稳定运行提供了有力的技术支撑。【结论】基于应用感知的算力优化调度方法可望有效提高“东数西算”的可靠性、可用性和可维护性。     

基于基准测试的高性能计算云研究

随着云计算技术的发展,高性能计算云(HPC in the Cloud)已得到学术界和产业界的关注。由于虚拟化技术带来的性能开销,高性能计算云面临着一些挑战。针对“高性能计算+云”的计算模式,分析了高性能计算云的优势,深入介绍了国内外基于基准测试的高性能计算云的性能评测、性能优化、能耗和成本效益等关键问题,得出了针对基准测试的高性能计算云研究的基本思路,并对当前面临的问题和今后的发展趋势进行了总结和展望。     

国家高能物理科学数据中心分布式数据处理平台

【目的】本文对国家高能物理科学数据中心分布式数据平台进行系统全面介绍,为高能物理及相关领域大科学实验的数据处理提供参考。【方法】文章介绍了国家高能物理科学数据中心分布式数据处理平台的总体构成、运行模式和智能运维等方面的关键技术。通过分析高能物理实验数据处理的计算特点与实际需求,介绍了数据中心“一平台多中心”的数据处理平台建设思想,阐述了平台为高能物理实验提供的跨地域资源共享、高性能海量数据访问以及用户实时交互服务等技术方案设计与实现。【结果】文章列举了数据中心分布式数据处理平台对两个高能物理实验的支持实例,助力科学研究成果获取。【结论】国家高能物理科学数据中心分布式数据处理平台已经成为高能物理学科的重要基础设施和组成,是学科融合、开展新研究方法的主要场所,满足了粒子物理、理论物理、空间天文、射线学科、加速器设计等科研领域的数据处理需求。     

开放式高性能计算平台的建设与研究

针对当前各学科对高性能计算资源需求日益激增的状况,分析超级计算机与高性能计算在各个学科领域的应用背景与发展方向,阐述高性能计算平台的建设与开放共享,为创新型人才培养提供支撑。     

基于高性能计算环境的HPC算力编程模式

【目的】随着云计算、大数据、人工智能等技术的兴起和广泛应用,促进了基于多元算力的融合计算发展。在国家“东数西算”战略的指引下,充分发挥HPC算力优势,提供新型HPC算力编程模式,是新一代计算基础设施可编程能力的重要变革。【方法】分析了高性能计算环境服务模式发展和现有计算环境下不同的编程模式,提出了基于高性能计算环境的HPC算力编程模式HPC as a function,定义了HPC算力和任务模式的基本抽象,以及HPC算力编程模式的参考体系结构。【结果】HPC算力编程模式可支持科研业务中融合计算对HPC算力的基本需求,可将适用于HPC的计算任务分发到合适的计算资源执行并有效管理,相比传统的工作流系统提供了更大的灵活性和可编程性。【结论】HPC算力编程模式可望有效提高“东数西算”计算基础设施的可编程性。     

面向人工智能和大数据的高效能计算

【目的】本文主要分析人工智能和大数据应用随着迅速增大的数据规模,给计算机系统带来的主要挑战,并针对计算机系统的发展趋势给出了一些面向人工智能和大数据亟待解决的高效能计算的若干研究方向。【文献范围】本文广泛查阅国内外在超级计算和高性能计算平台进行大数据和人工智能计算的最新研究成果及解决的挑战性问题。【方法】大数据既为人工智能提供了日益丰富的训练数据集合,但也给计算机系统的算力提出了更高的要求。近年来我国超级计算机处于世界的前列,为大数据和人工智能的大规模应用提供了强有力的计算平台支撑。【结果】而目前以超级计算机为代表的高性能计算平台大多采用CPU+加速器构成的异构并行计算系统,其数量众多的计算核心能够为人工智能和大数据应用提供强大的计算能力。【局限性】由于体系结构复杂,在充分发挥计算能力和提高计算效率方面存在较大挑战。尤其针对有别于科学计算的人工智能和大数据领域,其并行计算效率的提升更为困难。【结论】因此需要从底层的资源管理、任务调度、以及基础算法设计、通信优化,到上层的模型并行化和并行编程等方面展开高效能计算的研究,全面提升人工智能和大数据应用在高性能计算平台上的计算能效。     

高性能计算平台建设、运行与服务模式的探索

面对各学科日益激增的高性能计算需求,如何充分有效地整合计算资源,高效、稳定地提供高性能计算服务是值得思考的问题.重庆理工大学在高性能计算平台的建设管理、平台运维、服务支撑、应用研究和人才培养等诸多方面大胆进行管理制度和运行机制的创新,在开放运行的实践中探索高性能计算平台建设和管理模式,取得了良好成效.平台以"服务用户"...     

浅谈高性能计算的地位及应用

高性能计算已被公认为继理论科学和实验科学之后,人类认识世界改造世界的第三大科学研究方法。高性能计算应用在高性能计算技术的支持下为我国的科技创新作出了巨大贡献,并且和高性能计算技术在相辅相成中不断发展。从应用的角度概要总结了高性能计算的作用和地位,列举了几个产业化相关的高性能计算应用,介绍了作为公共服务平台的上海超级计算中心的情况。     

基于国家高性能计算环境的教育实践平台建设

目前我国超算应用研发人员的缺乏,已经严重制约迅猛增长的超算应用需求,因此亟须大力发展高性能计算教育,提升学生和从业人士的并行计算思维和应用研发能力。文章分析现有高性能计算教育实践模式的问题,介绍国家重点研发计划高性能计算专项"基于国家高性能计算环境的教育实践平台"的建设过程和主要构建方法。     

一种自主设计的面向E级高性能计算的异构融合加速器

高性能计算(high performance computing, HPC)是推动科学技术发展的基础性领域之一,当前,作为超级计算机系统“下一个明珠”的E级高性能计算时代已经来临.面向E级高性能计算的加速器领域成为了全球高端芯片的竞技场.国际上,AMD、英伟达和英特尔公司已经占据这一领域多年.作为国内最早开始自主处理器设计的优势单位之一,国防科技大学一直以来都是高性能加速器领域强有力的竞争者.主要对国防科技大学自主设计的面向E级高性能计算的加速器芯片进行介绍,该芯片采用了CPU+GPDSP的异构融合架构,具备高性能、高效能和高可编程性的特点,有望成为新一代E级超算系统的核心计算芯片.     

用于高性能计算的作业调度能效性研究综述

由于科学研究与商业应用等对高性能计算的需求与日俱增,高性能计算的性能和系统规模得到迅速发展。但是,急剧增长的功耗严重限制了高性能计算系统的设计和使用,使得低功耗技术成为高性能计算领域的关键技术。作为整个系统的核心组件,作业调度系统立足有限的系统资源,对用户提交的应用进行作业-资源分配,其能效性对于整个高性能计算系统的能耗控制与调节起到至关重要的作用。首先介绍主要的能量效率技术和常用的作业调度策略,然后对当前高性能计算作业调度能效性进行分析,并讨论了其面临的挑战及未来发展方向。     

浅析高性能计算应用的需求与发展

高性能计算应用在高性能计算技术的支持下为科技创新做出了巨大贡献,并且和高性能计算技术在相辅相成中不断发展.自2004年以来,中国科学院计算机网络信息中心超级计算中心针对中国科学院在“十一五”期间的高性能计算需求在全院范围内开展了多次调研活动,对中国科学院在“十一五”期间高性能计算的整体需求及各应用领域需求的分布情况有了比较全面的了解,其调研结果对“十一五”中国科学院高性能计算环境建设和高性能计算应用的发展具有良好的借鉴作用.首先介绍了国内外高性能计算应用的发展现状,并结合中国科学院高性能计算环境建设和高性能计算应用的发展情况,分析了“十一五”中国科学院高性能计算的应用需求,最后对我国高性能计算应用的发展前景进行了展望.     

PMSS: A programmable memory system and scheduler for complex memory patterns

HPC industry demands more computing units on FPGAs, to enhance the performance by using task/data parallelism. FPGAs can provide its ultimate performance on certain kernels by customizing the hardware for the applications. However, applications are getting more complex, with multiple kernels and complex data arrangements, generating overhead while scheduling/managing system resources. Due to this reason all classes of multi threaded machines–minicomputer to supercomputer–require to have efficient hardware scheduler and memory manager that improves the effective bandwidth and latency of the DRAM main memory. This architecture could be a very competitive choice for supercomputing systems that meets the demand of parallelism for HPC benchmarks. In this article, we proposed a Programmable Memory System and Scheduler (PMSS), which provides high speed complex data access pattern to the multi threaded architecture. This proposed PMSS system is implemented and tested on a Xilinx ML505 evaluation FPGA board. The performance of the system is compared with a microprocessor based system that has been integrated with the Xilkernel operating system. Results show that the modified PMSS based multi-accelerator system consumes 50% less hardware resources, 32% less on-chip power and achieves approximately a 19x speedup compared to the MicroBlaze based system.     

基于 Slurm 的深度学习高性能计算平台设计及其调度实现技术

传统上,HPC 与解决大规模科学计算和相应大数据紧密结合。伴随着物联网、移动互联网时代的到来,数据呈现出前所未有的爆炸式的增长,给人类对数据的利用方式提出了新的命题与挑战。2012 年,Hinton 采用深度学习的方法以巨大的优势摘取 ImageNet 的桂冠,让人类看到了海量数据与人工智能相结合的巨大价值。HPC 系统天然与深度学习无缝对接,本文将以高性能计算集群为基础,提供搭建一整套高性能的深度学习平台设计思路与实现,并以 Slurm 调度分布式 TensorFlow 进行海量数据的相关的测试实验。     

Perspectives of China’s HPC system development: a view from the 2009 China HPC TOP100 list

The China HPC TOP100 list, an annual report of the 100 most powerful high performance computing (HPC) systems installed in mainland China, has traced the rapid growth of HPC technology in China since its first publication in 2002. This paper introduces the China HPC TOP100 list and reviews the current status of HPC systems in China in terms of system features, manufactures, and areas of application using the data reported in the most recent list, published on November 1st, 2009. We provide further analysis, prediction of future trends, and directions of the development of HPC systems in China referencing historical data accumulated through archived TOP100 lists and other publically available information. We predict that the aggregated Linpack performance of the top 100 HPC systems will reach 10 PFlops in 2011, a single system with 10 PFlops peak performance will appear between 2012 and 2013, the aggregated performance of the top 100 systems will reach 100 PFlops in 2014, and a single system with 100 PFlops peak performance will appear around 2015.     

CCA环境下构件化线性解法器的设计

基于构件的程序设计是解决高性能科学计算软件开发复杂度高、周期长的重要途径.首先介绍了CCA(Common Component Architecture)论坛提出的针对高性能科学计算的构件体系结构.然后介绍了CCA构件程序设计方法,分析了其设计原理和实现思想,并基于CCA环境设计实现了一款偏微分方程线性解法器.对构件化软...     

民机运行大数据分析平台整体架构研究

针对日益增长的民用航空巨量数据,借助大数据存储和分析技术,构建民用航空运行大数据分析平台,可更有效支撑快速响应、航材管理、健康管理等各项民机运行业务。结合目前国内外民用航空领域大数据技术的应用现状,梳理民机运行的业务模式及数据类别,设计并构建民用航空大数据分析平台的整体架构。根据目前民用航空运行业务需求,对民用航空大数据平台的硬件平台的管理节点、数据节点的计算能力等功能性能进行设计,并对民用航空大数据平台的轻量级计算、离线数据计算、实时在线数据处理分析等计算需求进行研究,针对不同的计算方式,提供具体解决途径。最后对民机运行大数据分析平台的业务应用集成及接口技术进行研究。分析表明研究成果有助于提高我国民机运行效率,为民用飞机运行大数据平台提供支撑。     

高可用性冗余实时集群系统的设计与构建

根据实时集群系统的高可用性和实时性要求,考虑集群系统的网络拓扑结构和网络传输性能对系统实时性能的影响,文章设计和构建了一个高可用性冗余实时集群系统,对系统的网络拓扑结构设计进行了阐述,估算了网络的数据传输性能,并讨论了系统并行计算的实现和冗余机组调度策略。经实际测试证明,系统具有较高的可用性和实时性,可作为周期性、高强度、多源浮点信息处理平台。     

Towards highly available and scalable high performance clusters

In recent years, we have witnessed a growing interest in high performance computing (HPC) using a cluster of workstations. This growth made it affordable to individuals to have exclusive access to their own supercomputers. However, one of the challenges in a clustered environment is to keep system failure to the minimum and to achieve the highest possible level of system availability. High-Availability (HA) computing attempts to avoid the problems of unexpected failures through active redundancy and preemptive measures. Since the price of hardware components are significantly dropping, we propose to combine both HPC and HA concepts and layout the design of a HA-HPC cluster, considering all possible measures. In particular, we explore the hardware and the management layers of the HA-HPC cluster design, as well as a more focused study on the parallel-applications layer (i.e. FT-MPI implementations). Our findings show that combining HPC and HA architectures is feasible, in order to achieve HA cluster that is used for High Performance Computing.