异构高性能计算系统Linpack效率受限因素分析

能耗是目前高性能计算系统性能提升的一大挑战。主处理器连接加速器的异构计算技术可以有效提升系统能效,因而被广泛应用于当前高性能计算系统的设计。同等系统规模下,异构计算系统的Linpack效率普遍低于同构系统。针对这一问题,从结构设计的角度,基于真实计算系统的设计参数和性能数据,分析了大规模异构高性能计算系统Linpack效率受限的主要因素及其对结构设计的需求,并构建了针对异构计算系统的Linpack性能模型对分析结论进行了验证。研究成果对异构计算系统Linpack的性能优化以及未来高效异构架构的设计具有一定的指导意义。     

高性能计算与天文大数据研究综述

数据是天文学发展的重要驱动。分布式存储和高性能计算(High Performance Computing,HPC)为应对海量天文数据的复杂性、不规则的存储和计算起到推动作用。天文学研究中多信息和多学科交叉融合成为必然,天文大数据已进入大规模计算时代。高性能计算为天文大数据处理和分析提供了新的手段,针对一些传统手段无法解决的问题给出了新的方案。文中根据天文数据分类和特征,以高性能计算为支撑,对天文大数据的数据融合、高效存取、分析及后续处理、可视化等问题进行了研究,总结了现阶段的技术特点,提出了处理天文大数据的研究策略和技术方法,并对天文大数据处理面对的问题和发展趋势进行了探讨。     

基于IBM1350机群的Linpack快速测试

Linpack是目前测试机群浮点运算性能的通用标准。文中旨在解决Linpack采用通用参数配置时因盲目配置参数多而导致测试周期长的缺陷,提出了一种可大幅度减少测试周期的基于最优化路径的Linpack参数配置策略。IBM1350机群浮点性能的快速测试显示该研究达到了预先设计要求。参数配置规律的深入分析表明该策略对于其它机群性能测试具有借鉴意义。     

Linpack并行性能模型及其预测

通过分析大规模Linpack的主要时间开销,建立关于矩阵规模、网络带宽、下三角方程求解效率以及矩阵乘法效率的Linpack并行性能模型。在神威蓝光和神威4000A上分别对该模型进行可信性验证,结果证明,该模型能较好地估计主要因素的改变对Linpack并行性能的影响,尤其在大规模矩阵情况下预测误差不到1%。     

高性能计算集群的建立及管理

目前,高性能计算集群的管理和性能分析判断,需要管理员不断查看数据和事件才能做出,这势必造成了巨大的管理开销。为了提升高性能计算集群的自动化管理操作性能,本文分析了集群管理系统的优点和缺点,研究了高性能计算集群系统的建立和管理,分析了运行并行程序性能,探讨了如何达到降低集群管理复杂性的目标。     

高性能计算平台的IO性能测试与分析

在高性能计算平台上测试NFS和Lustre文件系统在大规模并行计算环境下的IO速率,根据测试结果分析该实验平台的IO瓶颈并提出改进方案;之后测试本地Cache、并行应用进行IO时的TransferSize和并行程序存取文件的FileSize等因素对分布式文件系统性能的影响,并根据实验结果提出如何合理地部署并行软件以有效地利用本地Cache,以及提出在编写并行程序时设置合适的TransferSize和FileSize以提高IO性能的建议。     

一个实用高性能PC集群的Linpack测试与分析

HPL是Linpack Benchmark的并行版本,是高性能并行计算机系统性能评测的标准测试程序,对公正、全面、系统地评价机器的浮点性能具有重要意义。基于一个8节点的PC集群,测试了该集群的Linpack性能。根据实验数据,得出了集群性能与集群节点数之间近似线性关系的结论,并给出了处理器维数、问题规模与系统性能之间的关系。     

面向高性能应用的MPI大数据处理

针对消息传递接口（MPI）在高性能计算领域的应用场景,为了优化MPI现有数据集中管理模式,增强其对大数据的处理能力,借鉴并行与分布式系统思想,开发设计一套适用于大数据处理的基于MPI的数据存储组件（MPI-DSP）。首先,创建接口函数,以对MPI系统影响最小的方式实现"计算向存储迁移"的设计目标,将文件分配与计算进行分离,使MPI突破大数据文件读取时的网络传输瓶颈。然后,分析阐述设计目标、运行机制、实现策略,通过描述接口函数MPI_Open在MPI环境下的应用,验证设计理念。通过Wordcount实验对比使用MPI-DSP组件与原MPI在数据文件处理方面的时间性能,初步验证了MPI"计算向存储迁移"模式的可行性,使其具备在高性能应用场景下的大数据处理能力。同时分析了MPI-DSP的适用环境和局限性,界定了其应用范围。     

基于集群技术构建电力系统高性能计算平台

高性能计算是解决大规模电力系统分析计算的有效途径。该文介绍如何基于集群技术构建电力系统高性能计算平台。作者以自己的构建过程为例,分析电力系统高性能计算集群的基本体系结构,从硬件、网络和软件三个方面详细解析其高性价比的构建技术。最后,运用基准测试程序(LinPACK、NPB和PMB)对这一高性能计算平台的进行测试,显示了该平台高效的并行计算性能,以及对程序可移植性的良好支持。基于集群技术构建的电力系统高性能计算平台能为真正解决大电网快速、详细的仿真计算奠定基础。     

大数据计算的关键技术浅议

移动互联以及物联网产生的海量的数据,被称为大数据,大数据通过收集、存储、计算可以分析出重要的一些数据,从海量的数据中挖掘出有用的数据是大数据计算的根本目的.本文介绍了大数据计算的几个关键技术.     

电子政务大数据系统应用云计算架构

电子政务数年的建设和发展积累了一定量的政务数据,如何对其进行大规模的综合分析、挖掘和利用,提高政府运作的效率、提高管理和决策水平已成为迫切需要解决的问题。针对这一需求,结合国民经济发展对电子政务大数据综合研究专题进行了分析,提出了一种电子政务大数据云计算的实现架构,讨论了分布式数据计算开源云平台Hadoop于电子政务大数据计算的特性。     

面向人工智能和大数据的高效能计算

【目的】本文主要分析人工智能和大数据应用随着迅速增大的数据规模,给计算机系统带来的主要挑战,并针对计算机系统的发展趋势给出了一些面向人工智能和大数据亟待解决的高效能计算的若干研究方向。【文献范围】本文广泛查阅国内外在超级计算和高性能计算平台进行大数据和人工智能计算的最新研究成果及解决的挑战性问题。【方法】大数据既为人工智能提供了日益丰富的训练数据集合,但也给计算机系统的算力提出了更高的要求。近年来我国超级计算机处于世界的前列,为大数据和人工智能的大规模应用提供了强有力的计算平台支撑。【结果】而目前以超级计算机为代表的高性能计算平台大多采用CPU+加速器构成的异构并行计算系统,其数量众多的计算核心能够为人工智能和大数据应用提供强大的计算能力。【局限性】由于体系结构复杂,在充分发挥计算能力和提高计算效率方面存在较大挑战。尤其针对有别于科学计算的人工智能和大数据领域,其并行计算效率的提升更为困难。【结论】因此需要从底层的资源管理、任务调度、以及基础算法设计、通信优化,到上层的模型并行化和并行编程等方面展开高效能计算的研究,全面提升人工智能和大数据应用在高性能计算平台上的计算能效。     

基于云计算的大数据处理技术

为解决大数据处理的瓶颈,分析了大数据及云计算的关键技术,论述了大数据和云计算之间的关系,利用云计算在数据存储、数据管理和虚拟化等方面的技术优势,构建了基于云计算的大数据管理和处理模式,为大数据的研究及应用提供了新的思路和技术基础。     

高性能集群系统测试与性能分析

以IBM Blade Center高性能集群系统的性能测试与分析为背景,在对该高性能集群系统测试的基础上,研究了大规模Linux集群上并行程序性能的优化方法。针对该集群系统的硬件特征,编写了以矩阵相乘的Cannon算法为基础的并行性能测试程序,通过在该集群系统3种不同并行环境下（分布式并行、共享内存并行以及混合式并行）对性能测试程序的测试和分析,提出了优化程序性能的准则,展现了该高性能平台的效率,为进一步的开发研究提供了基础。     

高性能分布计算的数据管理与优化

在高性能计算程序对海量分布存储数据的操控中,有效的数据管理很重要。该文提出一个新的高性能分布计算的数据管理与优化系统,它包含一个元数据管理系统和存储系统,提供一个容易使用且能自动进行存储访问优化的平台。该平台采用的多存储资源体系结构能够满足性能和存储容量需求,并能自适应地利用当前的I/O优化方法。     

飞行试验大数据技术发展及展望

现代航空武器装备综合化和信息化程度越来越高,飞行试验测试数据的种类增多,测试数据量剧增,飞行试验进入了大数据时代;试飞大数据的来临,对试验数据的获取、记录、传输和处理等传统技术及模式产生了强大的冲击,也提出了严峻的挑战;文章在简要介绍大数据概念及国外研究应用现状的基础上,通过总结分析飞行试验数据的新特征、新需求,提出了“试飞大数据”的概念,得出飞行试验数据是典型大数据的结论;按照试飞测试流程和大数据技术范畴,重点分析了试飞大数据技术中的数据获取、交换、记录、传输、监控、处理、存储等关键技术,最后,对试飞大数据技术的应用前景进行了展望.     

高性能机群计算本科教学研究

针对目前高性能机群人才需求旺盛而高校对高性能机群计算知识普及不够的现状,以培养工程实践性机群系统管理人员为目标,阐述面向高校计算机专业本科生开设高性能机群计算课程的教学目标;并进行课程设计,包括教学内容及教材选取、课时安排以及教学方法设计。北京工业大学的教学实践表明,上述课程设计取得了较好的教学成效。