高性能计算中的并行I／O技术

1 引言高性能计算能力已经日益成为一个国家经济、科技与国防实力的重要组成部分。由于科学工程计算和大规模商业事务处理需求的牵引,高性能计算中对I/O处理能力的要求简直是无止境的。大规模多媒体应用要求大容量快速存储系统支持,多用户事务处理环境要求快速I/O支持实时访问,而一些重大挑战性科学计算课题更是追求计算机系统具有3T性能(即要求能提供 1 Teraflops计算能力、1 Terabyte主存容量和1 Terabyte/s I/O带宽)。 I/O一直是高性能计算中的瓶颈。典型地,磁盘比主存的速度要慢一万倍到十万倍。近年来,随着大规模集成电路技术和网络技术的飞速发展,CPU的性能大约每三年就有一个较大的飞跃,网络带宽增长更快,但I/O设备的性能受制于机     

HPMR系统KV路由算法设计

提出一种针对HPMR系统的KV路由算法。HPMR系统是MapReduce模型的一个实现,改进了MapReduce模型以适应高性能计算的需求。HPMR的KV路由算法生成KV路由表,所有数据的收发动作将依据该路由表进行。KV路由算法产生的KV路由表直接决定HPMR系统在通信阶段的时间开销。实验结果表明,该KV路由算法产生的KV路由表可以提高HPMR系统的通信性能。     

并行I/O技术在气候数值模式中的应用研究

在气候变化数值模拟工作中,气候数值模式运行效率主要受到计算效率和I/O效率的共同影响。目前,模式计算部分已经基本实现并行,计算效率显著提升。随着气候数值模式时空分辨率的提高,对I/O效率的需求也不断增加,数据并行I/O技术已经成为提高模式整体运行效率的有效方法之一。文中深入分析了BCC_AGCM模式串行I/O算法及NetCDF数据结构特点,采用基于MPI-IO的高层I/O库对模式I/O算法进行并行优化,优化后可支持多类气象要素并行输出,输出效率明显提升。为我国应对气候变化数值模式的运行效率优化工作,进行了有益的技术探索和积累。     

基于R的并行统计计算

随着统计分析中数据规模和复杂性的不断增加,高性能计算也开始在金融、经济和管理等统计计算主导的领域中发挥重要的作用。将对基于R的统计分析中并行计算技术的发展现状和最新进展做一个综述,重点从用户的角度考察R在不同体系结构计算平台上并行统计计算的实现。一个人造和真实应用的测试表明了其应用效果。     

GPU计算在油气勘探中应用前景

油气勘探数据处理工作涉及大量计算,需要高性能计算技术的扶助,目前流行的PC集群在处理工作中存在一些问题,GPU作为一种辅助计算设备能够配合CPU完成一些密集计算的工作.作为一种新兴的高性能计算技术,GPU编程技术的特点使其更适合于中小规模密集型计算环境,因此需要计算机人员在引进该技术时谨慎考虑配置模式,以GPU/CPU协同工作模式有效提升处理系统计算效率.     

并行油藏模拟软件的实现及在国产高性能计算机上的应用

主要介绍了百万网格点规模的精细油藏数值模拟在国产高性能并行计算机与微机机群系统上的应用情况 .针对若干组来自于国内油田的百万网格点实际数据 ,给出了在多种国产并行机环境下的运行结果 ,并作了分析与评价 .在此基础上 ,讨论并行油藏数值模拟软件高效实现过程中遇到的关键技术 ,探讨大型软件并行化过程中经常遇到的瓶颈问题及改进方案     

并行复算：一种面向高性能计算的新的容错方法

Checkpointing是高性能计算领域最常用的容错技术.但是,当处理器数目变大时,这种技术的性能迅速恶化.提出一种在并行计算中容忍单进程故障的新方法:并行复算.这种方法的主要特征是利用冗余处理器的计算能力而不是冗余磁盘的存储能力实现低开销的容错.还提出这种方法的一个优化方法,将并行复算与checkpoint技术相结合,以进一步减小容错开销,并通过举例说明如何开发一个基于并行复算以及其优化方法的并行程序.最后通过实验对该方法进行评估.结果显示,当处理器数目变大时,并行复算的开销低于checkpointing,其优化方法能提供优于并行复算的性能.     

高性能计算数值模拟框架软件研究进展

[背景]本世纪我国超级计算机得到迅速发展,为降低面向超级计算机并行编程难度,高性能编程框架已经成为高性能计算的研究方向之一.[方法]本文简要介绍了高性能数值模拟编程框架的研究目的 ,主要关注国内外结构网格和非结构网格编程框架的发展现状.[结论]面向E级计算机即将到来,框架软件的发展也需针对E级计算机的体系结构特征,调整...     

并行I/O技术研究

从分析提高I／O性能的途径开始，对在分布主存的高性能计算机中利用存储系统并行性来完成数据访问的并行文件系统所涉及到的问题进行了分析和探讨，最后介绍了几个著名的并行文件系统。     

直接模拟Monte Carlo方法并行化研究

传统的直接模拟Monte Carlo(DSMC)方法大部分应用于稀薄气体的数值模拟计算,在较高密度和较大尺度模拟的情况下该方法需要的大计算量限制了其向更广泛领域发展.结合高性能计算发展带来的契机,提出利用并行化作为提升DSMC方法计算效率的手段,以推动更多对DSMC的研究,使其使用范围得到发展.对DSMC方法进行并行化分析,发现其属于不易并行的方法.同时根据分析结果提出了全局网格并行化解决方案,通过数值验证了该并行策略对于DSMC方法在计算效率上确实有显著的提升.     

区域分解对气象模式并行计算速度的影响

通过数值试验分析了区域分解策略对ARPS气象模式并行计算速度的影响,发现无论是否使用编译优化技术,均以分解后数据区域近似为正方形时具有最大的加速比和并行效率。在二级编译优化的情况下,并行速度还和分解方向有关,在y方向上的分解比在x方向上的分解更有利于提高并行效率,而在无优化情况下,并行速度和分解方向几乎无关。并从通信量和编译优化的角度对试验结果进行了讨论和分析。     

高性能并行计算在航空航天CFD数值模拟中的应用

本文介绍了高性能并行计算在CFD数值模拟中的应用。CFD高性能并行计算可扩大求解规模,加快求解速度,是CFD实现高效计算的必然发展趋势。本文通过"数值风洞"的概念分析了CFD高性能计算的应用前景及对高性能计算的需求。通过某乘波飞行器前体并行算例对8～256CPU的CFD大规模并行效率和加速比进行了分析,并将CFD并行计算应用于高温热化学非平衡的返回舱数值计算中。     

并行计算在高超声速流场数值模拟中的应用

采用计算流体力学方法,对高超声速流场进行了多区并行计算研究。基于MPI消息传递库采用Fortran语言编制了CFD并行计算程序,对NS方程采用AUSMPW+格式和LU-SGS方法求解。针对流场采用多区剖分,将每一个子区分配给相应节点进行计算。每一迭代步,相邻子区域间交换边界数据。计算表明,本文所建立的程序和方法是可行的,能够进一步延伸到大规模并行计算和工程应用中。     

并行计算在舰船设计中的应用及展望

概述在舰船设计中基于CFD(计算流体力学)并行计算的发展现状,主要介绍并行计算在CFD领域的应用,分析在舰船设计中并行计算的技术特点,并展望未来并行计算在舰船设计中的应用。     

数值并行计算可扩展性评价与测试

分析了几种可扩展性能评价模型存在的问题,针对实际评价与测试的需要,提出了一种基于等平均负载的数值并行计算可扩展性评价模型．该评价模型对可扩展性能加速比和可扩展性进行了重新定义,给出了使用该模型的进行可扩展加速比和可扩展性测试的方法,结合曲线拟合或并行计算时间模型可以预测并行系统的可扩展性,对NPB BT,SP和矩阵乘法进行了可扩展性预测．     

非线性扩散方程的显式并行计算

在分布共享的多核集群系统中,提出一种求解非线性扩散方程的显式数据分布OpenMP并行计算方法。将数据进行分布式划分后分配到每个OpenMP线程,通过数据拷贝实现同步计算,并设计全局归约算法减少障碍同步次数。性能分析和测试结果表明,该方法在 4核Xeon处理器构成的分布共享集群系统上可扩展到1 024个CPU核,相对于64个CPU核,其加速比为7.06。     

基于规范划分集的并行循环计算划分

计算划分问题是并行编译中最为重要的问题之一.针对并行循环,在数据分布确定的情况下,提出了基于规范集的计算划分算法,具体讨论了规范集的获取方法及综合通信与负载均衡的最优方案选取算法.实验表明,在并行循环处理方面,这一算法与以前几种算法相比更加简单、有效;采用这一算法的p_HPF编译器对数据并行应用问题可以获得良好的加速比和效率.该编译器已在石油领域得到应用.     

进化计算在神经网络学习中的应用

提出两种用于前向神经网络的进化学习算法,一种基于遗传算法,另一种基于进化规则,通过对ＸＯＲ问题和ＩＲＩＳ模式分类问题的学习,证明它们远高于传统ＢＰ算法的性能。     

基于SAMR网格的流体力学不稳定性并行计算

相对于一致加密网格,SAMR网格可以在保持相同数值模拟精度的前提下,大幅度减少网格数目,缩短计算时间。针对惯性约束聚变中的流体力学不稳定性数值模拟,基于JASMIN框架研制了二维多介质流体力学并行SAMR应用程序。在数百个CPU核上模拟了压缩内爆模型,数值模拟结果和并行性能分析显示了应用程序的正确性和并行实现的高效率。     

面向高性能数值计算的并行计算模型DRAM(h)

提出了一个基于存储层次的新并行计算模型DRAM(h)，并在该模型下对两个经典并行数值计算算法的不同实现形式：四种形式并行下三角方程求解(PTRS)和六种形式无列选主元并行LU分解(PLU)，进行了分析．模型分析表明，具有近乎相同时间和空间复杂性的同一算法不同实现形式，在该模型下会有完全不同的存储复杂度．作者在日立公司SR2201MPP并行机、曙光3000超级服务器和中国科学院科学与工程计算国家重点实验室(LSEC)的128节点Linux Cluster等三种并行计算平台上对模型分析结果进行了实验验证．结果表明，该模型分析在绝大多数情况下都能较好地与不同实验平台上的实验结果吻合．个别出现偏差的分析结果，在根据计算平台的存储层次特点修改模型分析的假定后，也能够进行解释．这说明了该模型对不同形式的算法实现进行存储访问模式区分的有效性．对在计算模型中加入指令／线程级并行的可行性和方法的研究是下一步的工作．