并行I/O中大型多维数据集合分配策略研究

在大型多维数据集合处理中,对多维数据集合的拆分及其在磁盘上的存储分配是重要的研究课题。由于磁盘的机械运动已形成了数据I/O时的速度瓶颈,因此通过采用并行I/O技术,将多维数据进行有效的拆分,并在多个磁盘间进行分布存储是克服瓶颈的有效办法。基于此,论文中提出了一种多维数据的循环拆分方法,它是对二维数据集合循环拆分分配方法的扩展,性能比较与分析表明了新算法的有 效性。     

数据调度器可自动重构的并行I/O系统研究

为了提高并行I/O系统的数据调度器的可靠性,提出数据调度器自动重构机制(DD_AR),同时在数据调度器可自动重构机制的基础上进行并行I/O系统的设计,实验结果表明机制的有效性.     

I/O受限的并行加速比模型与可扩展I/O体系结构

为了缓解I/O瓶颈问题,可以从应用程序、可扩展算法、编译器和语言、运行时库、操作系统和体系结构六方面展开研究。其中,I/O体系结构是所有技术途径的关键支撑。当前并行I/O性能分析缺乏科学的理论模型为I/O体系结构设计提供理论依据。本文针对并行计算机系统的可扩展性问题,研究了I/O负载对并行计算机系统可扩展性的影响,建立了I/O受限的并行加速比性能模型,对目前大规模并行计算机系统中三种常用I/O体系结构的可扩展性进行了分析;以此为理论依据,提出了一种面向高性能计算的可扩展并行I/O系统结构。同时,还提出了几种有效降低I/O操作服务时间的策略,从而达到增强系统可扩展性的目的,为后续研究奠定了基础。     

一种集群计算系统中并行I/O文件存储分配策略

现代计算机系统性能已经由受限于CPU转变为受限于I／O，近年来研究人员对高性能计算中的并行I／O问题进行了深入研究．本论文的主要工作是对集群计算中的并行I／O子系统进行研究，提出一种文件拆分与存储分配的新策略，即：已知知识的文件拆分与分配方法(KKFDA)，该方法保证文件存储方式与访问方式的一致性，达到了提高文件访问时的本地命中率、缩短访盘响应时间的目的．算法设计与实验证明了方法的有效性．     

并行科学计算应用中采样数据的聚集I/O

采样数据的并行I/O制约一些并行应用的运行效率。设计、实现了采样数据的聚集并行I/O方法。该方法在客户端部署采样数据缓存,然后合并数据到输出进程,再存储到文件。为了保障并行程序长时间运行过程中采样数据的存储一致性,该方法在JASMIN框架中监测应用程序的运行状态,当并行程序发生负载平衡或者重启动时刷新或者恢复数据。I/O过程中,进一步使用HDF5的分块I/O提高列存储数据的读写效率。测试表明,新方法不仅具有较好的可扩展性,还能在具有负载平衡与重启动等复杂功能的并行应用中提高采样数据的并行 I/O 效率7.5倍以上。     

并行文件系统与并行I/O研究

集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径.论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略.     

并行I/O技术研究

从分析提高I／O性能的途径开始，对在分布主存的高性能计算机中利用存储系统并行性来完成数据访问的并行文件系统所涉及到的问题进行了分析和探讨，最后介绍了几个著名的并行文件系统。     

并行I/O中一种基于服务时间最小变化的文件分配策略

论文中对于文件访问的服务时间进行了较深入的研究,提出一种并行I/O文件分配算法——启发式文件分类分配策略,它在负载基本均衡前提下,按照相似的访问服务时间对每个待分配的数据文件进行磁盘分配。通过对启发式文件分类分配策略与已有的贪婪文件分配法进行实验比较,结果表明:系统处理重负载时,访问响应时间提高了30%左右,而且数据访问速率越高,由启发式文件分类分配策略所提高的性能就越明显。     

自主协助动态并行I/O调度策略研究

随着处理器速度和网络传输速度的快速提升，I／O成为限制计算机性能的一大瓶颈，并行I／O提供了解决这一问题的有效途径。在并行I／O的实现中，数据访问调度策略对系统的性能有着重要的影响。文章通过对集群计算中现有I／O数据访问调度策略的研究，针对调度器瓶颈问题，提出了自主协助动态I／O调度策略，实验结果表明了所提出策略的有效性。     

基于适配器驱动层次实现的可扩展并行I／O研究

本文首先简要介绍了Windows存储设备驱动程序层次模型，然后基于一种EIDE扩展卡详细描述了在适配器驱动程序层次实现并行I／O的方法和原理，并给出了一个软阵列的实例，最后结合I／O测试结果对软阵列性能特点进行了评价。     

Scalable Data Assignment Algorithm of Parallel I/O for Distributed Heterogeneous Computing

In order to improve the efficiency of storing files to disks and meet the demands of,high availability and scalability on distributed heterogeneous computing environment, two new file assignment strategies are proposed. One is named the available percent decision-making, and the other is the combination of subsection select and awailable percent decision-making. Experimental results show the advantages of new algorithms.     

新型分布式计算系统中的异构任务调度框架

随着大数据和机器学习的火热发展,面向机器学习的分布式大数据计算引擎随之兴起.这些系统既可以支持批量的分布式学习,也可以支持流式的增量学习和验证,具有低延迟、高性能的特点.然而,当前的一些主流系统采用了随机的任务调度策略,忽略了节点的性能差异,因此容易导致负载不均和性能下降.同时,对于某些任务,如果资源要求不满足,则会导...     

网格计算环境下分布并行计算的一种实现方法

网格计算为人们处理很多复杂问题提供了新方法。文章利用GlobusToolkit来构建网格计算环境,并把它扩展为分布并行计算的支撑环境,为实现分布并行计算提供了新方法。讨论了任务分布、系统通信和容错机制等关键问题。最后给出了基于网格计算环境下的一个分布并行计算实例,取得了令人满意的实验结果。     

CPU-GPU异构计算环境下的并行T近邻谱聚类算法

谱聚类是数据挖掘领域最常用的聚类算法之一,但对于如何利用多核CPU与资源有限的众核加速器设计并实现一个在异构单节点上能够处理大规模数据集的高效谱聚类算法,目前尚无理想的解决方案.PSCH(parallel spectral clustering for hybrids)算法是专为CPU-GPU异构计算环境设计的并行T近邻(T-nearest-neighbors, TNN)谱聚类算法,通过分块计算相似性矩阵打破了GPU设备内存的限制,所能处理的数据集规模仅受限于CPU主存的容量.PSCH算法中使用CUDA设计实现双缓冲轮转4段流水机制,通过重叠计算与传输在打破存储瓶颈的同时保证了高计算性能.PSCH算法采用隐式重启动Lanczos方法(implicitly restarted Lanczos method, IRIM)在异构硬件上计算稀疏特征矩阵的特征分解,减轻了特征分解步骤的计算瓶颈.PSCH算法在配有一块GTX 480 GPU的单节点上能够对百万以上规模的数据集进行聚类,并对实验中的4个数据集取得了相对于使用16进程的MPI并行谱聚类PSC算法2.0~4.5倍的性能.     

面向异构计算的高性能计算算法与软件

研发适应国产异构计算环境的高性能计算算法与软件是非常重要的课题,对我国高性能计算软件研发匹配高性能计算硬件高水平发展的速度具有重要意义.本文首先简要介绍高性能计算应用软件的现状、趋势和面临挑战,并对几类典型高性能计算应用软件开展并行计算算法特征分析,涵盖了宇宙N体模拟、地球系统模式、计算材料相场动力学、分子动力学、量子计算化学和格点量子色力学等多个问题、尺度和领域.其次,我们讨论了面向国产异构计算系统的对策,提炼出若干典型应用算法和软件的共性问题,涉及核心算法、算法发展、优化策略等.最后,本文面向异构计算体系结构对高性能计算算法与软件进行了总结.     

面向异构计算的高性能计算算法与软件

研发适应国产异构计算环境的高性能计算算法与软件是非常重要的课题,对我国高性能计算软件研发匹配高性能计算硬件高水平发展的速度具有重要意义.首先,简要介绍高性能计算应用软件的现状、趋势和面临挑战,并对几类典型高性能计算应用软件开展并行计算算法特征分析,涵盖了宇宙N体模拟、地球系统模式、计算材料相场动力学、分子动力学、量子计...     

集群计算并行I/O中动态文件分配策略

针对集群计算系统中并行I／O文件分配问题进行了研究,提出一种新的动态文件分配算法一启发式负载与服务时间变化综合平衡策略。该策略将所需要的访问服务时间相似的文件分配到集群系统的同一结点磁盘上,并保证每个磁盘上的负载值不超过负载平衡的极限值,从而在所有结点磁盘间既基本实现负载均衡,又使每个磁盘上文件间的服务时间变化最小化。实验结果表明了该策略在性能提高方面的有效性。     

异构型计算与并行程序设计环境

异构型计算能有效地利用多种不同的高性能计算机，以满足大型计算问题的不同计算需求。本文着重讨论了支持异构型计算的并行程序设计环境所需具备的功能，并以目前最流行的ＰＶＭ和Ｅｘｐｒｅｓｓ系统为例进行说明。     

面向边缘智能计算的异构并行计算平台综述

边缘智能计算对硬件资源的需求复杂多元,传统计算平台难以为继,异构并行计算平台成为边缘智能算法落地的关键途径之一。以深度学习算法和边缘计算为牵引,对异构并行计算平台展开研究。一方面,阐述了传统计算平台适配实现边缘智能计算的优缺点,指出边缘端应用场景中传统计算平台算力与功耗矛盾突出等局限性,并以指令模型、通讯机制和存储体系三个关键技术为线索梳理技术发展脉络。另一方面,从运算速度、功耗等角度重点对比分析了近年来典型异构平台较新的代表性产品,然后针对不同应用场景和约束条件给出了异构平台的选择建议：优先选择CPU+X组合的异构平台。功耗要求严格约束下的应用建议优先选择CPU+FPGA组合;功能迭代更新快的场景建议优先选择CPU+GPU组合;算法成熟且对实时性和功耗均具有高要求的应用优先选择ASIC计算平台。提出了异构并行计算平台在指令模型统一、通讯机制轻量化、存储体系灵活性以及开发生态完备化四个方面的问题与挑战,期望能为该领域研究人员带来一定的启发。