使用MPI的并行I/O实现及性能分析

论文讨论了并行环境中I/O的基本方法——串行I/O方法和并行I/O方法,并使用MPI-1及MPI-2对这两种方法进行了实现。分析了不同的实现方法对I/O带宽产生的影响。通过理论分析和实验表明,基于MPI-2的并行I/O实现方法与其它I/O实现方法相比,可得到更高的I/O带宽,是解决I/O性能问题的有效途径。     

并行I/O技术研究

从分析提高I／O性能的途径开始，对在分布主存的高性能计算机中利用存储系统并行性来完成数据访问的并行文件系统所涉及到的问题进行了分析和探讨，最后介绍了几个著名的并行文件系统。     

新型并行I/O服务模型：IDDIO

并行Ｉ／Ｏ服务模型是将并行Ｉ／Ｏ子系统提供的在物理Ｉ／Ｏ带宽高效地转化为用户实际Ｉ／Ｏ带宽的关键。文中针对ＤＤＩＯ服务模型对小尺寸Ｉ／Ｏ访问的服务性能改善较小和通信开销过大的局限性,提出了新的ＩＤＤＩＯ服务模型,ＩＤＤＩＯ模型针对并行科学计算应用中同有求和独立请求的特点采用了统一的集成式界面,同时对大尺寸、小尺寸Ｉ／Ｏ访问提供了较好的优化,并采用打包、流水等技术降低了通信开销,在一定程度上消除ＤＤ     

MPP的并行I／O子系统

ＭＰＰ的峰值速度可望在近年内达到每秒十万亿次，主要用于大数据量的计算。所以，如果ＭＰ中的Ｉ／Ｏ性能不能得到迅速提高，ＭＰＰ的整体性能将会肥到严重影响。也就是说，Ｉ／Ｏ性能决定着ＭＰＰ的总体性能。     

并行文件系统与并行I/O研究

集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径.论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略.     

并行文件系统扩容与I/O节点负载平衡策略

在规模并行处理系统ＭＰＰ商业化应用中,并行文件系统容量与Ｉ／Ｏ节点的负载平衡一直是挖掘整个系统并行性,进而提高系统性能的关键问题之一。本文从分析Ｐａｒａｇｏｎ大规模并行处理系统的体系结构和并行文件系统的体系结构出发,给出了并行文件系统的扩容策略,使用ＭＰＰ系统的Ｉ／Ｏ节点平衡负载理论模型,给出了实际工程应用中的负载平衡策略。     

基于MPI的并行I/O方法

基于MPI-2规范的并行I/O方法,以并行矩阵乘法问题为例,比较了并行I/O和串行I/O的性能,给出了并行I/O方法的应用实例。     

并行文件系统与并行I／O研究

集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径。论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略。     

基于连接管理的并行I／O数据库系统的研究

I／O和网络开销是数据库系统主要的性能瓶颈，本文针对数据库I／O请求的特点，讨论在大量并发I／O请求到来的情况下如何有效地对这些I／O请求进行重组、排序和合并，以便提高数据库系统的总体性能。     

基于FFT并行算法的并行I/O性能的研究

该研究对象为并行计算机的I/O性能,将任务分发给不同的处理结点,通过进程间的相互协调、有序合作完成FFT并行算法的实现。在完成任务的过程中,通过记录I/O时间与计算时间,求出I/O性能与计算性能,通过分析比较数据从而认识I/O性能的重要性。研究计算机的I/O性能对于如何进一步改进系统以及提高资源利用率具有重要意义。     

RAID的并行I／O调度算法分析

由于越来越多的应用受限于I／O，存储系统正起着越来越重要的作用，磁盘阵列RAID是一种提供高性能I／O的最常见存储设备，本文分析了RAID并行I／O调度算法的I／O执行时间和磁盘利用率，为合理配置高性能阵列提供了依据。     

并行数据库系统中并行I／O的研究与实现

并行Ｉ／Ｏ是基于无共享结构的并行数据库系统提高性能的有效途径之一。它通过并行磁盘服务和网络传输并行化提供了高带宽Ｉ／Ｏ。文章设计实现了基于无共享结构的并行数据库系统的并行Ｉ／Ｏ,探讨了设计并行Ｉ／Ｏ时的几个关键问题及实现技术。     

并行计算机I／O子系统结构分析

本文分析了并行计算机Ｉ／Ｏ子系统逻辑模型,并从Ｉ／Ｏ子系统物理接口、Ｉ／Ｏ子系统分布与互连以及Ｉ／Ｏ结点内部结构三方面详细对比、分析子Ｉ／Ｏ子系统的物理实现。     

I/O受限的并行加速比模型与可扩展I/O体系结构

为了缓解I/O瓶颈问题,可以从应用程序、可扩展算法、编译器和语言、运行时库、操作系统和体系结构六方面展开研究。其中,I/O体系结构是所有技术途径的关键支撑。当前并行I/O性能分析缺乏科学的理论模型为I/O体系结构设计提供理论依据。本文针对并行计算机系统的可扩展性问题,研究了I/O负载对并行计算机系统可扩展性的影响,建立了I/O受限的并行加速比性能模型,对目前大规模并行计算机系统中三种常用I/O体系结构的可扩展性进行了分析;以此为理论依据,提出了一种面向高性能计算的可扩展并行I/O系统结构。同时,还提出了几种有效降低I/O操作服务时间的策略,从而达到增强系统可扩展性的目的,为后续研究奠定了基础。     

高性能计算中的并行I／O技术

1 引言高性能计算能力已经日益成为一个国家经济、科技与国防实力的重要组成部分。由于科学工程计算和大规模商业事务处理需求的牵引,高性能计算中对I/O处理能力的要求简直是无止境的。大规模多媒体应用要求大容量快速存储系统支持,多用户事务处理环境要求快速I/O支持实时访问,而一些重大挑战性科学计算课题更是追求计算机系统具有3T性能(即要求能提供 1 Teraflops计算能力、1 Terabyte主存容量和1 Terabyte/s I/O带宽)。 I/O一直是高性能计算中的瓶颈。典型地,磁盘比主存的速度要慢一万倍到十万倍。近年来,随着大规模集成电路技术和网络技术的飞速发展,CPU的性能大约每三年就有一个较大的飞跃,网络带宽增长更快,但I/O设备的性能受制于机