并行I/O技术研究

从分析提高I／O性能的途径开始，对在分布主存的高性能计算机中利用存储系统并行性来完成数据访问的并行文件系统所涉及到的问题进行了分析和探讨，最后介绍了几个著名的并行文件系统。     

高性能计算中的并行I／O技术

1 引言高性能计算能力已经日益成为一个国家经济、科技与国防实力的重要组成部分。由于科学工程计算和大规模商业事务处理需求的牵引,高性能计算中对I/O处理能力的要求简直是无止境的。大规模多媒体应用要求大容量快速存储系统支持,多用户事务处理环境要求快速I/O支持实时访问,而一些重大挑战性科学计算课题更是追求计算机系统具有3T性能(即要求能提供 1 Teraflops计算能力、1 Terabyte主存容量和1 Terabyte/s I/O带宽)。 I/O一直是高性能计算中的瓶颈。典型地,磁盘比主存的速度要慢一万倍到十万倍。近年来,随着大规模集成电路技术和网络技术的飞速发展,CPU的性能大约每三年就有一个较大的飞跃,网络带宽增长更快,但I/O设备的性能受制于机     

并行文件系统与并行I/O研究

集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径.论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略.     

产出率并行加速比模型

针对并行计算系统的性能度量问题,在产出率度量模型的基础上,建立综合系统可靠性、通信、并行化控制和成本投入要素的产出率并行加速比模型,分析总结模型中各要素影响产出率并行加速比的关键因子,包括容错开销因子、通信开销因子、并行控制开销因子及成本开销因子,对上述关键因子进行模拟实验,以验证该模型的有效性。     

并行I/O技术在气候数值模式中的应用研究

在气候变化数值模拟工作中,气候数值模式运行效率主要受到计算效率和I/O效率的共同影响。目前,模式计算部分已经基本实现并行,计算效率显著提升。随着气候数值模式时空分辨率的提高,对I/O效率的需求也不断增加,数据并行I/O技术已经成为提高模式整体运行效率的有效方法之一。文中深入分析了BCC_AGCM模式串行I/O算法及NetCDF数据结构特点,采用基于MPI-IO的高层I/O库对模式I/O算法进行并行优化,优化后可支持多类气象要素并行输出,输出效率明显提升。为我国应对气候变化数值模式的运行效率优化工作,进行了有益的技术探索和积累。     

并行文件系统与并行I／O研究

集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径。论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略。     

新型并行I/O服务模型：IDDIO

并行Ｉ／Ｏ服务模型是将并行Ｉ／Ｏ子系统提供的在物理Ｉ／Ｏ带宽高效地转化为用户实际Ｉ／Ｏ带宽的关键。文中针对ＤＤＩＯ服务模型对小尺寸Ｉ／Ｏ访问的服务性能改善较小和通信开销过大的局限性,提出了新的ＩＤＤＩＯ服务模型,ＩＤＤＩＯ模型针对并行科学计算应用中同有求和独立请求的特点采用了统一的集成式界面,同时对大尺寸、小尺寸Ｉ／Ｏ访问提供了较好的优化,并采用打包、流水等技术降低了通信开销,在一定程度上消除ＤＤ     

基于MPI的并行I/O方法

基于MPI-2规范的并行I/O方法,以并行矩阵乘法问题为例,比较了并行I/O和串行I/O的性能,给出了并行I/O方法的应用实例。     

基于Linux的SMP机群环境中并行I/O模型研究

提出了一个基于数据通路的波浪推进式并行I/O模型框架,并在基于Linux的SMP机群系统中,根据波浪推进式并行I/O模型框架对各个数据通路进行建模,具体分析了这个波浪推进式并行I/O模型,从思路上解决了刻画并行I/O性能的并行I/O模型问题。     

集群计算系统中并行I/O模拟器的研究与设计

论文对集群计算系统中的并行I／O技术作了分析,在理论研究基础上提出并行I／O模拟器的框架模型及研究、设计该模拟器的思路,并开发了一个并行I／O模拟器CLU—PIO—SIM的部分功能。     

并行PC系统结构及其I／O性能评价

传统的微／小型计算机采用共享总线结构，其带宽，扩展性，可用性，可靠性等受到限制，因此，总线形成了系统内部通信瓶颈，并行PC结构是一种新型的，以交换网络为中心的、高效的系统结构，它解决了传统PC机存在的不足和缺陷，本文对并行PC系统结构了介绍，然后采用M／M／1排队模型，针对传统PC和并行PC的I／O性能进行了评价与比较，最后给出结论及建议。     

基于适配器驱动层次实现的可扩展并行I／O研究

本文首先简要介绍了Windows存储设备驱动程序层次模型，然后基于一种EIDE扩展卡详细描述了在适配器驱动程序层次实现并行I／O的方法和原理，并给出了一个软阵列的实例，最后结合I／O测试结果对软阵列性能特点进行了评价。     

基于FFT并行算法的并行I/O性能的研究

该研究对象为并行计算机的I/O性能,将任务分发给不同的处理结点,通过进程间的相互协调、有序合作完成FFT并行算法的实现。在完成任务的过程中,通过记录I/O时间与计算时间,求出I/O性能与计算性能,通过分析比较数据从而认识I/O性能的重要性。研究计算机的I/O性能对于如何进一步改进系统以及提高资源利用率具有重要意义。     

Hello ADIOS: the challenges and lessons of developing leadership class I/O frameworks

Applications running on leadership platforms are more and more bottlenecked by storage input/output (I/O). In an effort to combat the increasing disparity between I/O throughput and compute capability, we created Adaptable IO System (ADIOS) in 2005. Focusing on putting users first with a service oriented architecture, we combined cutting edge research into new I/O techniques with a design effort to create near optimal I/O methods. As a result, ADIOS provides the highest level of synchronous I/O performance for a number of mission critical applications at various Department of Energy Leadership Computing Facilities. Meanwhile ADIOS is leading the push for next generation techniques including staging and data processing pipelines. In this paper, we describe the startling observations we have made in the last half decade of I/O research and development, and elaborate the lessons we have learned along this journey. We also detail some of the challenges that remain as we look toward the coming Exascale era. Copyright © 2013 John Wiley & Sons, Ltd.     

并行计算机I／O子系统结构分析

本文分析了并行计算机Ｉ／Ｏ子系统逻辑模型,并从Ｉ／Ｏ子系统物理接口、Ｉ／Ｏ子系统分布与互连以及Ｉ／Ｏ结点内部结构三方面详细对比、分析子Ｉ／Ｏ子系统的物理实现。