多流并发I/O结点实现技术研究

当微处理器和互连网速度快速提高的同时,受限于机电等因素的I／O性能却难以同步增长,因而许多应用程序如天气预报、石油地震数据分析等在MPP上运行时文件I／O总是瓶颈。为了提高I／O性能,研究了MPP系统中多流并发I／O结点设计、实现方案,包括单PCI、多PCI总线多流并发结构与实现技术和设备与互连网间数据直传的方法及设计思想。     

新颖的可扩展I／O设备

MPP机如何有效高速地组建I／O子系统,为用户提供可靠的I／O带宽,一直是MPP机研制中的一大难点,为此,应而生了可扩展I／O设备,旨在妥善解决I／O的瓶颈问题,本文介绍了可扩展I／O设备当前的基本情况,体系结构和网络控制器的主要功能,以及可扩展I／O设备（SIOF）呈现给用户的API接口和实现过程。     

一种独立式I/O虚拟化方法研究

当前虚拟化系统中的设备仿真过程与I/O指令串行执行,无法发挥真实体系结构中直接存储器访问、异步I/O等加速I/O访问技术的性能优势,致使虚拟平台I/O性能与真实I/O性能存在一定差距。针对该问题,提出一种独立式I/O虚拟化方法,通过将I/O仿真活动(如磁盘读写)分离成一个独立的进程,虚拟机监控器(VMM)只保留相应的接口,达到将VMM与I/O设备分离实现仿真与指令并行化执行的目的,并基于QEMU平台实现该方法。实验结果表明,采用该方法后的QEMU I/O读写性能优于原有I/O子系统。由于I/O指令不必再等待I/O仿真的结束,因此在提高CPU指令执行速度的同时,能够有效提高4.9%的磁盘读取速度及9.2%的VGA测试基准软件Viewpref得分。     

集群环境下I/O文件传输调度器的设计与实现

近年来研究人员对高性能计算中的并行I/O问题进行了深入研究,然而这些研究主要针对MPP问题,而对集群计算机系统中并行I/O问题的研究不多。因此,对于集群计算中的并行I/O系统进行研究是一个重要的研究课题。对集群计算中的并行I/O传输调度效率进行研究,设计了一个文件传输调度器,可以实现文件传输最快捷,节点资源最大利用,显著提高I/O节点吞吐率和反应时间。经过大量数据的测试和实验证明该调度器的有效性和适用性。     

基干MPI的并行I/0方法

基于MPI-2规范的并行I/O方法,以并行矩阵乘法问题为例,比较了并行I/O和串行I/O的性能,给出了并行I/O方法的应用实例.     

关于I/O模拟的讨论

详细分析Windows的I/O机制,提出了分别在用户级、系统级、驱动级的I/O模拟操作,通过实际案例和源代码分享在I/O模拟上的得失,着重介绍鼠标与键盘的模拟。     

使用MPI的并行I/O实现及性能分析

论文讨论了并行环境中I/O的基本方法——串行I/O方法和并行I/O方法,并使用MPI-1及MPI-2对这两种方法进行了实现。分析了不同的实现方法对I/O带宽产生的影响。通过理论分析和实验表明,基于MPI-2的并行I/O实现方法与其它I/O实现方法相比,可得到更高的I/O带宽,是解决I/O性能问题的有效途径。     

一种基于对象的多媒体存储系统优化策略

设计一个实用的分布式多媒体服务系统,存储子系统是其中的一个研究重点.根据多媒体系统的存储特点,从全新的视角提出一种存储子系统设计方案--基于对象的多媒体存储系统(Multimedia Object-based Storage System,MOSS),并分析了MOSS的系统架构和工作流程.与传统的多媒体存储技术相比,对象存储不仅能有效地改善系统I/O性能,还具有较好的安全性.以对象存储原型系统为基础,讨论了热点对象文件的分布和均匀分块优化策略.通过建立与系统相对应的数学模型,对数传率、I/O请求丢失率等性能指标作了定性分析.该研究工作对消除多媒体服务系统I/O瓶颈、进行存储子系统设计具有实际的指导意义.     

并行文件系统I/O特征

并行文件系统是并行计算系统的存储子系统,I/O性能是并行计算系统研究的重要方面.本文分析了并行文件系统I/O研究的难点,研究了并行文件系统的I/O特征和关键技术,指出了并行文件系统I/O性能研究未来的研究方向,为并行计算系统的设计和优化提供重要参考.     

文件I/O函数和标准I/O库函数的读写效率研究

首先分别介绍了文件I/O和标准I/O库的相关函数和实现细节,提出了一系列有关文件读写效率的猜想,然后基于Linux平台设计实验并验证了提出的猜想,最后比较了文件I/O函数和标准I/O库函数,并总结了各自的适用场合。     

基于MPI的并行I/O方法

基于MPI-2规范的并行I/O方法,以并行矩阵乘法问题为例,比较了并行I/O和串行I/O的性能,给出了并行I/O方法的应用实例。     

I/O系统性能测评与分析

输入输出系统(I/O系统)作为计算机系统中的一个重要组成部分,其性能的好坏对CPU的性能有很大的影响,因此本文从I/O系统基本概述开始介绍,并采用了模型模拟和实际测量的方法来衡量I/O系统性能,并做了相关的评价分析.     

基于单根I/O虚拟化的多根I/O资源池化方法

虚拟化技术在为现代数据中心提供高效的服务器整合能力和灵活的应用部署能力的同时,也对数据中心服务器的I/O系统设计提出了新的需求,现有I/O资源与服务器紧密绑定的I/O体系架构将产生成本上升、资源冗余、I/O连线复杂化等一系列问题.针对上述问题,提出了一种基于单根I/O虚拟化协议(single root I/O virtualization,SR-IOV)的多根I/O资源池化方法:基于硬件的多根域间地址和ID映射机制,实现了多个物理服务器对同一 I/O设备的共享复用,有效减少单体服务器所需的设备数量和连线数量,并进一步提高服务器密度;同时提出虚拟I/O设备热插拔技术和多根共享管理机制,实现了虚拟I/O资源在服务器间的实时动态分配,提高资源的利用效率.提出的方法在可编程逻辑器件(fieid-programmable gate array,FPGA)原型系统中进行了验证,其评测表明,方法能够在实现多根I/O虚拟化共享的同时,保证各个根节点服务器获得近乎本地直连设备的I/O性能.     

云环境下网络I/O虚拟化的研究与改进

云计算对网络的共性需求体现在无感知服务、资源动态适配、可靠性保障、虚拟化和安全性等方面,然而,虚拟化作为云计算数据中心的关键技术,就是最大化有限的物理资源提供有效的传输服务.为了解决高速网络I/O虚拟化在面临I/O密集的应用时导致的I/O性能降低问题,论文提出了网络I/O性能的优化方法:一种分层处理I/O调度的网络虚拟化模型,对云平台下的VM应用进行递进式的优化I/O策略.实验结果证明提出的模型能够提高网络I/O的性能并提高硬件资源的充分利用.     

一种基于虚拟机的高效磁盘I/O特征分析方法

于磁盘系统的机械运动本质,磁盘系统I/O往往会成为计算机系统的性能瓶颈.为了有效地提高系统性能,收集和分析应用系统的磁盘I/O特征信息将成为性能优化工作的重要基础.与以往I/O特征分析方法不同,给出了一种基于Xen 3.0虚拟机系统的磁盘I/O特征在线分析方法.在虚拟机环境下,该磁盘I/O特征采集方法可以透明地应用于任意无须修改的操作系统.该方法可以高效地在线采集多种基本I/O特征数据,其中包括:磁盘I/O块大小、I/O延迟、I/O时间间隔、I/O空间局部性、时间局部性以及磁盘I/O操作热点分布.通过测试和分析,该在线I/O分析方法有着较小的系统开销,并且对应用系统I/O性能的影响很小.此外,还给出了在大文件拷贝、基于Filebench的filemirco和varmail等工作负载下的I/O特征分析结果.     

高性能计算机磁盘子系统的预读技术

本文讨论了一种面向设备级的磁盘预读技术。旨在减少磁盘旋转延迟的影响,提高磁盘子系统的I/O传输率。     

GRAPES区域模式的输入输出分析和优化

新一代全球/区域多尺度统一的同化与数值预报系统Global/Regional Assimilation and PreEdiction System(GRAPES)是中国气象局(China Meteorological Administration,CMA)自主研发的数值天气预报软件.随着对模式分辨率和预测时效性要求的提高,GRAPES的输入输出(I/O)性能成为了一个重要的瓶颈.分析了GRAPES区域模式的I/O行为,提出并设计实现了一个高性能I/O框架.该框架采用二进制编码以及多I/O通道技术实现了灵活可配置的输出方式.同时,通过非堵塞通信的方式实现了异步I/O,隐藏了I/O与通信的开销.工作在曙光"派"超级计算机上进行了测试,结果显示该框架不仅可以提高I/O性能达到10倍以上,也可以减少性能抖动带来的性能不确定性问题.     

基于FFT并行算法的并行I/O性能的研究

该研究对象为并行计算机的I/O性能,将任务分发给不同的处理结点,通过进程间的相互协调、有序合作完成FFT并行算法的实现。在完成任务的过程中,通过记录I/O时间与计算时间,求出I/O性能与计算性能,通过分析比较数据从而认识I/O性能的重要性。研究计算机的I/O性能对于如何进一步改进系统以及提高资源利用率具有重要意义。     

存储系统负载自相似性研究综述

I/O突发是造成I/O瓶颈的一个主要原因,研究I/O负载中普遍存在的突发性并对负载进行精确合成,对存储系统设计及其性能评价具有重要意义。对实际I/O负载的研究表明,传统的泊松假定难以准确地描述长时间范围内的I/O突发行为。研究发现,I/O突发在不同时间尺度下具有相似性,即I/O负载具有自相似性,因此,自相似模型被用来刻画I/O负载中的长相关性。针对I/O负载自相似参数估计,总结了各种常用的时域和频域估值方法。着重对已有的I/O负载合成模型进行了剖析,讨论了各种自相似模型、多分形模型以及alpha稳定模型的特点。探讨了有待解决的开放性问题,并对I/O负载自相似性研究的发展趋势进行了展望。上述工作将对存储负载的自相似性研究提供有益参考。     

科学计算双路并行I/O优化方法

科学计算数据集由数据和元数据组成.一般条件下,数据的尺寸较大,元数据尺寸较小.传统的高性能计算机并行文件系统可以高效率地读写大块连续数据,但是无法高效率地读写大量较小块的元数据.一旦大块数据和小块元数据两类读写特征混杂在一起,元数据将较严重地干扰并行I/O,造成性能的下降.为此,文中提出数据与元数据分治的双路并行I/O方法.该方法在高层I/O库中建立内存文件系统与并行文件系统两级存储,在存储资源之间并行迁移科学计算元数据.一方面降低较频繁读写元数据的I/O延迟,另一方面改变科学计算数据的存储特征与存储模式,从而提高科学计算应用、尤其是数据分析与可视化等读入密集型应用的I/O效率.测试表明,双路并行I/o方法可提高写性能8％～13％,提高读性能89％到1.01倍.