科学计算双路并行I/O优化方法

科学计算数据集由数据和元数据组成.一般条件下,数据的尺寸较大,元数据尺寸较小.传统的高性能计算机并行文件系统可以高效率地读写大块连续数据,但是无法高效率地读写大量较小块的元数据.一旦大块数据和小块元数据两类读写特征混杂在一起,元数据将较严重地干扰并行I/O,造成性能的下降.为此,文中提出数据与元数据分治的双路并行I/O方法.该方法在高层I/O库中建立内存文件系统与并行文件系统两级存储,在存储资源之间并行迁移科学计算元数据.一方面降低较频繁读写元数据的I/O延迟,另一方面改变科学计算数据的存储特征与存储模式,从而提高科学计算应用、尤其是数据分析与可视化等读入密集型应用的I/O效率.测试表明,双路并行I/o方法可提高写性能8％～13％,提高读性能89％到1.01倍.     

基干MPI的并行I/0方法

基于MPI-2规范的并行I/O方法,以并行矩阵乘法问题为例,比较了并行I/O和串行I/O的性能,给出了并行I/O方法的应用实例.     

使用MPI的并行I/O实现及性能分析

论文讨论了并行环境中I/O的基本方法——串行I/O方法和并行I/O方法,并使用MPI-1及MPI-2对这两种方法进行了实现。分析了不同的实现方法对I/O带宽产生的影响。通过理论分析和实验表明,基于MPI-2的并行I/O实现方法与其它I/O实现方法相比,可得到更高的I/O带宽,是解决I/O性能问题的有效途径。     

云环境下网络I/O虚拟化的研究与改进

云计算对网络的共性需求体现在无感知服务、资源动态适配、可靠性保障、虚拟化和安全性等方面,然而,虚拟化作为云计算数据中心的关键技术,就是最大化有限的物理资源提供有效的传输服务.为了解决高速网络I/O虚拟化在面临I/O密集的应用时导致的I/O性能降低问题,论文提出了网络I/O性能的优化方法:一种分层处理I/O调度的网络虚拟化模型,对云平台下的VM应用进行递进式的优化I/O策略.实验结果证明提出的模型能够提高网络I/O的性能并提高硬件资源的充分利用.     

文件I/O函数和标准I/O库函数的读写效率研究

首先分别介绍了文件I/O和标准I/O库的相关函数和实现细节,提出了一系列有关文件读写效率的猜想,然后基于Linux平台设计实验并验证了提出的猜想,最后比较了文件I/O函数和标准I/O库函数,并总结了各自的适用场合。     

一种基于虚拟机的高效磁盘I/O特征分析方法

于磁盘系统的机械运动本质,磁盘系统I/O往往会成为计算机系统的性能瓶颈.为了有效地提高系统性能,收集和分析应用系统的磁盘I/O特征信息将成为性能优化工作的重要基础.与以往I/O特征分析方法不同,给出了一种基于Xen 3.0虚拟机系统的磁盘I/O特征在线分析方法.在虚拟机环境下,该磁盘I/O特征采集方法可以透明地应用于任意无须修改的操作系统.该方法可以高效地在线采集多种基本I/O特征数据,其中包括:磁盘I/O块大小、I/O延迟、I/O时间间隔、I/O空间局部性、时间局部性以及磁盘I/O操作热点分布.通过测试和分析,该在线I/O分析方法有着较小的系统开销,并且对应用系统I/O性能的影响很小.此外,还给出了在大文件拷贝、基于Filebench的filemirco和varmail等工作负载下的I/O特征分析结果.     

基于MPI的并行I/O方法

基于MPI-2规范的并行I/O方法,以并行矩阵乘法问题为例,比较了并行I/O和串行I/O的性能,给出了并行I/O方法的应用实例。     

基于单根I/O虚拟化的多根I/O资源池化方法

虚拟化技术在为现代数据中心提供高效的服务器整合能力和灵活的应用部署能力的同时,也对数据中心服务器的I/O系统设计提出了新的需求,现有I/O资源与服务器紧密绑定的I/O体系架构将产生成本上升、资源冗余、I/O连线复杂化等一系列问题.针对上述问题,提出了一种基于单根I/O虚拟化协议(single root I/O virtualization,SR-IOV)的多根I/O资源池化方法:基于硬件的多根域间地址和ID映射机制,实现了多个物理服务器对同一 I/O设备的共享复用,有效减少单体服务器所需的设备数量和连线数量,并进一步提高服务器密度;同时提出虚拟I/O设备热插拔技术和多根共享管理机制,实现了虚拟I/O资源在服务器间的实时动态分配,提高资源的利用效率.提出的方法在可编程逻辑器件(fieid-programmable gate array,FPGA)原型系统中进行了验证,其评测表明,方法能够在实现多根I/O虚拟化共享的同时,保证各个根节点服务器获得近乎本地直连设备的I/O性能.     

高性能计算环境下基于远程I/O负载平衡调度算法

在高性能计算环境中数据和应用程序往往分散在不同的节点,远程I/O的效率成为影响高性能计算性能的一个重要因素。为了提高系统的I/O效率,引入了一种基于远程I/O负载平衡调度算法。该算法采用了一种预约机制,可以对节点I/O负载进行动态调整、更好地利用网络带宽。详细介绍了该算法的实现过程,并且在一个模拟环境下对该算法的效果进行了评测。     

I/O级网络通信程序设计

用微机操作CAMAC设备举例,具体描述I/O级网络通信的步骤和程序,首先在单机操作下设计完成CAMAC设备的接口程序,然后在服从TCP/IP协议的前提下,使用Windows sockets技术在Windows环境下进行I/O级网络通信,在网络通信程序方面双方是用客户机和服务器的方式参与的.     

Optimizing I/O server placement for parallel I/O on switch-based irregular networks

In this paper, we study I/O server placement for optimizing parallel I/O performance on switch-based clusters, which typically adopt irregular network topologies to allow construction of scalable systems with incremental expansion capability. Finding optimal solution to this problem is computationally intractable. We quantified the number of messages travelling through each network link by a workload function, and developed three heuristic algorithms to find good solutions based on the values of the workload function. The maximum-workload-based heuristic chooses the locations for I/O nodes in order to minimize the maximum value of the workload function. The distance-based heuristic aims to minimize the average distance between the compute nodes and I/O nodes, which is equivalent to minimizing average workload on the network links. The load-balance-based heuristic balances the workload on the links based on a recursive traversal of the routing tree for the network. Our simulation results demonstrate performance advantage of our algorithms over a number of algorithms commonly used in existing parallel systems. In particular, the load-balance-based algorithm is superior to the other algorithms in most cases, with improvement ratio of 10 to 95% in terms of parallel I/O throughput.     

基于NOW的Collective I/O技术研究

随着ＮＯＷ在科学研究中白益广泛的应用,如何为ＮＯＷ上的科学计算提供高性能的输入输出成为我们面临的一个新课题。作者根据ＮＯＷ的特点,设计并实现了一个具有ＮＯＷ特色的基于ＣｏｌｌｅｃｔｉｖｅＩ／Ｑ的并行Ｉ／Ｏ系统,吸取了ＤＤＩＯ与ｔｗｏ－ｐｈａｓｅＩ／Ｏ的优点,从而有效地解决了高带宽和低延迟问题。初步的系统吞吐量测试显示了良好的性能。     

MPI-IO中Collective I／O的优化

本文对MPI-IO库中Collective I／O的实现算法Two-phase I／O提出了改进。通过选取主联络进程来减少第一阶段进程间的通信量，从而减少Two-phase I／O方法在通信过程中的时间消耗，提高了整体的I／O性能。     

Windows Vista、Windows7存储I/O优先化

微软操作系统中Windows Vista率先实现了I/O优先化技术,克服了PC的I/O瓶颈,有效地改善了系统的响应能力.文章提供了微软Windows操作系统有关I/O优先级技术信息,为应用程序设计、存储设备设计及系统维护提供了参考依据.     

基于连接管理的并行I／O数据库系统的研究

I／O和网络开销是数据库系统主要的性能瓶颈，本文针对数据库I／O请求的特点，讨论在大量并发I／O请求到来的情况下如何有效地对这些I／O请求进行重组、排序和合并，以便提高数据库系统的总体性能。     

大型DCS轮机仿真I/O接口系统研究

I／O接口系统的性能直接关系到轮机仿真系统的实时性和稳定性，需要对其进行深入研究。文章介绍了作者自主研制开发的分布式轮机仿真I／O接口系统的组成。讨论了其各硬件板卡的设计，分析了该系统的数据通信原理。系统实际应用表明，该系统特别适用于大型、复杂的系统仿真。     

网络存储I/O流水机制研究

将I／O请求处理划分为多个阶段，为流水线技术引入网络存储提供了新思路．同时，I／O请求处理的各阶段必定通过缓存（内存）来传递或处理数据．I／O请求处理除了直通方式外，大部分依赖存储转发方式（例如对I／O命令的聚散、排队操作等），存储转发的方式下的网络存储I／O流水线具有一些新的特点厦其自身特有的制约因素．探讨I／O流水机制，对提高网络存储系统整体性能，具有一定的指导及实践意义．     

一个基于NOW的并行I/O系统

随着NOW(networksofworkstations)在科学研究中的应用日益广泛,如何为NOW上的科学计算提供高性能的输入、输出成为人们所面临的一个新课题.根据NOW的特点,设计并实现了一个具有NOW特色的采用CollectiveI/O技术的并行I/O系统CION(collectiveI/Oonnowsystem).CION吸取了DDIO(disk-directedI/O)与two-phaseI/O的优点,同时采用了数据筛选等一系列优化技术.初步的测试已经显示了良好的系统性能.     

通用分布式仿真I/O体系结构设计及其应用

分析了几种典型仿真I/O体系结构的优缺点,设计并实现了一种软硬件可伸缩的分布式 仿真二级I/O体系结构,该结构不仅直接支持了共享的时分多路通道存取型数字设备(如7段数码管 显示器),将硬联逻辑复杂度从O(n)降低到O(logn)的水平,而且具有实时性、可伸缩性、容错性、可 维护性和通用性等良好特征,较好地满足了半实物仿真系统的需要。     

Hello ADIOS: the challenges and lessons of developing leadership class I/O frameworks

Applications running on leadership platforms are more and more bottlenecked by storage input/output (I/O). In an effort to combat the increasing disparity between I/O throughput and compute capability, we created Adaptable IO System (ADIOS) in 2005. Focusing on putting users first with a service oriented architecture, we combined cutting edge research into new I/O techniques with a design effort to create near optimal I/O methods. As a result, ADIOS provides the highest level of synchronous I/O performance for a number of mission critical applications at various Department of Energy Leadership Computing Facilities. Meanwhile ADIOS is leading the push for next generation techniques including staging and data processing pipelines. In this paper, we describe the startling observations we have made in the last half decade of I/O research and development, and elaborate the lessons we have learned along this journey. We also detail some of the challenges that remain as we look toward the coming Exascale era. Copyright © 2013 John Wiley & Sons, Ltd.