I/O系统性能测评与分析

输入输出系统(I/O系统)作为计算机系统中的一个重要组成部分,其性能的好坏对CPU的性能有很大的影响,因此本文从I/O系统基本概述开始介绍,并采用了模型模拟和实际测量的方法来衡量I/O系统性能,并做了相关的评价分析.     

GRAPES区域模式的输入输出分析和优化

新一代全球/区域多尺度统一的同化与数值预报系统Global/Regional Assimilation and PreEdiction System(GRAPES)是中国气象局(China Meteorological Administration,CMA)自主研发的数值天气预报软件.随着对模式分辨率和预测时效性要求的提高,GRAPES的输入输出(I/O)性能成为了一个重要的瓶颈.分析了GRAPES区域模式的I/O行为,提出并设计实现了一个高性能I/O框架.该框架采用二进制编码以及多I/O通道技术实现了灵活可配置的输出方式.同时,通过非堵塞通信的方式实现了异步I/O,隐藏了I/O与通信的开销.工作在曙光"派"超级计算机上进行了测试,结果显示该框架不仅可以提高I/O性能达到10倍以上,也可以减少性能抖动带来的性能不确定性问题.     

Linux环境下I/O重定向与异步通信的实现

串口通信广泛应用于各种控制环境,在视频监控领域中通过Linux串口通信实现ARM与DSP双处理器之间的信息数据交互是关注的热点之一.针对海康威视的IP视频模块(IPMOD),提出了Linux下双处理器系统通信的实现技术:(1)采用I/O重定向的文件共享技术,使原IP视频模块开发板硬件仅有的一个控制台串行口成为普通串行通信口,实现了IP模块和TMS320DM642之间的双向串行通信;(2)采用异步非阻塞I/O的通信模式,提高I/O的读写和CPU的执行效率.     

基于单根I/O虚拟化的多根I/O资源池化方法

虚拟化技术在为现代数据中心提供高效的服务器整合能力和灵活的应用部署能力的同时,也对数据中心服务器的I/O系统设计提出了新的需求,现有I/O资源与服务器紧密绑定的I/O体系架构将产生成本上升、资源冗余、I/O连线复杂化等一系列问题.针对上述问题,提出了一种基于单根I/O虚拟化协议(single root I/O virtualization,SR-IOV)的多根I/O资源池化方法:基于硬件的多根域间地址和ID映射机制,实现了多个物理服务器对同一 I/O设备的共享复用,有效减少单体服务器所需的设备数量和连线数量,并进一步提高服务器密度;同时提出虚拟I/O设备热插拔技术和多根共享管理机制,实现了虚拟I/O资源在服务器间的实时动态分配,提高资源的利用效率.提出的方法在可编程逻辑器件(fieid-programmable gate array,FPGA)原型系统中进行了验证,其评测表明,方法能够在实现多根I/O虚拟化共享的同时,保证各个根节点服务器获得近乎本地直连设备的I/O性能.     

Java非阻塞I/O在乡村可视化远程医疗系统中的应用

分析了乡村可视化远程医疗系统采用多线程技术实现网络通信存在的不足,阐述了Java非阻塞I/O的基本原理.系统采用非阻塞I/O通信技术只使用一个线程并行实现大量客户无阻塞的通信,有效地减少了系统开销,较好地提升了系统的性能.     

一种独立式I/O虚拟化方法研究

当前虚拟化系统中的设备仿真过程与I/O指令串行执行,无法发挥真实体系结构中直接存储器访问、异步I/O等加速I/O访问技术的性能优势,致使虚拟平台I/O性能与真实I/O性能存在一定差距。针对该问题,提出一种独立式I/O虚拟化方法,通过将I/O仿真活动(如磁盘读写)分离成一个独立的进程,虚拟机监控器(VMM)只保留相应的接口,达到将VMM与I/O设备分离实现仿真与指令并行化执行的目的,并基于QEMU平台实现该方法。实验结果表明,采用该方法后的QEMU I/O读写性能优于原有I/O子系统。由于I/O指令不必再等待I/O仿真的结束,因此在提高CPU指令执行速度的同时,能够有效提高4.9%的磁盘读取速度及9.2%的VGA测试基准软件Viewpref得分。     

Windows Vista、Windows7存储I/O优先化

微软操作系统中Windows Vista率先实现了I/O优先化技术,克服了PC的I/O瓶颈,有效地改善了系统的响应能力.文章提供了微软Windows操作系统有关I/O优先级技术信息,为应用程序设计、存储设备设计及系统维护提供了参考依据.     

串行RapidIO在多DSP系统中的应用初探

I/O技术在高性能计算的发展过程中是一个非常关键的技术.通过分析传统的共享总线技术的瓶颈,对DSP互连技术的发展前景进行了论述.提出一种应用RapidlO互连技术的多DSP系统方案.     

关于I/O模拟的讨论

详细分析Windows的I/O机制,提出了分别在用户级、系统级、驱动级的I/O模拟操作,通过实际案例和源代码分享在I/O模拟上的得失,着重介绍鼠标与键盘的模拟。     

基于1394总线通信的I/O模块在数控系统中的应用

设计了一种基于IEEE 1394总线通信,应用于高档数控系统中的I/O控制模块.该模块采用IEEE 1394通信方式,实现上位机与机床之间的高速数据传榆;采用光耦芯片对模块内部与外界进行隔离,并实现该I/O模块与机床之间的电平匹配,模数转换等功能.给出了软件和硬件设计,并进行了I/O模块功能测试和分析,验证了该模块满足高档数控系统要求数据传输的准确性和实时性.     

基于NOW的Collective I/O技术研究

随着ＮＯＷ在科学研究中白益广泛的应用,如何为ＮＯＷ上的科学计算提供高性能的输入输出成为我们面临的一个新课题。作者根据ＮＯＷ的特点,设计并实现了一个具有ＮＯＷ特色的基于ＣｏｌｌｅｃｔｉｖｅＩ／Ｑ的并行Ｉ／Ｏ系统,吸取了ＤＤＩＯ与ｔｗｏ－ｐｈａｓｅＩ／Ｏ的优点,从而有效地解决了高带宽和低延迟问题。初步的系统吞吐量测试显示了良好的性能。     

提高可扩展并行机群并行I/O效率的一个方法

随着ＣＰＵ性能的高速提升,系统Ｉ／Ｏ能力的不足越来明显地成为提高ＮＯＷ系统整体性能的瓶颈。在分析现有基于ＮＯＷ系统的并行Ｉ／Ｏ算法的基础上,通过理论推导,给出了一种寻求计算进程与计算结点之间最佳映射的方法。该方法可以在数据重分配时,使各计算的通信量小,从而达到提高系统并行Ｉ／Ｏ效率的目的。     

A performance analysis of personal computers in a video conferencing environment

New intelligent adapters, advanced bus architectures, and powerful microprocessors have resulted in a new generation of personal computers with true multimedia capabilities. Collaborative applications are the most demanding applications of multimedia technologies today. We present a performance analysis of how effective video conferencing applications can be supported with personal computers connected through a local area network (LAN). We also evaluate the performance impact of an advanced, peer-to-peer I/O protocol. The key factor in the performance of a video conferencing system over a LAN is the video compression and decompression algorithms. At high video frame rates, the peer-to-peer I/O protocol performs better than the traditional, bus-master, interrupt-driven I/O protocol.     

Beacon+：面向E级超级计算机的轻量级端到端I/O性能监控与分析诊断系统

随着E级计算的屏障被打破,高性能计算已经迈入了新时代。为了满足日益增长的数据访问需求,新兴的技术和存储介质都被运用到了超级计算机中,这使得其架构变得日趋复杂,其性能异常和系统热点定位也变得十分困难。为此,设计并实现了一个面向E级超级计算机的轻量级端到端I/O性能监控与分析诊断系统——Beacon+。该系统无需修改应用代码/脚本即可对每个应用的数据访问过程进行全路径实时监控与分析。通过在线+离线的压缩方法和分布式缓存/存储等机制,Beacon+在保证系统本身高扩展性、低开销的同时还可以持续稳定地提供I/O诊断服务。以神威新一代超级计算机为部署平台,通过I/O标准测试应用和实际应用证明了Beacon+的低开销和高准确性,以及I/O诊断的高效性。     

Reference implementation of scalable I/O low-level API on Intel Paragon

The Scalable I/O(SIO)Initiative‘s Low-Level Application Programming Interface(SIO LLAP)provides file system implementers with a simple low-Level interface to support high-level parallel /O interfaces efficiently and effectively.This paper describes a reference implementation and the evaluation of the SIO LLAPI on the Intel Paragon multicomputer.The implementation provides the file system structure and striping algorithm compatible with the Parallel File System(PFS)of Intel Paragon ,and runs either inside the kernel or as a user level library.The scatter-gather addressing read/write,asynchronous I/O,client caching and prefetching mechanism,file access hint mechanism,collective I/O and highly efficient file copy have been implemented.The preliminary experience shows that the SIO LLAPI provides opportunities of significant performance improvement and is easy to implement.Some high level file system interfaces and applications such as PFS,ADIO and Hartree-Fock application,are also implemented on top of SIO.The performance of PFS is at least the same as that of Intel‘s native pfs,and in many cases,such as small sequential file access,huge I/O requests and collective I/O,it is stable and much better,The SIO features help to support high level interfaces easily,quickly and more efficiently,and the cache,prefetching,hints are useful to get better performance based on different access models.The scalability and performance of SIO are limited by the network latency,network scalable bandwidth,memory copy bandwidth,memory size and pattern of I/O requests.The tadeoff between generality and efficienc should be considered in implementation.     

集成I/O硬件压缩加速器的Hadoop系统结构

随着大数据的发展,Hadoop系统成为了大数据处理中的重要工具之一。在实际应用中,Hadoop的I/O操作制约系统性能的提升。通常Hadoop系统通过软件压缩数据来减少I/O操作,但是软件压缩速度较慢,因此使用硬件压缩加速器来替换软件压缩。Hadoop运行在Java虚拟机上,无法直接调用底层I/O硬件压缩加速器。通过实现Hadoop压缩器/解压缩器类和设计C++动态链接库来解决从Hadoop系统中获得压缩数据和将数据流向I/O硬件压缩加速器两个关键技术,从而将I/O硬件压缩加速器集成到Hadoop系统框架。实验结果表明,I/O硬件压缩加速器的每赫兹压缩速度为15.9Byte/s/Hz,集成I/O硬件压缩加速器提升Hadoop系统性能2倍。     

网络存储I/O流水机制研究

将I／O请求处理划分为多个阶段，为流水线技术引入网络存储提供了新思路．同时，I／O请求处理的各阶段必定通过缓存（内存）来传递或处理数据．I／O请求处理除了直通方式外，大部分依赖存储转发方式（例如对I／O命令的聚散、排队操作等），存储转发的方式下的网络存储I／O流水线具有一些新的特点厦其自身特有的制约因素．探讨I／O流水机制，对提高网络存储系统整体性能，具有一定的指导及实践意义．     

Comparative Analysis of Asynchronous I/O in Multithreaded UNIX

I/O operations in UNIX are inherently synchronous. The need for asynchronous I/O comes first from multithreaded applications where thrads cannot block for I/O, and second from the fact that asynchronous I/O has much less overhead than synchronous I/O . There are two main approaches to accomplishing asynchronous I/O in UNIX. We compare the two approaches in design and implementation, and report the results of extensive experiments to measure the performance differences.     

I/O受限的并行加速比模型与可扩展I/O体系结构

为了缓解I/O瓶颈问题,可以从应用程序、可扩展算法、编译器和语言、运行时库、操作系统和体系结构六方面展开研究。其中,I/O体系结构是所有技术途径的关键支撑。当前并行I/O性能分析缺乏科学的理论模型为I/O体系结构设计提供理论依据。本文针对并行计算机系统的可扩展性问题,研究了I/O负载对并行计算机系统可扩展性的影响,建立了I/O受限的并行加速比性能模型,对目前大规模并行计算机系统中三种常用I/O体系结构的可扩展性进行了分析;以此为理论依据,提出了一种面向高性能计算的可扩展并行I/O系统结构。同时,还提出了几种有效降低I/O操作服务时间的策略,从而达到增强系统可扩展性的目的,为后续研究奠定了基础。     

Hello ADIOS: the challenges and lessons of developing leadership class I/O frameworks

Applications running on leadership platforms are more and more bottlenecked by storage input/output (I/O). In an effort to combat the increasing disparity between I/O throughput and compute capability, we created Adaptable IO System (ADIOS) in 2005. Focusing on putting users first with a service oriented architecture, we combined cutting edge research into new I/O techniques with a design effort to create near optimal I/O methods. As a result, ADIOS provides the highest level of synchronous I/O performance for a number of mission critical applications at various Department of Energy Leadership Computing Facilities. Meanwhile ADIOS is leading the push for next generation techniques including staging and data processing pipelines. In this paper, we describe the startling observations we have made in the last half decade of I/O research and development, and elaborate the lessons we have learned along this journey. We also detail some of the challenges that remain as we look toward the coming Exascale era. Copyright © 2013 John Wiley & Sons, Ltd.