集群环境下I/O文件传输调度器的设计与实现

近年来研究人员对高性能计算中的并行I/O问题进行了深入研究,然而这些研究主要针对MPP问题,而对集群计算机系统中并行I/O问题的研究不多。因此,对于集群计算中的并行I/O系统进行研究是一个重要的研究课题。对集群计算中的并行I/O传输调度效率进行研究,设计了一个文件传输调度器,可以实现文件传输最快捷,节点资源最大利用,显著提高I/O节点吞吐率和反应时间。经过大量数据的测试和实验证明该调度器的有效性和适用性。     

一种基于网络地址转换的负载均衡算法

本文探讨集群服务器使用的负载均衡技术及负载分配的策略,并将网络地址转换应用于VOD集群,将负载分给多个服务器分担,以解决VOD集群服务器面临的大量并发访问造成的CPU或I/O的高负载问题。为了达到最佳的负载均衡效果,负载均衡器需要根据各个服务器的当前CPU和I/O状态来分配负载,这就需要动态监视服务器的负载,并应用优化的负载分配策略,达到平均分配负载的目的。     

提高集群系统I／O节点吞吐能力的方法研究

I/O节点是Linux高性能集群系统中必不可少的组成部分,也常常成为高性能集群系统的瓶颈。文章介绍了通过多网卡捆绑来提高I/O节点吞吐能力的方法及其实现过程。实践证明,这是一种非常有效和低成本的解决方案。     

支持异构集群并行的高能物理数据处理系统

传统集群计算系统无法充分利用本地磁盘的存储资源和I/O,大量网络I/O成为系统瓶颈,导致资源利用率降低,并造成高昂的存储和网络成本.使用Hadoop处理分析作业可有效利用本地磁盘存储和I/O资源,而集群资源统一管理工具Mesos则使用轻量化的设计和高效的通信机制,能在不同计算集群之间动态共享集群资源.为此,分析高能物理数据处理的特点,利用Mesos构建异构集群间资源共享的高能物理实验数据处理系统,实现Torque/Maui和Hadoop集群的集成.测试结果表明,该系统能够在集群间动态分配集群资源,并利用本地存储和磁盘I/O显著降低网络I/O,提高集群资源利用率.     

InfiniBand:一种新型的高速互连网络

随着计算能力向数据中心的集中,消除性能瓶颈和改进系统管理变得比以往更加重要。I/O子系统是造成这类问题的关键。InfiniBand被认为是可以消除当前I/O架构性能瓶颈的一种新的I/O技术。该文首先分析当前I/O系统的瓶颈问题,然后从IBA整体架构、层次结构、通信机制与VI架构、链路特性与服务质量等方面介绍了InfiniBand的具体情况,最后将Infiniband与其它一些高性能互连网络和标准进行了比较。     

Filter Cache:一种提高Lustre I/O性能的方法

高性能计算系统需要一个可靠高效的并行文件系统.Lustre集群文件系统是典型的基于对象存储的集群文件系统,它适合大数据量聚合I/O操作.大文件I/O操作能够达到很高的带宽,但是小文件I/O性能低下.针对导致Lustre的设计中不利于小文件I/O操作的两个方面,提出了Filter Cache方法.在Lustre的OST组件中设计一个存放小文件I/O数据的Cache,让OST端的小文件I/O操作异步进行,以此来减少用户感知的小文件I/O操作完成的时间,提高小文件I/O操作的性能.     

高性能计算环境下基于远程I/O负载平衡调度算法

在高性能计算环境中数据和应用程序往往分散在不同的节点,远程I/O的效率成为影响高性能计算性能的一个重要因素。为了提高系统的I/O效率,引入了一种基于远程I/O负载平衡调度算法。该算法采用了一种预约机制,可以对节点I/O负载进行动态调整、更好地利用网络带宽。详细介绍了该算法的实现过程,并且在一个模拟环境下对该算法的效果进行了评测。     

SNFS并行文件系统负载均衡技术的研究与实现

在大规模集群系统的并行运算环境中,I/O效率一直是影响系统整体性能的关键因素,并行文件系统技术是目前解决I/O性能瓶颈的有效途径之一。介绍当前并行文件系统的发展现状以及并行文件系统的类型,阐述SNFS并行文件系统的架构以及负载均衡DLC(分布式LAN客户端)技术的实现原理,并给出大规模集群系统环境中SNFS文件系统负载均衡技术的实现方法,最后,通过实际应用分析说明该技术在提升I/O性能上的优势。     

存储系统负载自相似性研究综述

I/O突发是造成I/O瓶颈的一个主要原因,研究I/O负载中普遍存在的突发性并对负载进行精确合成,对存储系统设计及其性能评价具有重要意义。对实际I/O负载的研究表明,传统的泊松假定难以准确地描述长时间范围内的I/O突发行为。研究发现,I/O突发在不同时间尺度下具有相似性,即I/O负载具有自相似性,因此,自相似模型被用来刻画I/O负载中的长相关性。针对I/O负载自相似参数估计,总结了各种常用的时域和频域估值方法。着重对已有的I/O负载合成模型进行了剖析,讨论了各种自相似模型、多分形模型以及alpha稳定模型的特点。探讨了有待解决的开放性问题,并对I/O负载自相似性研究的发展趋势进行了展望。上述工作将对存储负载的自相似性研究提供有益参考。     

I/O受限的并行加速比模型与可扩展I/O体系结构

为了缓解I/O瓶颈问题,可以从应用程序、可扩展算法、编译器和语言、运行时库、操作系统和体系结构六方面展开研究。其中,I/O体系结构是所有技术途径的关键支撑。当前并行I/O性能分析缺乏科学的理论模型为I/O体系结构设计提供理论依据。本文针对并行计算机系统的可扩展性问题,研究了I/O负载对并行计算机系统可扩展性的影响,建立了I/O受限的并行加速比性能模型,对目前大规模并行计算机系统中三种常用I/O体系结构的可扩展性进行了分析;以此为理论依据,提出了一种面向高性能计算的可扩展并行I/O系统结构。同时,还提出了几种有效降低I/O操作服务时间的策略,从而达到增强系统可扩展性的目的,为后续研究奠定了基础。     

基于集群的MPI主从式并行文件传输系统的研究与实现

研究并实现了一种基于PC集群系统的MPI主从式并行文件传输系统。通过引入一个监控节点实时监控当前各真实节点上的连接数、请求任务量以及各节点的实际处理能力,并衡量不同内容节点的负载,以实现集群内各节点负载均衡,从而更合理地实现并行文件I/O的任务分配。结果显示,该系统具有近似线性加速比,即文件I/O传输速度随着并行节点数量的增多而提高。     

面向Lustre集群存储的应用日志分析及系统自动优化框架

在科学计算、大数据处理和人工智能等领域,对相关应用负载进行研究,分析负载I/O模式,揭示应用负载变迁规律等,对指导集群存储系统性能优化十分重要.当前应用种类繁多并且应用快速迭代更新,复杂的环境使得对应用负载的特性挖掘充满挑战.针对以上问题,在生产环境中收集了5个Lustre集群存储共计326天的应用日志信息,对应用负载...     

基于Lustre文件系统的MPI-IO编程接口改进

针对传统MPI集群并行I/O效率不高的问题,通过分析Lustre并行文件系统的特点和MPI-IO集中式I/O操作的算法,提出了一种基于MPI-IO编程接口的改进方案,用以改善集群I/O瓶颈,提高I/O并行效率,并通过实验验证了该方案的可行性。     

一种适用于服务器的具有高可靠性可扩展性高性能的新一代I/O体系结构

文章首先指出了当前I/O系统总线存在的各种问题,然后介绍了新一代I/O系统结构,并对其结构特性及功能进行了简单的描述,分析了可靠性、可扩展性及高性能等特点。     

高性能异步I/O适配层的设计与实现

适应高并发负载的Internet服务程序需要处理大量的服务请求并同时保持高性能.提出了一个基于异步I/O方式和事件驱动模型的中间适配层,它向上屏蔽了异步I/O操作和事件驱动的细节,并提供简便的编程接口,使得在其上构造Internet服务程序简便易行,同时可保证Internet服务程序在高并发的负载下仍然保持良好性能.     

分析文件系统和I/O调度器对SSD性能和寿命的影响

伴随着高性能、高可靠性、低功耗和重量轻等优势,SSD被认为是下一代主流存储设备.文件系统组织和管理文件的实现方式,以及I/O调度器对请求的预处理操作对SSD的性能和寿命有很大的影响.以负载、文件系统、I/O调度器作为测试维度,分析不同负载下的文件系统和调度器的特点以及TRIM优化,并利用Blktrace收集测试过程中发生的每一条I/O操作,用SSDsim评估数据块擦除次数.通过实验发现,在不同的负载下文件系统和调度器对性能和寿命存在显著的差异,Ext4和Deadline表现出更好的综合指标.基于各方面分析,为以后面向SSD文件系统和I/O调度器的设计提供见解.     

并行文件系统与并行I／O研究

集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径。论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略。     

I/O负载自相似研究综述

研究I/O负载特征,建立恰当的I/O负载模型,对存储系统的设计、优化和评估有重要的意义.通过研究发现,许多I/O到达模式和访问模式在不同尺度下都具有相似的"突发性".而传统的泊松模型不具有这种特点,因此,研究者提出用自相似模型来描述I/O负载.此外,虽然自相似模型能够较好地描述I/O负载的长相关性,但是,它们却难以描述较小尺度上的局部奇异行为.于是,一些研究者提出用多分形模型来弥补这一缺陷.总结了目前I/O负载自相似研究的成果,分析了I/O负载自相似的研究现状,探讨了I/O负载自相似研究的发展趋势.通过分析得出,目前,自相似的评估问题还未被完全解决,I/O负载的自相似性在存储系统设计中的意义的研究还需要更深入,另外,如何建立更准确高效的I/O负载多分形模型也是一个还需要更深入研究的方面.     

并行文件系统与并行I/O研究

集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径.论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略.     

面向高带宽I/O的片上网络优化

在高性能处理器中,I/O带宽需求不断增加,一方面高速接口的通道数目不断增加,另一方面接口传输速率也在逐渐提升.高性能处理器的片上网络必须能够匹配各种高速I/O的带宽需求,且必须保证DM A请求能够正确完成.然而各种高速接口协议与片上网络协议在通信机制上存在较大的差别,可能导致死锁等现象的产生.首先对匹配高性能I/O的片上网络存在的问题进行分析,然后提出一种高带宽I/O设计方法及死锁解决方法.采用解死锁方法的片上网络增强了I/O系统的鲁棒性,同时可以减少片上网络设计及运行时的各种限制,提升I/O性能.最后,将所提出的优化方法应用到高性能服务器处理器芯片中,并进行评测,针对16通道PCIe 4.0接口,双向读写带宽分别达到30 GB/s,在一些特殊场景出现死锁以后,片上网络能自动检测死锁并解除死锁.