基于SATA Ⅱ的高速海量存储系统的研究

随着SATA技术的发展,越来越多的存储系统采用SATA作为存储器的I/O接口.介绍了SATA的新特性及SATA存储所使用的相关设备主机总线适配器及端口多路器.最后提出了一种基于SATA Ⅱ的高速海量存储系统.     

InfiniBand:一种新型的高速互连网络

随着计算能力向数据中心的集中,消除性能瓶颈和改进系统管理变得比以往更加重要。I/O子系统是造成这类问题的关键。InfiniBand被认为是可以消除当前I/O架构性能瓶颈的一种新的I/O技术。该文首先分析当前I/O系统的瓶颈问题,然后从IBA整体架构、层次结构、通信机制与VI架构、链路特性与服务质量等方面介绍了InfiniBand的具体情况,最后将Infiniband与其它一些高性能互连网络和标准进行了比较。     

基于SATA II的高速海量存储系统的研究

随着SATA技术的发展,越来越多的存储系统采用SATA作为存储器的I/O接口。介绍了SATA的新特性及SATA存储所使用的相关设备:主机总线适配器及端口多路器。最后提出了一种基于SATAII的高速海量存储系统。     

低CPU开销的低延迟存储引擎

近些年来,固态存储的硬件处理速率得到了极大改善.一块超低延迟的固态存储盘能在10 μs内处理4 KB大小的数据.加速I/O收割过程以构建低延迟的存储引擎是存储系统研究中的一个重要研究课题.传统存储系统通过硬件中断机制收割I/O,却引入了额外的上下文切换开销,延长了整体I/O处理时间.现有工作使用轮询机制以消除上下文切换,却要付出高昂的CPU开销.提出了一种低CPU开销的低延迟存储引擎NIO(nimble I/O),以充分发挥高性能固态存储盘的低延迟优势.NIO的核心思想是将大小I/O处理路径分离;大I/O使用硬件中断机制;小I/O引入惰性轮询机制,先睡眠一个变长时间间隔再持续轮询.NIO进一步提出了事务感知的I/O收割机制以降低事务的延迟,以及动态调整机制以应对上层应用负载以及设备内部活动的动态变化.实验显示在动态负载下,NIO与基于轮询的存储引擎性能相当,并能减少至少59%的CPU占用率.     

基于FC-SW存储区域网络的存储系统性能

分析FC-SW存储区域网络(SAN)的网络拓扑结构以及RAID等相关内容,描述在FC-SW SAN中的数据访问流程,在抽象FC-SW SAN的基础上利用排队理论对FC-SW SAN中的存储性能进行分析。阐述磁盘高速缓存命中率、I/O访问读写概率以及网络交换机FC-SW对I/O响应时间的影响。     

全球最快的Emulex光纤通道适配器

Emulex公司日前宣布推出全新的LightPulse 16Gb光纤通道(16GFC)主机总线适配器(HBA。这是Emulex公司的第9代光纤通道适配器,可在单一端口上支持每秒100多万I/O(1OPS)的处理速度,为高密度关键任务云数据中心和虚拟化数据中心提供高性能I/O。新的LPe16000 HBA基于Emulex Engine?XE201 I/O Controller(IOC)——业内     

网络存储系统多并行度I/O流水调度策略与实践

将应用的I/O请求处理划分为多个阶段,为流水线技术引入网络存储提供了新思路.同时,应用的I/O请求(工作量)以并行度划分为多个子工作量来通过各流水段,这样,一批处于同一流水段的子工作量之间存在同步开销,合理划分网络存储I/O流水段、探讨I/O流水机制,对提高网络存储系统整体性能具有一定的指导及实践意义.实验表明,I/O调度采用流水线的方式,能重叠I/O处理相关各阶段的操作,提高网络存储系统I/O性能.     

IOMan:一种支持多操作系统远程启动和运行的I/O管理方法

为了降低用户使用和维护计算机系统的成本,基于透明计算模式提出了一种工作在局域网环境下的I/O管理方法:IOMan. IOMan只是用软件方法在客户端设置磁盘I/O重定向机制,按需动态下载数据,而不需要修改当前常用的操作系统如Windows的启动机制,也不影响其他I/O操作,能够支持多种操作系统的远程启动和应用程序的运行 . IOMan基于客户机/服务器模型,包括I/O Client和I/O Server两个部分,其中I/O Client工作在客户端,I/O Server工作在服务器端 . I/O Client通过重新定义访问磁盘的BIOS中断处理程序以及创建虚拟本地磁盘,将I/O请求发送给服务器;I/O Server响应客户端请求,读写服务器上存储的虚拟硬盘文件,然后以扇区形式将数据发送给I/O Client.     

基于透明计算模式的I/O Server的设计

设计并实现了一个基于透明计算模式的I/O Server系统，I/O Server和I/O Client是一个在透明计算环境下，支持多操作系统远程启动和运行的网络存储访问服务I/O Manager的2个软件模块，I/O Server工作在服务器端，I/O Client工作在客户端。在透明计算模式中，各客户机硬件与操作系统分离，用户需要的操作系统的应用程序存储在服务器端。在客户机启动时，I/O Server和启动协议将I/O Client下载到端系统上运行，然后I/O Client向I/O Server发出I/O请求，I/O Server对收到的I/O请求加以分析，进行优先级分类，在优先级分时轮转调度I/O请求、操作服务器上的虚拟硬盘文件，并通过预取和缓存策略减少磁盘I/O操作，将处理结果返回给客户端，支持操作系统的远程启动，并为系统运行时的各种请求提供服务。     

面向云存储的I/O资源效用优化调度算法研究

随着云计算的普及,越来越多的客户选择使用基于云的服务,以避免冗余的设施购买费用和繁杂的系统设计与维护,从而将精力集中在自己的专业领域.通常,云服务的客户从云服务供应商购买虚拟机,并根据双方商定达成的服务水平目标(service level objective,SLO)约束购买到的计算资源.分布式存储中大量的文件分布在不同的存储节点上,现有的CPU、内存以及带宽等资源的分配调度算法并不适用磁盘I/O资源.从云服务提供商的角度来说,高效用的I/O资源调度算法有利于提高其系统的利用率,节约资源开销并增加企业收益率.从云存储提供商为获取高效率高收益率的角度考虑,通过对用户的虚拟机在不同存储节点上的访问特性建模,提出了一个新的自适应分布式I/O资源调度算法,简称为PC算法.PC算法能够:1)根据用户与服务商之间制定的SLO,动态地在各个存储节点中为每个虚拟机制定适当的局部SLO,满足虚拟机对个体节点的访问需求; 2)为各虚拟机提供高效健壮的资源分配策略,既能尽可能利用I/O资源,又避免由无序的I/O资源竞争导致的虚拟机I/O资源饥饿.PC算法能够根据不同的I/O资源供应状况在两种调度策略间自动切换,当系统I/O资源充足时,算法采用最早截止时间优先算法(earliest deadline first, EDF)方式提高I/O资源使用率;反之则根据每个I/O请求的预计效益来提高总收益率.实验结果表明,在不采用预先设定虚拟机对各个节点访问量的前提下,PC算法能根据访问模式制定合理的资源分配,提高系统的I/O资源利用率和收益.     

云存储上的I/O特征获取机制

为有效地获取云存储系统上的I/O特征,从云存储的体系结构出发,根据不同层面的结构特征提出一种层次化的I/O特征获取机制。该机制从全局云平台、集群和局部物理节点两个方面收集和分析云存储系统上的I/O特征数据,通过在云存储虚拟层嵌入监听模块来采集I/O特征,并通过统计分析模块对收集的数据做在线的分析。实验结果表明,该机制能够有效获取云存储系统的I/O特征,为云存储系统性能优化提供参考。     

存储系统负载自相似性研究综述

I/O突发是造成I/O瓶颈的一个主要原因,研究I/O负载中普遍存在的突发性并对负载进行精确合成,对存储系统设计及其性能评价具有重要意义。对实际I/O负载的研究表明,传统的泊松假定难以准确地描述长时间范围内的I/O突发行为。研究发现,I/O突发在不同时间尺度下具有相似性,即I/O负载具有自相似性,因此,自相似模型被用来刻画I/O负载中的长相关性。针对I/O负载自相似参数估计,总结了各种常用的时域和频域估值方法。着重对已有的I/O负载合成模型进行了剖析,讨论了各种自相似模型、多分形模型以及alpha稳定模型的特点。探讨了有待解决的开放性问题,并对I/O负载自相似性研究的发展趋势进行了展望。上述工作将对存储负载的自相似性研究提供有益参考。     

支持异构集群并行的高能物理数据处理系统

传统集群计算系统无法充分利用本地磁盘的存储资源和I/O,大量网络I/O成为系统瓶颈,导致资源利用率降低,并造成高昂的存储和网络成本.使用Hadoop处理分析作业可有效利用本地磁盘存储和I/O资源,而集群资源统一管理工具Mesos则使用轻量化的设计和高效的通信机制,能在不同计算集群之间动态共享集群资源.为此,分析高能物理数据处理的特点,利用Mesos构建异构集群间资源共享的高能物理实验数据处理系统,实现Torque/Maui和Hadoop集群的集成.测试结果表明,该系统能够在集群间动态分配集群资源,并利用本地存储和磁盘I/O显著降低网络I/O,提高集群资源利用率.     

基于I2O的iSCSI HBA的研究与实现

在研究了因特网小型计算机系统接口(iSCSI)和智能I/O(intelligent I/O,I2O)协议的基础上,提出了一种基于智能I/O协议的嵌入式iSCSI主机总线适配器(HBA)的体系结构,并在Intel嵌入式开发板IQ80321上实现了该iSCSI HBA体系结构.经过性能测试证明,该实现能减轻主机CPU的负载,且性能较好.     

网络存储技术浅析

传统的存储是以服务器为中心的存储,从体系结构上看,它是基于总线连接的存储(BAS).存储设备通过I/O总线如IDE、SCSI等与服务器相连,客户机的数据访问必须通过服务器,然后经过其I/O总线访问相应的存储设备.     

并行科学计算应用中采样数据的聚集I/O

采样数据的并行I/O制约一些并行应用的运行效率。设计、实现了采样数据的聚集并行I/O方法。该方法在客户端部署采样数据缓存,然后合并数据到输出进程,再存储到文件。为了保障并行程序长时间运行过程中采样数据的存储一致性,该方法在JASMIN框架中监测应用程序的运行状态,当并行程序发生负载平衡或者重启动时刷新或者恢复数据。I/O过程中,进一步使用HDF5的分块I/O提高列存储数据的读写效率。测试表明,新方法不仅具有较好的可扩展性,还能在具有负载平衡与重启动等复杂功能的并行应用中提高采样数据的并行 I/O 效率7.5倍以上。     

并行文件系统I/O特征

并行文件系统是并行计算系统的存储子系统,I/O性能是并行计算系统研究的重要方面.本文分析了并行文件系统I/O研究的难点,研究了并行文件系统的I/O特征和关键技术,指出了并行文件系统I/O性能研究未来的研究方向,为并行计算系统的设计和优化提供重要参考.     

一种面向大规模数据密集计算的缓存方法

随着高性能计算机逐步应用在大规模数据处理领域,存储系统将成为制约数据处理效率的主要瓶颈.在分析了影响数据密集型计算I/O性能若干关键因素的基础上,提出使用计算结点本地存储构建协作式非易失缓存、以分布式存储架构加速集中式存储架构的方法.该方法基于应用层协同使用分布化的本地存储资源,使用非易失存储介质构成大缓存空间,存放大规模数据分析的中间过程结果,以此实现高缓存命中率,并利用并发度约束控制等手段避免I/O竞争,充分利用本地存储的特定性能优势保证缓存加速效果,从而有效地提高了大规模数据处理过程的I/O效率.基于多平台多种I/O模式的测试结果证实了该方法的有效性,聚合I/O带宽具有高扩展性,典型数据密集应用的整体性能最大可提升6倍.     

面向分布对象存储结构的高性能计算系统资源管理方法

当前的高性能计算系统的资源管理和调度关注的焦点是计算资源,然而随着高性能计算系统的规模增大和计算能力增强,其I/O瓶颈问题日益突出.由于高性能计算系统的存储结构多样性带来了存储资源管理分配的难题,在目前主流的资源管理系统中尚未有针对I/O存储资源的调度和管理.随着对象存储结构的发展和广泛使用,大多数主流高性能系统采用分布对象存储系统,研究对分布对象存储系统的管理并结合资源管理系统,实现面向存储的作业优化调度,对提升高性能计算系统的实际性能有重要意义.针对具有分布对象存储结构的高性能计算系统,研究面向分布存储的资源管理方法,在作业调度和资源分配时考虑不同应用的I/O需求,通过建立分布对象存储资源模型和应用程序I/O能力需求模型,并在资源调度和分配上根据不同的I/O应用级别,为作业分配合适的存储资源,设计并实现基于I/O能力分级的作业调度和资源分配算法.系统测试表明:该方法可以显著提高多作业环境下应用的性能,保证应用程序的性能稳定性,提高系统的吞吐率.     

高强度I/O的应用对并行存储系统的挑战和解决方法研究

具有高I/O密集特性的高性能计算应用对高性能计算机存储系统综合性能的要求越来越高.以石油地震勘探数据处理为代表的一类重要应用表现出I/O数据量巨大、I/O访问密度大,对单个磁盘阵列存储部件的读写带宽要求高的特征.在Lustre文件系统中,充当对象存储服务功能的磁盘阵列设备输出带宽的不足将成为阻碍存储系统整体性能发挥的重要因素.针对此类问题,提出了一种缓存管理方法,分别在客户端添加VDISK模块,在OST端添加Cache模块,二者协同提高并行文件系统I/O的输出带宽的使用效率;另外,充分利用客户端空闲内存以及客户端之间的通信带宽,降低应用程序对磁盘阵列设备输出带宽的要求.通过大规模并行模型的验证表明,VDISK提高了实际可用的输出带宽,提高了外部存储系统的I/O效率.