网络存储环境下的I／O负载

网络存储改变主机系统与存储设备间的连接关系，利用存储设备的计算能力直接向网络用户提供存储服务。这种结构的改变使系统存储处理模式相应发生变化，导致存储设备 I／O负载特征发生变化。本文提出存储系统负载不仅与应用环境相关，还与系统存储处理模式相关的观点，并据此分析了传统存储系统和网络存储系统的I／O负载特征。     

改进的云存储系统数据分布策略

针对当前云存储系统海量数据应用环境中数据分布策略可扩展性以及灵活性的不足,提出一种高效的数据分布策略。一方面,该策略基于一致性哈希数据分布算法,引入了虚拟化的设计思路,采用虚拟节点进行存储资源分配;另一方面,该策略采用了一种基于节点容量感知的负载均衡方法,有效地优化了系统性能,提高了系统可扩展性。通过实验分析,不管在同构还是异构的云存储架构中,该策略改善了存储资源负载均衡程度,有效优化了系统整体性能。     

SCSI系统中零拷贝技术的应用

随着网络带宽和IO总线速率迅速提高，设备驱动的IO性能越发成为数据存储的瓶颈：本文讨论了两种零拷贝技术，直接输入输出和内存映射输入输出，在Linux SCSI Generic驱动中的应用，并结合实验对其在存储系统的吞吐率和处理器负载等方面的改善加以研究。     

面向本地分布式存储系统的动态副本策略

针对本地分布式存储系统的拓扑结构与存储组成单元的特性,提出了一种基于频度的动态副本算法FBDR。FBDR分别采用基于密度的单次频度分析和基于区间长度的两次频度聚合的方法对文件访问流进行分析,作为确定热点文件的依据,具有较高的命中率。在副本创建位置选择上,综合考虑了存储单元的可用空间、负载、IO性能等因素,使热点文件获得更高的IO速率,同时兼顾了存储单元之间的负载与资源利用的平衡。     

云存储多卷负载均衡的LSM键值存储系统

单个云存储卷的IOPS和带宽性能受到限制，通过组合使用多个云存储卷的方式能以较低的费用获得更高的性能.但是，现有工作缺乏针对多云存储卷优化的LSM键值存储系统的探究.首先将现有多路径或哈希负载均衡的方案应用于使用多云存储卷的LSM键值存储系统，相对单个大容量卷的性能有显著提升；但是，现有多卷负载均衡方案的写数据策略，无法感知LSM键值存储系统的数据布局特点，导致各成员卷之间仍然存在负载不均衡的问题，不能充分发挥出多卷的最大性能.为此，提出一种云存储多卷负载均衡的LSM键值存储系统TANGO.在LSM键值存储系统由compaction新生成的sstable落盘之前，先根据统计的各个成员卷的关键信息，判断sstable与各成员卷的键范围重叠情况，然后选择键范围重叠最小的成员卷进行写入；针对读为主的负载，无法通过compaction达到负载均衡，TANGO采用后台数据迁移方式进一步达到负载均衡.在亚马逊云存储卷上的评估表明，相比相同存储容量的单卷，采用了TANGO方案的同等容量的多卷可提高7倍左右的性能；相比其它多卷方案，TANGO能提升20%以上的性能，且各成员卷间负载更加均衡.     

基于存储熵的存储负载均衡算法

在分布式存储系统中,一般都是以磁盘空间利用率（DU）来判断各存储节点的负载均衡程度,当所有节点的磁盘空间利用率相等时,是整个分布式存储系统的存储负载均衡点。但是在实际的应用场景中,磁盘I/O速率比较低的存储节点和可靠性比较低的存储节点往往成为影响整个存储系统数据读写性能的瓶颈,因此在异构分布式存储系统中,特别是各存储节点磁盘I/O速率和可靠性差异较大的分布式存储系统中,如果仅仅以磁盘空间利用率作为存储负载均衡的判定条件,则其数据的读写效率必然受到限制。从读写效率的角度提出一种度量分布式存储系统中存储负载均衡的新思路。根据负载均衡理论和熵理论给出存储熵（SE）的定义,并提出一种基于存储熵的负载均衡算法,该算法通过系统负载判定、单节点负载判定和负载迁移实现了对分布式存储系统存储负载的量化调整,并通过实验与基于磁盘空间利用率的负载均衡算法进行了对比分析,验证了该算法对分布式存储系统中存储负载具有良好的均衡性,有效地控制了系统负载失衡的问题,提高了分布式存储系统的整体读写效率。     

一种高可用性存储系统TH-iSCSI的设计与实现

基于IP网络的存储在远距离传输、管理、成本和互操作性方面优于光纤通道技术,iSCSI存储技术已是目前研究的一个热点.详细介绍了一种基于iSCSI协议的高可用性存储系统TH-iSCSI的设计与实现.基于iSCSI控制器实现了IO负载的控制机制，并提出了一种在线更换存储设备的机制,提高了系统的稳定性和可用性.提出了一种多通道控制技术,提供通道上的失效冗余和负载平衡,有效提高了TH-iSCSI存储系统并发IO能力.实现了多网络适配器轮转(Round-Robin)和热备份(Active-Standby)两种发送模式,利用负载均衡和失效恢复的调度算法将数据报分发到相应的网络接口上,从而实现了链路的聚合,既提高了吞吐率,又降低了链路的失效率,还提高了应用服务器和iSCSI控制器的可用性.此外,还提出了一种基于IP地址的存储设备映射方法,实现了启动器对虚拟设备标识符访问权限的控制,提高了系统的安全性.测试结果表明,TH-iSCSI存储系统具有较高的性能与可用性,多链路平均读写速度可达到300MBps,单链路有效负载率达到85%以上.     

网络存储系统中I/O请求响应时间的研究

网络存储技术从很多方面改善了传统基于主机的存储系统的不足，但由于在数据存储和处理之间增加了网络，对整个I／O请求过程产生很大的影响，使得I／O性能难以准确地估计．通过对两种常用的网络存储系统——NAS和SAN的基本存储过程进行分析，提出了针对网络存储系统中I／O响应时间的性能评估模型．通过实验，发现这个模型在很大程度上能够对存储网络的性能进行评价．结果表明存储网络的性能不光和存储设备以及网络设备的物理性质有关，还和具体的负载状况密切联系．另一方面，FC(光纤通道)对负载状况的依赖性远远小于TCP／IP网络，就I／O响应速度而言，FC有更好的性能．     

微服务架构磁带库存储系统设计与实现

建立具有磁带存储层的HDFS分级存储系统是完善高能物理领域Hadoop生态系统的重要部分，但高能物理领域传统的磁带存储管理系统（如Castor、CTA）上层不支持HDFS磁盘存储，并且随着高能物理数据量的急剧增长、互联网技术的不断发展和用户需求的迅猛变化，传统的磁带存储管理系统逐渐呈现出系统扩展、负载均衡、开发和运维成本上升等方面的问题。设计开发了基于微服务架构的磁带存储管理系统。该系统向上支持HDFS磁盘存储，将磁带库资源管理、文件传输、磁带读写等功能以微服务的形式分布到各个服务实例中，达到分散服务压力的目的，并且系统针对传统负载算法效率不佳的问题，实现了基于服务器响应指数的负载均衡算法，通过根据自定义参数计算得到的服务器响应指数对其进行排序，保证将用户请求调度到响应指数最高的服务器进行处理。实验结果表明，磁带库存储系统满足HDFS文件分级存储磁带层管理的需求，提出的基于服务器响应指数的负载均衡算法相较于轮询算法，系统归档性能高出6%以上，提取性能高出64%以上；相较于随机算法，系统归档性能高出9%以上，提取性能高出64%以上，最终实现的磁带库存储系统表明，与传统的系统相比，微服务体...     

DMStone:一个分级存储系统性能测试工具

对分级存储系统的性能测试,需要提供真实的系统状态和有代表性的访问负载.已有的分级存储系统测试方法通过播放一段时间的文件访问请求来生成系统状态.因为彻底忽略了近期未被访问的文件而与分级存储的真实场景不符,使得测试结果没有说服力.提出了一种分级存储系统性能测试工具DMStone,它使用文件系统快照生成某一时刻的系统状态,并根据后续的相邻快照之间的差异提取访问负载特征,进而生成有代表性的I/O负载.DMStone能够提供某一时刻真实的文件系统状态,涵盖了近期访问过的和长期不用的所有文件.而且,它能够保证后续文件访问的特征与真实应用场景相符合.     

基于FC-SW存储区域网络的存储系统性能

分析FC-SW存储区域网络(SAN)的网络拓扑结构以及RAID等相关内容,描述在FC-SW SAN中的数据访问流程,在抽象FC-SW SAN的基础上利用排队理论对FC-SW SAN中的存储性能进行分析。阐述磁盘高速缓存命中率、I/O访问读写概率以及网络交换机FC-SW对I/O响应时间的影响。     

SCSI子系统中间层多启动互连多路径I/O的存储方式的研究

面对当前应用对现代存储的高性能以及可用性、可靠性的新的要求，在Multi—Initiator—Uni—Port的基础之上提出了SCSI中间层多启动互连多路径I／O的存储方式．它能够在Multi—Initiator—Uni—Port的连接中对同一个Target端口采用不同的I／O路径进行存储，减少了由于单路径I／O传输错误导致系统单点失效的可能性，增强了存储系统的可用性和可靠性；同时，这种存储方式还能够很好地平衡系统的I／O负载，提高系统的吞吐率，提供比传统单路径更好的传输性能．在Linux2．4内核中的SCSI子系统的基础之上实现了这种存储方式，向系统屏蔽了SCSI子系统中的设备具体细节，并且不依赖于SCSI上层的实现，减少了对系统内核的资源占有率，提高了SCSI底层的执行效率．分析了SCSI中间层多启动互连多路径I／O的存储方式的原理，并且将iSCSI的体系结构应用到它的模拟测试中，得到了R—R路径选择分配策略的性能临界点，取得了令人满意的结果．     

一种基于对象的多媒体存储系统优化策略

设计一个实用的分布式多媒体服务系统,存储子系统是其中的一个研究重点.根据多媒体系统的存储特点,从全新的视角提出一种存储子系统设计方案--基于对象的多媒体存储系统(Multimedia Object-based Storage System,MOSS),并分析了MOSS的系统架构和工作流程.与传统的多媒体存储技术相比,对象存储不仅能有效地改善系统I/O性能,还具有较好的安全性.以对象存储原型系统为基础,讨论了热点对象文件的分布和均匀分块优化策略.通过建立与系统相对应的数学模型,对数传率、I/O请求丢失率等性能指标作了定性分析.该研究工作对消除多媒体服务系统I/O瓶颈、进行存储子系统设计具有实际的指导意义.     

新型非易失相变存储器PCM应用研究

并行I/O技术有效优化了I/O性能,但对访问延迟却难以控制.相变存储器(phase change memory,PCM)作为一种SCM(storage class memory),具有非易失性、随机可读写、低延迟、高吞吐率、体积小和低功耗的特点,为I/O性能优化提供了最直接有效的途径.研究了PCM的特性与存在的问题,总结了目前PCM的应用研究进展,针对高性能计算中的并行I/O问题,提出了一种基于相变存储器PCM的层次式并行混合存储模型,能够有效提高并行文件系统元数据服务效率和并行I/O吞吐率.     

支持高并发访问的新型NVM存储系统

I/O系统软件栈是影响NVM存储系统性能的重要因素。针对NVM存储系统的读写速度不均衡、写寿命有限等问题，设计了同异步融合的访问请求管理策略；在使用异步策略管理数据量较大的写操作的同时，仍然使用同步策略管理读请求和少量数据的写请求。针对多核处理器环境下不同计算核心访问存储系统时地址转换开销大的问题，设计了面向多核处理器地址转换缓存策略，减少地址转换的时间开销。最后实现了支持高并发访问NVM存储系统（CNVMS）的原型，并使用通用测试工具进行了随机读写、顺序读写、混合读写和实际应用负载的测试。实验结果表明，与PMBD相比，所提策略能提高1%~22%的读写速度和9%~15%的IOPS，验证了CNVMS策略能有效提高NVM存储系统的I/O性能和访问请求处理速度。     

一种基于虚拟机的高效磁盘I/O特征分析方法

于磁盘系统的机械运动本质,磁盘系统I/O往往会成为计算机系统的性能瓶颈.为了有效地提高系统性能,收集和分析应用系统的磁盘I/O特征信息将成为性能优化工作的重要基础.与以往I/O特征分析方法不同,给出了一种基于Xen 3.0虚拟机系统的磁盘I/O特征在线分析方法.在虚拟机环境下,该磁盘I/O特征采集方法可以透明地应用于任意无须修改的操作系统.该方法可以高效地在线采集多种基本I/O特征数据,其中包括:磁盘I/O块大小、I/O延迟、I/O时间间隔、I/O空间局部性、时间局部性以及磁盘I/O操作热点分布.通过测试和分析,该在线I/O分析方法有着较小的系统开销,并且对应用系统I/O性能的影响很小.此外,还给出了在大文件拷贝、基于Filebench的filemirco和varmail等工作负载下的I/O特征分析结果.     

Analysis of I/O Performance on an Amazon EC2 Cluster Compute and High I/O Platform

Cloud computing is currently being explored by the scientific community to assess its suitability for High Performance Computing (HPC) environments. In this novel paradigm, compute and storage resources, as well as applications, can be dynamically provisioned on a pay-per-use basis. This paper presents a thorough evaluation of the I/O storage subsystem using the Amazon EC2 Cluster Compute platform and the recent High I/O instance type, to determine its suitability for I/O-intensive applications. The evaluation has been carried out at different layers using representative benchmarks in order to evaluate the low-level cloud storage devices available in Amazon EC2, ephemeral disks and Elastic Block Store (EBS) volumes, both on local and distributed file systems. In addition, several I/O interfaces (POSIX, MPI-IO and HDF5) commonly used by scientific workloads have also been assessed. Furthermore, the scalability of a representative parallel I/O code has also been analyzed at the application level, taking into account both performance and cost metrics. The analysis of the experimental results has shown that available cloud storage devices can have different performance characteristics and usage constraints. Our comprehensive evaluation can help scientists to increase significantly (up to several times) the performance of I/O-intensive applications in Amazon EC2 cloud. An example of optimal configuration that can maximize I/O performance in this cloud is the use of a RAID 0 of 2 ephemeral disks, TCP with 9,000 bytes MTU, NFS async and MPI-IO on the High I/O instance type, which provides ephemeral disks backed by Solid State Drive (SSD) technology.     

基于ALUA的多路径存储系统

随着网络存储技术的不断深入发展与广泛应用,存储多路径技术成为信息系统容灾与故障恢复方案中的核心技术之一.在现有存储多路径技术的基础上,提出了一种基于ALUA的多路径存储子系统总体框架,并重点在逻辑卷控制器属主管理、ALUA属性与路径选择策略配置和I/O重定向等模块进行了创新性的设计与实现.经过应用测试,该系统很好地解决了存储系统的路径故障迁移和故障恢复问题,并智能地实现了路径间I/O的负载均衡,极大地提高了性能和可靠性.     

并行文件系统I/O特征

并行文件系统是并行计算系统的存储子系统,I/O性能是并行计算系统研究的重要方面.本文分析了并行文件系统I/O研究的难点,研究了并行文件系统的I/O特征和关键技术,指出了并行文件系统I/O性能研究未来的研究方向,为并行计算系统的设计和优化提供重要参考.     

Deconstructing Network Attached Storage systems

Network Attached Storage (NAS) has been gaining general acceptance, because it can be managed easily and files shared among many clients, which run different operating systems. The advent of Gigabit Ethernet and high speed transport protocols further facilitates the wide adoption of NAS. A distinct feature of NAS is that NAS involves both network I/O and file I/O. This paper analyzes the layered architecture of a typical NAS and the data flow, which travels through the layers. Several benchmarks are employed to explore the overhead involved in the layered NAS architecture and to identify system bottlenecks. The test results indicate that a Gigabit network is the system bottleneck due to the performance disparity between the storage stack and the network stack. The tests also demonstrate that the performance of NAS has lagged far behind that of the local storage subsystem, and the CPU utilization is not as high as imagined. The analysis in this paper gives three implications for the NAS, which adopts a Gigabit network: (1) The most effective method to alleviate the network bottleneck is increasing the physical network bandwidth or improving the utilization of network. For example, a more efficient network file system could boost the NAS performance. (2) It is unnecessary to employ specific hardware to increase the performance of the storage subsystem or the efficiency of the network stack because the hardware cannot contribute to the overall performance improvement. On the contrary, the hardware methods could have side effect on the throughput due to the small file accesses in NAS. (3) Adding more disk drives to an NAS when the aggregate performance reaches the saturation point can only contribute to storage capacity, but not performance. This paper aims to guide NAS designers or administrators to better understand and achieve a cost-effective NAS.