存储设备热区域块重组机制

研究存储系统容量和性能问题,主要是为了提高存储设备的I/O性能,设计出一种存储设备的热区域块重组机制。根据存储设备的I/O请求特征,将存储设备中频繁访问的块确定为热区域块,并将热区域块移动到临近的区域。对热区域块的自动重新组织能够降低存储设备寻道时间,提高I/O性能。此外,机制还具有文件系统和应用透明的特点。与同类方法相比,还具有实现简单、节省存储空间的特点。通过仿真试验对该机制进行评测,实验结果表明热区域块重组机制显著提高了存储设备的I/O性能。     

网络存储系统中I/O请求响应时间的研究

网络存储技术从很多方面改善了传统基于主机的存储系统的不足，但由于在数据存储和处理之间增加了网络，对整个I／O请求过程产生很大的影响，使得I／O性能难以准确地估计．通过对两种常用的网络存储系统——NAS和SAN的基本存储过程进行分析，提出了针对网络存储系统中I／O响应时间的性能评估模型．通过实验，发现这个模型在很大程度上能够对存储网络的性能进行评价．结果表明存储网络的性能不光和存储设备以及网络设备的物理性质有关，还和具体的负载状况密切联系．另一方面，FC(光纤通道)对负载状况的依赖性远远小于TCP／IP网络，就I／O响应速度而言，FC有更好的性能．     

分布式文件系统中的负载平衡技术

I／O，特别是存储系统成为了计算机系统结构的核心，因而用于组织存储内容并提供使用接口的文件系统中的负载平衡研究也成为提高整个系统性能和可扩展性的重要组成部分。在分析现有文件系统负载平衡技术的优缺点的基础上，提出了一种动态的负载平衡技术，并给出此技术的实现方案和可行性分析。     

基于RAID50的存储系统高速缓存设计

设计了一种多个控制卡分条的RAID50模型和主机虚拟卷地址到所属高级别阵列、低级别阵列分条的二级地址映射模式，以提高I/O访问的并发性。定义多个连续I/O块为扩展块并等同于Cache页大小，且作为RAID50传输粒度，进一步改善内存与存储设备之间的传输效率。设计了基于Cache描述符控制块的哈希链式查找算法和基于Cache页访问频率计数的二次机会置换算法，实现了一种主机数据接收与RAID50存储设备预读并发进行的策略。结果表明，该设计有效地提高了存储系统的I/O性能。     

基于冲突检测的高吞吐NVM存储系统

非易失性存储器(non-volatile memory, NVM)是解决计算机系统存储墙问题的有效手段,但现有的I/O栈缺乏相应的适应和优化机制,特别是基于文件系统的锁机制是影响NVM存储系统性能的重要因素.将存储系统访问请求的管理嵌入到存储设备中,利用NVM存储设备自主管理访问请求,使用基于冲突检测的方法代替基于文件系统的现有锁机制,提高操作系统执行访问请求的并发度,缓解设备接口带来的瓶颈问题.给出了高吞吐NVM存储系统的结构,设计了一种基于二维链表的访问请求管理方法减少访问请求管理中的冲突,一种基于冲突检测的访问请求调度算法用于管理NVM存储设备中共享的访问请求,并给出了新访问请求提交和已有访问请求释放流程,并基于Intel的开源NVM存储设备模拟器PMEM实现了HTPM的原型系统,使用Filebench中的多种负载和Fio测试了HTPM的吞吐率和I/O性能,实验结果表明：HTPM相比PMEM最大能提高31.9%的IOPS值和21.4%的I/O性能.     

网络存储环境下的I／O负载

网络存储改变主机系统与存储设备间的连接关系，利用存储设备的计算能力直接向网络用户提供存储服务。这种结构的改变使系统存储处理模式相应发生变化，导致存储设备 I／O负载特征发生变化。本文提出存储系统负载不仅与应用环境相关，还与系统存储处理模式相关的观点，并据此分析了传统存储系统和网络存储系统的I／O负载特征。     

一种高性能I／O方法

并存文伴系统是解决I／O瓶颈问题的重要途径。研究表明，科学应用中跨越式的文件访问模式与现存并行文件系统访问这些数据的方法的结合，对于大型数据集的访问其I／O性能是难以接受的。为了提高并行文件系统中对不连续数据的I／O性能，创建了一种新型高性能I／O方法：用户自定义文件视图结合合并I／O请求。并且在WPFS并行文件系统中实现了该方法。研究和实验结果表明，该方法具有增强科学应用性能的潜力。     

使用聚集I/O传输的方法提高网络存储系统的性能

网络存储技术为存储系统提供了更高的扩展性、可用性以及更好的灵活性,并且已经广泛应用到各种领域．但小I／O严重影响网络存储系统的性能,现有的一些方法缺少理论模型．通过排队理论建立聚集I／O传输的数学模型,然后在典型的IP网络存储(NAS)系统中,分别在NAS存储设备和客户两端设计了聚集模块,称之为CFS(chunk file system),实现双向聚集I／O．最后对CFS进行了实验,结果和理论分析基本吻合,说明聚集I／O传输能够改善网络存储整体性能．     

一种RAID-10数据组织方式的并行文件系统及其I／O性能

Cluster已发展成为普遍用于高性能计算的一种体系结构，对于大规模并行计算，I／O仍是要解决的“瓶颈”问题。多种用于Cluster系统的并行文件系统将节点上的存储设备统一调度、管理，形成分布式磁盘阵列，以提供大容量、高性能存储系统，满足日益高涨的存储需求。     

面向新型非易失存储器的文件级磨损均衡机制

自旋转移力矩磁存储器(spin transfer torque random access memory, STTRAM)和磁阻式随机存储器(magnetic random access memory, MRAM)等新型存储器具有接近于DRAM的访问速度,是构建高性能外存系统和提高计算机系统性能的重要手段,但有限的写次数是其重要局限之一.设计了文件系统级磨损均衡机制,使用Hash函数分散文件在外存中的存储,避免在创建和删除文件时反复分配某些存储块,通过分配文件空间时选择写次数较低的存储块,避免写操作的集中;使用主动迁移策略,在外存系统I/O负载较低时主动迁移写次数较高的数据块,减少磨损均衡机制对I/O性能的影响.最后在开源的基于对象存储设备Open-osd上实现了面向新型存储器文件系统级磨损均衡机制的原型,使用存储系统通用测试工具filebench和postmark的多个通用数据集进行了测试与分析,验证了基于新型存储器的文件系统级磨损均衡机制能稳定地将存储块写次数差减少到原来的1/20左右,同时最高仅损失了6%的I/O性能和增加了0.5%的额外写操作,具有高效和稳定的特性.     

Block I/O Scheduling on Storage Servers of Distributed File Systems

This paper presents a new scheme of I/O scheduling on storage servers of distributed/parallel file systems, for yielding better I/O performance. To this end, we first analyze read/write requests in the I/O queue of storage server (we name them block I/Os), by using our proposed technique of horizontal partition. Then, all block requests are supposed to be divided into multiple groups, on the basis of their offsets. This is to say, all requests related to the same chunk file will be grouped together, and then be satisfied within the same time slot between opening and closing the target chunk file on the storage server. As a result, the time resulted by completing block I/O requests can be significantly decreased, because of less file operations on the corresponding chunk files at the low-level file systems of server machines. Furthermore, we introduce an algorithm to rate a priority for each group of block I/O requests, and then the storage server dispatches groups of I/Os by following the priority order. Consequently, the applications having higher I/O priorities, e.g. they have less I/O operations and small size of involved data, can finish at a earlier time. We implement a prototype of this server-side scheduling in the PARTE file system, to demonstrate the feasibility and applicability of the proposed scheme. Experimental results show that the newly proposed scheme can achieve better I/O bandwidth and less I/O time, compared with the strategy of First Come First Served, as well as other server-side I/O scheduling approaches.     

Filter Cache:一种提高Lustre I/O性能的方法

高性能计算系统需要一个可靠高效的并行文件系统.Lustre集群文件系统是典型的基于对象存储的集群文件系统,它适合大数据量聚合I/O操作.大文件I/O操作能够达到很高的带宽,但是小文件I/O性能低下.针对导致Lustre的设计中不利于小文件I/O操作的两个方面,提出了Filter Cache方法.在Lustre的OST组件中设计一个存放小文件I/O数据的Cache,让OST端的小文件I/O操作异步进行,以此来减少用户感知的小文件I/O操作完成的时间,提高小文件I/O操作的性能.     

Vectorizing disks blocks for efficient storage system via deep learning

Efficient storage systems come from the intelligent management of the data units, i.e., disk blocks in local file system level. Block correlations represent the semantic patterns in storage systems. These correlations can be exploited for data caching, pre-fetching, layout optimization, I/O scheduling, etc. to finally realize an efficient storage system. In this paper, we introduce Block2Vec, a deep learning based strategy to mine the block correlations in storage systems. The core idea of Block2Vec is twofold. First, it proposes a new way to abstract blocks, which are considered as multi-dimensional vectors instead of traditional block Ids. In this way, we are able to capture similarity between blocks through the distances of their vectors. Second, based on vector representation of blocks, it further trains a deep neural network to learn the best vector assignment for each block. We leverage the recently advanced word embedding technique in natural language processing to efficiently train the neural network. To demonstrate the effectiveness of Block2Vec, we design a demonstrative block prediction algorithm based on mined correlations. Empirical comparison based on the simulation of real system traces shows that Block2Vec is capable of mining block-level correlations efficiently and accurately. This research and trial show that the deep learning strategy is a promising direction in optimizing storage system performance.     

自适应存储海量系统中的一种文件级可调整RAID

如何在保证数据完整性和可用性的同时充分利用各存储结点的能力,并依据外部访问特征调整数据组织结构,是自适应海量存储系统的关键技术之一。针对该问题,本文提出一种文件级可调整RAID（RFRAID）结构。该结构在不中断服务的同时综合考虑各结点负载特征,以较少的数据迁移量进行平滑不间断的动态调整,使系统能够较好地适应外
外部访问特征。实验表明,该结构能够有效提高系统整体性能。     

基于RAM/Disk混合设备模型的FC-SAN存储系统

磁盘存取是基于光纤通道网络的SAN存储系统的目前性能瓶径，在综合和分析目前各种文件系统I／O操作工作负载的研究结果的基础上，提出了一个新的改进FC-SAN存储系统性能的方法：将各种文件系统I／O操作分为大数据量的文件读写操作、小数据量的文件读写操作和文件属性操作，大数据量的文件读写操作还是按照原来的I／O路径进行，存取物理磁盘；但其他各种文件操作包括小数据量的文件读写操作对基于内存的RAMDisk设备进行操作，实验结果显示，基于混合I／O子系统的FC-SAN存储系统的存取速率可以接近线速。     

双粒度协议下基于hint的启发式缓存替换算法

合作式缓存技术是提高机群文件系统性能的关键技术之一.s2fs(scalable single-image file system)是一个单一映像机群文件系统原型,它利用双粒度协议实现了符合严格UNIX语义的合作式缓存.该文为s2fs设计了基于hint的启发式缓存替换算法,并为其建立了性能分析模型.分析结果表明,同现有的合作式缓存替换算法N-chance相比,启发式算法几乎在所有情况下都有效地降低了I/O的响应时间.     

Enhancing throughput of the Hadoop Distributed File System for interaction-intensive tasks

The Hadoop Distributed File System (HDFS) is designed to run on commodity hardware and can be used as a stand-alone general purpose distributed file system (Hdfs user guide, 2008). It provides the ability to access bulk data with high I/O throughput. As a result, this system is suitable for applications that have large I/O data sets. However, the performance of HDFS decreases dramatically when handling the operations of interaction-intensive files, i.e., files that have relatively small size but are frequently accessed. The paper analyzes the cause of throughput degradation issue when accessing interaction-intensive files and presents an enhanced HDFS architecture along with an associated storage allocation algorithm that overcomes the performance degradation problem. Experiments have shown that with the proposed architecture together with the associated storage allocation algorithm, the HDFS throughput for interaction-intensive files increases 300% on average with only a negligible performance decrease for large data set tasks.     

存储设备块重组机制仿真研究

为了提高存储设备的I/O性能,设计了一种新的基于语义的块重组机制.该机制作为语义智能磁盘技术的一种应用,可以利用文件系统的语义信息推断磁盘块的相关性,并将语义相关的块移动到临近区域.块重组机制减少了访问文件时所需的寻道次数,提高了I/O性能.与其他块重组方法相比,该机制不依赖于历史访问信息,并且不受负载变化影响.通过仿真实验对该机制进行评测,实验结果表明,块重组机制能够有效减少I/O次数.     

一种改进的基于缓存池机制的小文件I/O策略

Lustre文件系统对大文件的I/O性能较好,但对小文件不佳。针对这个问题,提出建立一个基于MDS节点的小文件缓存池机制,在缓存池里缓存经常被访问的小文件。在该机制中,小文件缓存池与OST使用全相联映射方式对应,并且使用贯穿读出式和直写式策略保持文件的一致性;缓存池更新策略综合考虑了文件的访问时间和次数等因素,使用改进的近期最少使用算法（LRU）更新替换。实验结果表明,改进后的Lustre文件系统减少了小文件的网络传输开销和访问时间,对小文件的I/O性能有较明显的提高。虽然它对大文件的I/O性能有所降低,但在可接受范围之内,仍具有一定的实用价值。