闪存存储系统综述

闪存因其低延迟、高并发、低能耗、体积小等特点受到了广泛关注.首先讨论了简单利用闪存固态盘替换传统磁盘的方式隐藏了闪存特性,限制了软件系统对闪存特性充分利用的不足.然后,分析并比较了现有包括闪存加速卡、闪存阵列、基于闪存的分布式集群系统等基于存储介质直接构建的闪存存储系统的特点,归纳了其通过改变硬件接口、调整软件或控制器管理模块、匹配处理器与I/O处理能力等方式实现系统低延迟、高可靠、低能耗等特性的优化方法.然后重点讨论了闪存存储系统3个方面的关键技术:基于I/O栈调整与重构的存储性能优化、系统级可靠性、体积与能耗.最后总结了闪存存储系统的现状与特点,并指出未来可能的研究方向.     

负载自适应的存储池数据重构策略

大数据时代各应用领域对计算机存储系统的性能和可靠性需求与日俱增。新型存储介质为计算机存储系统的性能提升提供了良好的机遇,基于固态盘的存储阵列（RAIS）已在各种存储系统中广泛使用。传统RAIS系统中当一块固态盘出现故障时,通过数据重构操作恢复故障盘的数据,重构时间长,且影响对上层应用提供I/O访问服务的能力。针对该问题,设计实现了基于多线程并发处理的存储池架构,该架构能够并发处理存储池中的I/O请求,提高用户I/O和数据重构I/O的访问性能。提出了一种负载自适应的I/O调度策略,能够在保证用户I/O服务质量的同时,提升数据重构效率。实验结果表明,基于存储池的多线程并发I/O处理架构能够提升数据重构性能,负载自适应的I/O调度策略能够根据用户I/O的负载情况动态调整用户I/O和数据重构I/O的调度比例,在保证用户I/O服务质量的同时,提升数据重构效率。     

网络存储系统多并行度I/O流水调度策略与实践

将应用的I/O请求处理划分为多个阶段,为流水线技术引入网络存储提供了新思路.同时,应用的I/O请求(工作量)以并行度划分为多个子工作量来通过各流水段,这样,一批处于同一流水段的子工作量之间存在同步开销,合理划分网络存储I/O流水段、探讨I/O流水机制,对提高网络存储系统整体性能具有一定的指导及实践意义.实验表明,I/O调度采用流水线的方式,能重叠I/O处理相关各阶段的操作,提高网络存储系统I/O性能.     

基于Linux内核的Key-Value存储系统——KStore

Key-Value存储系统在各种互联网服务中被广泛使用,但现有的Key-Value存储系统通常在用户态空间设计和实现,因为频繁的模式切换和上下文切换,导致访问接口、事务处理效率不高,在高并发、低延迟的数据存储需求中尤为突出.针对该问题,给出了一个内核态Key-Value存储系统的实现--KStore:提供内核空间的索引和内存分配机制,并在此基础上,通过基于内核Socket的远程接口以及基于文件系统的本地接口,保证了KStore的低延迟;同时,通过基于内核多线程的并发处理机制,保证了KStore的并发性.实验结果表明,与Memcached相比,KStore在实时性和并发性方面都取得显著优势.     

云存储上的I/O特征获取机制

为有效地获取云存储系统上的I/O特征,从云存储的体系结构出发,根据不同层面的结构特征提出一种层次化的I/O特征获取机制。该机制从全局云平台、集群和局部物理节点两个方面收集和分析云存储系统上的I/O特征数据,通过在云存储虚拟层嵌入监听模块来采集I/O特征,并通过统计分析模块对收集的数据做在线的分析。实验结果表明,该机制能够有效获取云存储系统的I/O特征,为云存储系统性能优化提供参考。     

一种基于定制高性能互连的对象存储系统

基于高性能互连实现对象存储系统已经成为构建高性能计算机可扩展I/O系统的发展趋势。我们设计并实现了一种定制的高带宽、低延迟的高性能互连芯片HSNI,它提供了很好的通信性能,可用于构建对象存储系统。本文对HSNI的硬件体系结构、软件结构及其通信机制进行了介绍,并基于HSNI构建了高性能的对象存储系统。性能测试结果表明,HSNI芯片带宽高、延迟低,非常适合构建大规模对象存储系统,该存储系统能够很好地发挥Lustre系统的性能,并具有很好的可扩展性,能够很好地满足面向高性能计算的I/O系统需求。     

面向Lustre文件系统的固态盘存储加速技术研究

磁盘的随机I/O延时制约了存储系统的性能提高,具备高性能随机I/O特性的固态盘(solid state disk,SSD)逐渐成为关注的热点.分析了磁盘、Flash型SSD以及DRAM型SSD三类设备不同的性能特点,讨论了SSD存储加速技术的研究现状,提出了一种面向Lustre文件系统的固态盘存储加速系统架构,介绍和分析了各模块的构成与原理,提出了对象迁移策略.     

基于SAN网络的文件存储技术研究与实现

对某数据采集与处理系统的数据共享平台进行了分析,给出了基于SAN存储区域网络的文件存储系统的硬件和软件实现方法,并结合Win32的Overlapped I/O技术,充分利用光纤网络带宽,进一步提高了文件的存取速度.     

一种时间敏感的SSD和HDD高效混合存储模型

基于闪存的固态硬盘(Solid State Driver,SSD)已成为目前广泛使用的一种持久存储设备.但是由于闪存不对称的I/O特性以及价格因素,SSD还不能完全取代传统硬盘(Hard Disk Driver,HDD).因此,由SSD和HDD组成的混合存储系统逐步成为目前研究的重点.文中针对SSD和HDD混合存储问题,提出了一个时间敏感的混合存储模型用来有效地利用SSD.该模型把SSD和HDD作为同级的存储设备,结合数据页的访问次数以及访问热度实现对页面的准确分类和分配,即将读倾向负载的hot页面分配到SSD存储,写倾向负载的页面或者cold页面分配到HDD存储,从而利用SSD和HDD不对称的I/O特性来降低系统总的I/O延迟.作者分别在基于高端SSD和中端SSD的混合存储系统上实现了提出的混合存储模型,并进行了性能评测.实验结果显示,作者提出的模型可以实现对数据页更准确的分类,可以有效地降低页面迁移代价,在较少的SSD存储条件下取得了显著的性能提升.     

针对固态硬盘的拥塞控制I/O调度器

针对固态硬盘( SSD)存储系统在高并发访问时出现的I/O路径局部拥塞效应,设计并实现了动态拥塞控制调度器。该调度器通过设置动态拥塞阈值,分化处理I/O请求,显著提高了固态硬盘存储系统的系统性能,有效改善了系统I/O路径的局部拥塞效应。实验结果表明,相对于内核NOOP调度器,该调度器使得系统平均响应时间减少20%左右,局部拥塞效应减少90%左右。     

Power-efficient and high-performance block I/O framework for mobile virtualization systems

A virtualized system generally suffers from low I/O performance, mainly caused by its inherent abstraction overhead and frequent CPU transitions between the guest and hypervisor modes. The recent research of polling-based I/O virtualization partly solved the problem, but excessive polling trades intensive CPU usage for higher performance. This article presents a power-efficient and high-performance block I/O framework for a virtual machine, which allows us to use it even with a limited number of CPU cores in mobile or embedded systems. Our framework monitors system status, and dynamically switches the I/O process mode between the exit and polling modes, depending on the amounts of current I/O requests and CPU utilization. It also dynamically controls the polling interval to reduce redundant polling. The highly dynamic nature of our framework leads to improvements in I/O performance with lower CPU usage as well. Our experiments showed that our framework outperformed the existing exit-based mechanisms by 10.8 % higher I/O throughput, maintaining similar CPU usage by only 3.1 % increment. In comparison to the systems solely based on the polling mechanism, ours reduced the CPU usage roughly down to 10.0 % with no or negligible performance loss.     

NUMA感知的持久内存存储引擎优化设计

持久性内存(persistmemory,PM)具有非易失、字节寻址、低时延和大容量等特性,打破了传统内外存之间的界限,对现有软件体系结构带来颠覆性影响.但是,当前PM硬件还存在着磨损不均衡、读写不对称等问题,特别是当跨NUMA(nonuniformmemoryaccess)节点访问PM时,存在着严重的I/O性能衰减问题.提出了一种NUMA感知的PM存储引擎优化设计,并应用到中兴新一代数据库系统GoldenX中,显著降低了数据库系统跨NUMA节点访问持久内存的开销.主要创新点包括:提出了一种DRAM+PM混合内存架构下跨NUMA节点的数据空间分布策略和分布式存取模型,实现了PM数据空间的高效使用;针对跨NUMA访问PM的高开销问题,提出了I/O代理例程访问方法,将跨NUMA访问PM开销转化为一次远程DRAM内存拷贝和本地访问PM的开销,设计了Cache Line Area (CLA)缓存页机制,缓解了I/O写放大问题,提升了本地访问PM的效率;扩展了传统表空间概念,让每个表空间既拥有独立的表数据存储,也拥有专门的WAL (write-ahead logging)日志存储,针对该分布式WA...     

基于SSD数据库负载的SQL能耗感知模型

面对大数据带来的能耗及环境方面的严峻问题，构建节能的绿色数据库系统已成为关键需求和重要挑战。针对现有数据库系统主要以性能优化为目标，缺少对能耗的感知及优化的问题，提出基于数据库负载的能耗感知模型，并将模型应用于基于固态硬盘（SSD）的数据库系统中。首先，将数据库负载执行过程中对主要系统资源（CPU、固态硬盘）的消耗解析为时间开销和功耗开销，并基于SSD数据库负载的基本I/O类型构建时间开销模型和功耗开销模型，实现为数据库构建资源开销单位统一的能耗感知模型；然后，利用多元线性回归实现对模型的求解，并分别在独占环境和竞争环境下，验证模型对不同I/O类型的数据库负载能耗估算的准确性；最后，分析实验结果，并讨论了影响模型准确性的因素。经实验验证模型准确度较高，在DBMS独占系统资源情况下的平均误差为5.15%，绝对误差不超过9.8%；竞争环境下的准确率相对下降，但平均误差也低于12.21%，可有效构建能耗感知的绿色数据库系统。     

Implementation and experimental performance evaluation of a hybrid interrupt-handling scheme

The performance of network hosts can be severely degraded when subjected to heavy traffic of today’s Gigabit networks. This degradation occurs as a result of the interrupt overhead associated with the high rate of packet arrivals. NAPI, a packet reception mechanism integrated into the latest version of Linux networking subsystem, was designed to improve Linux performance to suit today’s Gigabit traffic. NAPI is definitely a major step up from earlier reception mechanisms; however, NAPI has shortcomings and its performance can be further enhanced. A hybrid interrupt-handling scheme, which was recently proposed in Salah et al. [K. Salah, K. El-Badawi, F. Haidari, Performance Analysis and Comparison of Interrupt-Handling Schemes in Gigabit Networks, International Journal of Computer Communications, Elsevier, Amsterdam 30 (17) (2007) 3425–3441], can better improve the performance of Gigabit network hosts. The hybrid scheme switches between interrupt disabling–enabling (DE) and polling (NAPI). In this paper, we present and discuss major changes required to implement such a hybrid scheme in the latest version of Linux kernel 2.6.15. We prove experimentally that the hybrid scheme can significantly improve the performance of general-purpose network desktops or servers running network I/O-bound applications, when subjecting such network hosts to both light and heavy traffic load conditions. The performance is measured and analyzed in terms of throughput, packet loss, latency, and CPU availability.     

Xen虚拟网卡自适应中断调度优化策略

对于Xen网络工作模式来说,高负荷网络环境下大量的CPU资源将会被频繁到达的网卡中断占用,导致系统遭遇性能瓶颈,提出一种可以根据网络繁忙程度进行轮询的中断自适应调整机制,通过定义面向两种优先级不同的虚拟缓冲区,根据缓冲区中数据队列长度进行判断处理,以保证不同业务的服务质量。该机制不需要增加额外的处理单元。实验表明,当外部网络数据频繁到达时也不会引发过多的CPU中断,从而提高了CPU的利用率。     

基于硬件队列扩展的网卡虚拟化方案

多核架构的虚拟平台对偏重于I/O访问的应用普遍存在虚拟化性能开销大的问题。为此,提出一种基于驱动域的网卡虚拟化方案。通过具有独立中断的硬件队列对网卡进行硬件扩展,减少网卡I/O访问中虚拟机监控器的参与,提高访问效率。测试结果表明,在消息长度达到1 024 Byte时,使用虚拟接口的时延仅比非虚拟化环境高10%。     

NAND flash memory-based hybrid file system for high I/O performance

As the performance potentials of SSD (Solid State Device) have been recognized, adopting SSD to IT products as HDD replacements is rapidly increasing. Since SSD is organized into multiple flash memory packages, it deploys peculiar device characteristics that do not occur in HDD, such as block-unit erasure overhead. Also, its high cost per capacity is the main obstacle to building a large-scale storage subsystem with only SSDs. An alternative is to build a hybrid storage subsystem where a small portion of SSDs are integrated with HDDs so as to utilize SSD’s performance advantages in a cost-effective way. This study introduces a new form of file system, called N-hybrid (New-Form of hybrid file system), that enables us to support the hybrid device structure combined with both HDD and SSD. Our primary objectives in developing N-hybrid are to provide better I/O bandwidth by exploiting the characteristics of HDD and SSD and to provide a flexible data layout maximizing the usage of tight SSD storage resources. Several experiments were conducted to verify the effectiveness and suitability of N-hybrid.     

VBMq: pursuit baremetal performance by embracing block I/O parallelism in virtualization

Barely acceptable block I/O performance prevents virtualization from being widely used in the High-Performance Computing field. Although the virtio paravirtual framework brings great I/O performance improvement, there is a sharp performance degradation when accessing high-performance NAND-flash-based devices in the virtual machine due to their data parallel design. The primary cause of this fact is the deficiency of block I/O parallelism in hypervisor, such as KVM and Xen. In this paper, we propose a novel design of block I/O layer for virtualization, named VBMq. VBMq is based on virtio paravirtual I/O model, aiming to solve the block I/O parallelism issue in virtualization. It uses multiple dedicated I/O threads to handle I/O requests in parallel. In the meanwhile, we use polling mechanism to alleviate overheads caused by the frequent context switches of the VM’s notification to and from its hypervisor. Each dedicated I/O thread is assigned to a non-overlapping core to improve performance by avoiding unnecessary scheduling. In addition, we configure CPU affinity to optimize I/O completion for each request. The CPU affinity setting is very helpful to reduce CPU cache miss rate and increase CPU efficiency. The prototype system is based on Linux 4.1 kernel and QEMU 2.3.1. Our measurements show that the proposed method scales graciously in the multi-core environment, and provides performance which is 39.6x better than the baseline at most, and approaches bare-metal performance.     

SR-IOV密码设备中断传输过程建模

SR-IOV密码设备在虚拟化环境下执行运算时会产生大量I/O中断，导致CPU在Root模式与Non-Root模式之间频繁切换，带来巨大的系统性能开销，影响SR-IOV密码设备的运算性能。针对该问题，对SR-IOV密码设备I/O中断进行建模分析，根据密码任务先到先服务的规则构建了M/M/1排队模型，分析了影响系统性能的关键因素，并通过仿真和实验测试验证了模型的有效性，最后对系统性能进行了测试与分析。结果表明，该模型能够定量分析中断频率对中断响应时间和系统队长的影响。     

MSP430开发板可二次开发的设计实例

本设计是以TI公司研发的16位超低功耗混合信号精简指令集处理器MSP430F5504为核心,构成了功能完备的可二次开发的实验平台,可进行独立I/O口、定时器中断、A/D转换、D/A转换、串口通信、USB通信等实验。MSP430具有模块化的架构和特殊分布式的时钟模块,因而具有极大的灵活性和超低的功耗。