基于4KB数据块映射的固态硬盘算法

固态硬盘(Solid-State Drive,SSD)采用NAND型闪存(Flash Memory)为主要存储介质,闪存的读写不同于其他介质,需要闪存转换层(Flash Translation Layer,FTL)对闪存的存储空间进行管理。传统方式的映射算法随着页面(Pagesize)的逐渐扩大,在随机数据块写入的速度方面难以提升。针对这个问题,提出一种基于4KB数据块映射的闪存转换层算法,固态硬盘控制器芯片采用110nm工艺实现,集成了SATA-Ⅱ接口(3Gb/s数据传输速率),最大可以并行驱动5通道的闪存芯片。该算法结合芯片的内部资源,经过了可靠性检测,达到了预期的可靠性和读写速度。     

闪存固态硬盘系统结构与技术

闪存固态硬盘凭借其高性能、低功耗、非易失等特点已经被广泛应用于个人电脑、数据中心和云存储服务等.近10年来,随着制程工艺和微电子技术的发展,闪存固态硬盘的特性发生了显著的变化.首先介绍了闪存存储单元的基本结构和存储原理.然后讨论了闪存固态硬盘的多项控制器关键技术,包括缓存设备、地址转换层、垃圾回收、数据分配、磨损均衡以及纠错码等.这些关键技术将支撑闪存固态硬盘的正常运作.此外,探讨了闪存固态硬盘的并行结构,并分析了闪存固态硬盘并行性利用的限制条件以及最新的并行性优化工作.接着,分析了3D闪存固态硬盘的发展和堆叠式结构,并针对3D固态硬盘的性能和寿命优化工作进行了归纳和分析,提出了现有3D固态硬盘性能和寿命优化工作的不足.最后,总结了当前闪存固态硬盘的现状,并提出可能的未来研究方向.     

FEP:一个软硬件集成的闪存数据管理实验平台

闪存以及基于闪存的固态硬盘(SSD)近年来得到了快速发展,从而也带动了闪存相关的算法研究.这些算法不仅包括DBMS层面的算法,也包括SSD内部的控制算法.但是,这些算法的性能验证是目前研究中的一个难点问题,尤其是SSD内部的算法很难在现有的平台上进行实验对比.针对这一问题,提出了一个软硬件集成的闪存数据管理实验平台(flash experimental platform,FEP).该平台不仅可以为DBMS层面各类算法提供一个实验环境,也能够为SSD内部算法的验证提供有效的支持.FEP平台的硬件部分由一个自行设计的闪存存储板构成,软件部分实现了闪存驱动和闪存转换层(FTL)算法,并提供了灵活易用的二次开发接口.以4种闪存缓冲区置换算法为例,在FEP平台上进行了实现和实验验证,结果表明,FEP平台可以有效地支持闪存相关算法的实验和结果数据分析.     

Plane级的闪存固态盘并行调度算法

为有效缓解固态盘的存储瓶颈问题,针对闪存固态盘内部芯片的工作原理和物理特性,将并行调度技术引入闪存固态盘的闪存转换层(FTL)的设计中,设计并实现了一种plane级的并行调度算法,基本方法就是将一个读写请求分解成多个段,在多个plane上并行的执行,通过更均衡的分配I/O负载,可以显著提高闪存固态盘的整体读写性能。通过设置不同的芯片参数进行了模拟与测试,实验结果表明,采用并行调度技术可以有效提高闪存固态盘中存储芯片之间的并行度,以及芯片内部各个单元之间的并行度,闪存固态盘的读写延时均有较大改善。     

基于闪存的数据库性能评测与优化分析

随着闪存容量的不断提升,技术的不断成熟,闪存数据库成为数据库的热点研究领域之一.了解闪存的IO特性,以及现有数据库产品在闪存上的性能瓶颈所在是闪存数据库设计改进的首要一步.目前广泛使用的是由闪存制造的固态硬盘,而固态硬盘与闪存芯片的特性又有很大不同.首先测试了固态硬盘的基本IO特性,接着使用TPC-B标准对部署在固态硬盘上的通用数据库产品进行了评估.分析了缓冲区大小、CPU处理能力、用户并发数等对基于闪存数据库性能的影响.最后,结合测试结果,从数据组织、数据库资源利用等多方面给出优化建议.     

基于随机游走的大容量固态硬盘磨损均衡算法

基于闪存的大容量固态硬盘(SSD)能够在未来取代磁盘.它有很多优点,包括非易失性、低能耗、抗震性强等.然而,基于NAND闪存的存储块自身存在有限的擦除重写次数的问题一直影响着它的广泛应用.当闪存芯片达到擦除重写的限制次数后,存储块上的数据就会变得不可靠.目前研究者们已经提出了一些磨损均衡算法来解决这个问题.但当固态硬盘的存储容量不断增大后,这些算法需要越来越多的内存容量来保证运行.文中提出一种基于随机游走的磨损均衡算法来应用在大容量的固态硬盘上,该算法能够很大程度地减少内存消耗.实验表明所需内存容量仅为BET算法的15.6%,与此同时磨损均衡的性能并没有降低.     

FClock:一种面向SSD的自适应缓冲区管理算法

现有的各种基于闪存的缓冲区管理算法针对闪存读写代价的不对称性进行改进,实际中既存在同一闪存读写代价的不对称性问题,也存在不同闪存不对称性之间的巨大差异性问题,而后者一直没有得到足够的重视.文章提出一种基于闪存硬盘(SSD)的自适应缓冲区管理算法FClock,FClock将数据页组织为两个环形数据结构(CC和DC),分别用于存储缓冲区中的只读数据页和已修改数据页.当需要选择置换页时,FClock使用基于代价的启发式来选择置换页,可在未修改的数据页和已修改的数据页之间进行公平的选择,适用于不同种类的SSD.针对数据库、虚存和文件系统中数据页访问存在高相关性的特点,提出基于"平均命中距离"的访问计数方法来调整数据页的访问频率.基于不同SSD和不同存取模式的实验结果说明,FClock的综合性能优于已有方法.     

一种混合映射闪存转换层的设计与实现

使用NAND Flash作为存储媒介的存储设备常需要闪存转换层(FTL)对NAND进行管理。页映射是一种常见的映射方式,但需要很大的内存存放页映射表,在嵌入式环境下这一条件往往无法满足。针对该问题,提出一种基于超级块的混合映射FTL,包括坏块管理、地址翻译、垃圾回收、上电恢复,使用的SRAM空间不到128 KB,远小于页映射,同时不需要存储映射表,程序在固态硬盘开发板上成功运行,实现固态硬盘基本读写功能。测试结果表明,该混合映射FTL方案具有较好的顺序读写性能。     

闪存数据库管理系统的分析与设计

固态硬盘采用闪存作为存储介质,它的随机读取速度是磁盘的大约20倍,此外它还具有低功耗、抗震性强,体积小的特点,被认为是取代磁盘的新一代数据存储设备。但是传统的基于磁盘的数据库管理系统并不适用于固态硬盘,这使得固态硬盘并不能充分发挥它快速读取的优良性能。在近两年来,对闪存数据库管理系统的研究成为新兴的热门领域。本文对用于固态硬盘的闪存数据库管理系统作了简要的设计与分析。     

基于固态硬盘内部并行的数据库表扫描与聚集

随着基于闪存的固态硬盘在个人计算机和企业服务器上的广泛应用,固态硬盘受到学术界和工业界越来越多的关注.除了具有闪存存储器的优良特性之外,固态硬盘内部还具有丰富的并行特性.传统数据库系统的物理操作表扫描和上层聚集操作是针对磁盘的机械特性和对称读写特性而设计的,并不能发挥固态硬盘内部并行特性的优势.文中首先将固态硬盘作为一个黑盒进行探测以了解其内部的并行特性.在此基础上,对传统数据库表扫描操作进行相应的改进,提出一种并行表扫描模型ParaSSDScan以充分利用固态硬盘内部丰富的并行特性.其次,基于并行表扫描模型,文中还提出一种高效的并行聚集操作模型ParaSSDAggr,并利用该聚集操作模型实现几种常见聚集操作.最后,通过实验表明并行表扫描和并行聚集操作的性能较之传统数据库表扫描和聚集操作的性能分别提高了3倍和4倍,同时实验结果还表明并行聚集操作对内存的需求不大.并行表扫描和并行聚集操作大大提高了表扫描和聚集操作的性能,充分说明了固态硬盘内部并行特性的优越性.     

基于SSD的机群文件系统元数据存储系统

随着数据量的增加和元数据操作性能需求的提高,传统基于磁盘(HDD)存储架构的机群文件系统元数据存储系统由于HDD成为性能瓶颈而无法满足需求.将SSD应用到元数据存储中,设计实现了一个基于SSD+HDD的异构元数据存储系统Hybrid MDSL.针对SSD的I/O特性设计了基于追加写的元数据存储组织,并通过基于访问热度的数据迁移机制提高SSD空间利用率.测试结果表明,Hybrid MDSL明显提高了元数据I/O的性能.     

Sub-Join:面向闪存数据库的查询优化算法

固态硬盘具有高速的随机读取速度、低功耗、体积小等特点,被认为将取代磁盘成为新一代的数据存储设备。但是闪存数据库的查询性能的提高却远小于固态硬盘相比于磁盘I/O性能的提高,其原因在于现有的数据库是基于磁盘设计的,不能充分发挥固态硬盘的高速性能。提出一种名为子连接(Sub-Join)的连接算法。首先将数据表的连接列和主键投影为新的子表,然后对子表进行接连操作,最后根据子表的连接结果再从原始数据表中回取查询结果。通过和开源数据库Oracle Berkeley DB的比较实验,结果表明子连接算法比原有算法的性能提高了40%～100%,充分说明了它的优越性。     

面向Lustre文件系统的固态盘存储加速技术研究

磁盘的随机I/O延时制约了存储系统的性能提高,具备高性能随机I/O特性的固态盘(solid state disk,SSD)逐渐成为关注的热点.分析了磁盘、Flash型SSD以及DRAM型SSD三类设备不同的性能特点,讨论了SSD存储加速技术的研究现状,提出了一种面向Lustre文件系统的固态盘存储加速系统架构,介绍和分析了各模块的构成与原理,提出了对象迁移策略.     

A hybrid filesystem for hard disk drives in tandem with flash memory

The traditional hard disk drive (HDD) is often a bottleneck in the overall performance of modern computer systems. With the development of solid state drives (SSD) based on flash memory, new possibilities are available to improve secondary storage performance. In this work, we propose a new hybrid SSD–HDD storage system and a selection of algorithms designed to assign pages across an HDD and an SSD to optimise I/O performance. The hybrid system combines the advantages of the SSD’s fast random seek speed with the sequential access speed and large storage capacity of the HDD to produce significantly improved performance in a variety of situations. We further improve performance by allowing concurrent access across the two types of storage devices. We show the drive assignment problem is NP-complete and accordingly propose effective heuristic solutions. Extensive experiments using both synthetic and real data sets show our system with a small SSD can outperform a striped dual HDD and remain competitive with a dual SSD.     

NAND flash memory-based hybrid file system for high I/O performance

As the performance potentials of SSD (Solid State Device) have been recognized, adopting SSD to IT products as HDD replacements is rapidly increasing. Since SSD is organized into multiple flash memory packages, it deploys peculiar device characteristics that do not occur in HDD, such as block-unit erasure overhead. Also, its high cost per capacity is the main obstacle to building a large-scale storage subsystem with only SSDs. An alternative is to build a hybrid storage subsystem where a small portion of SSDs are integrated with HDDs so as to utilize SSD’s performance advantages in a cost-effective way. This study introduces a new form of file system, called N-hybrid (New-Form of hybrid file system), that enables us to support the hybrid device structure combined with both HDD and SSD. Our primary objectives in developing N-hybrid are to provide better I/O bandwidth by exploiting the characteristics of HDD and SSD and to provide a flexible data layout maximizing the usage of tight SSD storage resources. Several experiments were conducted to verify the effectiveness and suitability of N-hybrid.     

Vertical partitioning for flash and HDD database systems

Recent advances in flash memory technology have greatly enhanced the capability of flash memory to address the I/O bottleneck problem. Flash memory has exceptional I/O performance compared to the hard disk drive (HDD). The superiority of flash memory is especially visible when dealing with random read patterns. Even though the cost of flash memory is higher than that of HDD storage, the popularity of flash memory is increasing at such a pace that it is becoming a common addition to the average computer. Recently, flash memory has been made into larger devices called solid state drives (SSDs). Although these devices can offer capacities comparable to HDDs, they are considerably more expensive per byte.Our research aims to increase the I/O performance of database systems by using a small amount of flash memory alongside HDD storage. The system uses a fully vertically partitioned storage structure where each column is stored separately on either the HDD or SSD. Our approach is to assign the columns into the SSD which will benefit the most from the characteristics of flash memory. We prove this problem is NP-complete and propose an optimal dynamic programming solution and a faster greedy heuristic solution.A system simulator has been implemented and experiments show that the overall I/O costs can be greatly reduced using only a limited amount of flash memory. The results show the greedy heuristic solution performed similarly to the more expensive dynamic programming solution for the situations tested.     

一种基于请求大小的固态盘I／O调度算法

对于同类型的I／O请求,基于闪存固态盘的请求响应时间与请求大小基本呈线性比例关系,并且固态盘的读写性能具有非对称性。针对该特性,提出一种基于请求大小的固态盘I／O调度（SIOS）算法,从I／O请求平均响应时间的角度提高固态盘设备的I／O性能。根据读写性能的非对称性,对读写请求进行分组并且优先处理读请求。在此基础上首先处理等待队列中的小请求,从而减少队列中请求的平均等待时间。采用SLC和MLC2种类型的固态盘进行实验,在5种测试负载的驱动下与Linux系统中的3种调度算法进行比较,对于SLC固态盘,SIOS平均响应时间分别减少18．4％、25．8％、14．9％、14．5％和13．1％,而对于MLC固态盘,平均响应时间分别减少16．9％、24．4％、13．1％、13．0％和13．7％,结果表明,SIOS能有效减少I／O请求的平均响应时间,提高固态盘存储系统的I／O性能。     

固态硬盘概述

固态硬盘是利用半导体存储片来存储数据的装置。相较传统硬盘,固态硬盘在某些方面具有较大的优势。本文分别就固态硬盘的定义、分类、特点、结构和工作原理进行了系统的介绍,并且讨论了它的热点技术及发展趋势。固态硬盘应用领域愈加广泛,有望取代传统硬盘。     

基于磁盘和固态硬盘的混合存储系统研究综述

大数据和云计算环境下海量增长的数据对存储系统的超高容量和体系结构带来了极大的挑战。目前存储系统的发展趋向于大容量、低成本和高性能,然而任何单一的存储器件如传统的机械磁盘（HDD）、固态硬盘（SSD）、非易失型性随机存储器等由于其固有的物理特性的限制,并不能满足以上的需求。将不同的存储介质混合组合成高效的存储系统是一个好的解决方法,固态硬盘作为一种高可靠性、低能耗、高性能的存储器被越来越广泛地运用到混合存储系统。通过将固态硬盘与传统磁盘进行组合,利用固态硬盘的高性能和传统磁盘低成本大容量的特点,能够为用户提供大容量的存储空间,保证系统的高性能,同时还能降低成本。通过阐述SSD与HDD混合存储系统的研究现状,对不同的SSD与HDD混合存储系统进行分类总结;然后针对缓存架构和设备同层架构这两种目前最流行的存储架构中涉及到的关键技术和不足进行讨论;最后对基于SSD和HDD的混合存储技术进行概括总结,并对今后该领域的研究重点和方向进行展望。     

基于写数据页聚簇的固态硬盘缓冲算法

针对Flash写前需擦除,读写I／O开销不均衡等固有缺陷,研究面向闪存缓冲区管理,对提高基于Flash的固态硬盘（SolidState Disk,SSD）访问性能具有重要理论意义和应用价值．通过分析SSD关键技术及现有缓冲区管理算法,实现了一种适用于SSD的基于写数据页聚簇缓冲算法．文章中详细介绍了该算法关键技术及原理,并通过FlashSim仿真平台实现SSD写缓冲．基于仿真结果与传统缓冲算法性能比对,分析得出该缓冲算法可降低SSD随机写次数和SSD数据存储分散性,并提升SSD响应速度．