基于闪存的混合存储系统缓冲区管理算法

由于基于闪存的混合存储系统充分利用了闪存的高速随机读和磁盘的快速顺序写的特性,近年来已经成为了数据库管理系统的二级存储层的高效存储模式,但其I/O访问开销是一个继续提高存储性能的瓶颈.为了降低混合存储系统的I/O访问开销,提出了一种自适应缓冲区管理算法DLSB.该算法根据数据页的逻辑代价和物理代价进行自适应的数据域选择;并在选择的数据域中,比较闪存队列和磁盘队列容量的实际值与理想值来确定数据页的置换,达到了提高I/O访问效率的目的.实验结果表明,该算法有效且可行,显著降低了混合存储系统的I/O访问开销.     

S-RAID中基于连续数据特征的写优化策略

节能型磁盘阵列S-RAID通过对磁盘分组,关闭部分磁盘,降低存储系统部分性能来实现节能.为避免启动已关闭磁盘而产生额外能耗,S-RAID中的写操作全部采用"读-改-写"方式,影响了S-RAID的写性能.本研究提出一种S-RAID的优化结构:LS-RAID,在不提高存储系统能耗的条件下,优化S-RAID的写性能.LS-RAID适用于以连续访问为主的应用,通过磁盘分区,分离存储系统中的随机访问和顺序访问,降低了随机访问对存储系统性能的影响;提出一种数据增量校验算法,避免了写过程中对数据盘旧数据的读操作,降低了因"读-改-写"导致的写惩罚.实验表明,与S-RAID相比,在不增加系统能耗的情况下,LS-RAID的写速率可以提升至少56%.在提供相同写性能的条件下,LS-RAID可以关闭更多磁盘,进一步降低了存储系统能耗,提升了节能效果.     

HybSim:一种混合型流媒体存储的仿真系统

高性能和低功耗的特点使闪存逐渐赢得广泛关注,而最常见的闪存使用方式是和内存、磁盘一起构成混合型存储系统,对于流媒体这样对存储容量和访问性能要求都非常高的应用来说尤其如此。但是,目前还缺少准确、全面的混合型存储仿真工具来支持混合存储的研究工作。首先,在对基于闪存缓存的混合存储的体系结构和能耗等关键问题进行建模的基础上,设计并实现了一套混合型流媒体存储的仿真系统HybSim。相对于目前国际上广泛使用的存储仿真系统DiskSim及其闪存补丁,HybSim增加了各类典型的混合型存储系统的实现、能耗模块、文件级管理和访问支持、流媒体服务模式支持,以及对性能、服务质量、能耗、设备耗损程度的统计模块等。基于HybSim对混合型流媒体存储系统在性能和节能两个方面进行了详细的仿真实验,并对几种典型的混合型存储系统体系结构在性能、服务质量、节能、设备磨损等方面的优劣进行了详细分析和比较。     

一种基于闪存的缓冲区管理算法

在大多数以磁盘为存储系统的操作系统中,缓冲区管理算法只考虑到了数据访问的命中率。然而,闪存的写操作代价远远大于读操作代价。为了提高闪存性能,本文提出的O CFLRU（Optimal CFLRU）算法对于CFLRU（Clean First LRU）算法做了优化。该算法用一种页 块混合的数据结构来分别管理缓冲区中的干净页面和脏的数据页面聚簇。当缓冲区空间不够时,优先置换干净页面,再置换出脏的数据页聚簇,从而减少了写回的次数和随机写带来的擦除次数,提高了闪存的性能。     

Multi-bank闪存文件系统的一种I/O调度机制

闪存以其体积小、抗震性强、能耗低、读取速度快等特点,被广泛应用于存储系统中。NOOP是闪存上传统的调度方法,但是NOOP的I/O性能较低,不能满足很多应用程序的要求。根据闪存读取速度快、多个banks(chips)可以并行运行等特点,提出了一种基于闪存文件系统YAFFS的Multi-bank闪存调度方法(简称MBS)。MBS并行地执行请求,且给予读请求更高的优先级。MBS根据AVL-based-tree机制识别出的写请求属性动态地将其分配到合适的bank中。实验结果表明,相比NOOP,MBS调度具有更高的I/O吞吐率、更短的请求响应时间并具有均匀的bank擦除次数和利用率。     

基于闪存的图像存储系统设计

针对硬盘存储图像速度慢、可靠性差的弊端,分析了以Flash作为存储介质的可行性,提出了一种基于闪存Flash的存储系统设计方案.利用并行与流水线技术相结合,有效提高了存储容量和操作速度.整个存储系统利用FPGA控制读、写、擦除以及坏块识别的逻辑时序,利用单片机管理无效块,建立有效块表.实现了对高速大容量图像数据的存储操作,满足了实际应用中高速相机的需求.     

一种针对闪存的高效缓冲区置换算法

随着闪存容量的不断增长和闪存应用的日益广泛,针对闪存的缓冲区管理已成为一个迫切需要解决的问题.针对闪存的写代价显著高于读代价的特性,提出一种针对闪存的页面置换算法LEAC.LEAC根据页面的读写负载和闪存的读写代价差异对换出页面引起的预期闪存访问开销进行评估,优先换出预期访问开销最低的页.实验表明,LEAC可以显著降低闪存访问开销.     

基于NAND闪存存储器的一种超级块闪存翻译层机制研究

NAND闪存的存储系统中,软件中间层闪存翻译层通常被用来隐藏写前必须先擦除的NAND闪存特性。介绍一种新的闪存翻译层机制,它会将相邻的逻辑块合并为一个块,称之为超级块,该超级块在闪存翻译层机制下是粗颗粒度映射,而其中的页是被细颗粒度映射到物理块的任意位置。为了减少额外的存储和闪存操作,细颗粒度映射信息被保存在NAND闪存的空闲区域。使用该混合映射技术不仅具有细颗粒度的灵活性而且只需要占用粗颗粒度的存储空间。实验结果研究表明,与其他闪存翻译层技术相比,该闪存翻译层机制减少了多达40%的垃圾回收操作。     

44B0X数据处理装置的存储系统设计

基于嵌入式系统,采用大容量Nand闪存芯片,设计了数据处理装置的存储系统。介绍数据处理装置的体系结构和Nand闪存芯片的使用方法,给出Nand闪存芯片与S3C44B0X的接口电路,编写了嵌入式uCLinux操作系统下Nand闪存芯片的驱动程序,实现了具有掉电保护功能的存储系统。     

Ripple-RAID:一种面向连续数据存储的高效能盘阵

视频监控、备份、归档等应用具有独特的负载特性和I/O访问模式,需研究特定的存储节能方法.磁盘阵列的局部并行策略有利于实现该类存储系统的节能,但通常会导致RAID执行小写操作而严重影响性能.为此,提出一种面向该类存储系统的高效能盘阵——Ripple-RAID,采用新的局部并行数据布局,通过综合运用地址转换、异地更新、基于流水技术渐进生成校验、分段数据恢复等策略,在单盘容错条件下,保持了局部并行的节能性,又有效解决了局部并行带来的小写问题.Ripple-RAID具有突出的性能和节能效率,在80%顺序写负载情况下,请求长度为512KB时,写性能为S-RAID 5的3.9倍,Hibernator、MAID写性能的1.9倍,PARAID、eRAID 5写性能的0.49倍;而比S-RAID 5节能20%,比Hibernator、MAID节能33%,比eRAID 5节能70%,比PARAID节能72%.     

嵌入式系统中闪存设备I/O软件的设计与实现

闪存作为最常用的嵌入式存储设备,其管理和访问技术对整个系统的性能有着较大的影响。目前嵌入式系统中广泛采用的闪存管理软件在可移植性、灵活性方面都存在不足。因此本文在分析了这些管理软件现存问题的基础上提出了一种比较合理的闪存I/O软件分层结构,并通过对软件的模块化设计与实现证明了该分层结构在移植性、通用性方面的优势。     

基于NOR Flash实现KV数据库的应用研究

为在水文自动测报系统遥测站的遥测终端机中基于NOR Flash存储器可靠地存放系统运行参数,分析遥测终端机中常用固态存储器的读写特点和KV键值数据库的实现方式,设计一种基于W25Q256存储器实现KV键值数据库的解决方案.方案充分应用NOR Flash存储器的读写特点,针对同一个地址重复写入的最小编程颗粒度为1 bit,结合KV键值实现一个键值对状态的顺序变化,进而通过在存储器的一段空间内顺序增加地址存放KV键值对,实现KV键值对的新增、修改、删除和检索操作,达到磨损均衡和异常掉电恢复效果.在嵌入式系统中,相较于常用的采用固定地址保存运行参数的方案,该研究方案能有效延长NOR Flash存储器的使用寿命,提高系统的稳定可靠性.     

Vertical partitioning for flash and HDD database systems

Recent advances in flash memory technology have greatly enhanced the capability of flash memory to address the I/O bottleneck problem. Flash memory has exceptional I/O performance compared to the hard disk drive (HDD). The superiority of flash memory is especially visible when dealing with random read patterns. Even though the cost of flash memory is higher than that of HDD storage, the popularity of flash memory is increasing at such a pace that it is becoming a common addition to the average computer. Recently, flash memory has been made into larger devices called solid state drives (SSDs). Although these devices can offer capacities comparable to HDDs, they are considerably more expensive per byte.Our research aims to increase the I/O performance of database systems by using a small amount of flash memory alongside HDD storage. The system uses a fully vertically partitioned storage structure where each column is stored separately on either the HDD or SSD. Our approach is to assign the columns into the SSD which will benefit the most from the characteristics of flash memory. We prove this problem is NP-complete and propose an optimal dynamic programming solution and a faster greedy heuristic solution.A system simulator has been implemented and experiments show that the overall I/O costs can be greatly reduced using only a limited amount of flash memory. The results show the greedy heuristic solution performed similarly to the more expensive dynamic programming solution for the situations tested.     

结合容量伪装和双文件系统的文件隐藏方法

针对现有基于通用串行总线(USB)移动存储设备的文件隐藏方法存在的鲁棒性差及隐藏强度低的问题,提出一种结合容量伪装和双文件系统的文件隐藏方法。在分析Nand flash芯片的特点及其管理机制的基础上,该方法通过篡改命令状态包(CSW)中的设备容量值,实现容量伪装,达到欺骗主机的目的;利用闪存转换层(FTL)存储管理机制,通过在物理块冗余区标记不同的内容把物理块分成两部分,划分隐藏区和普通区,利用格式化功能建立双文件系统;用户通过写特定数据发送切换文件系统请求,设备进行用户认证后完成文件系统切换,实现隐藏区的安全访问。理论分析和实验结果表明,该方法实现了对操作系统透明的文件隐藏;相对于挂接应用程序编程接口(API)、基于文件分配表(FAT)的修改以及加密等实现的文件隐藏方法,该方法不受系统对设备操作的影响,具有更好的鲁棒性和更高的隐藏强度。     

LD_B~+树:闪存系统上一种DBMS索引结构

以往的研究大多针对文件系统,而DBMS存在更多细粒度的更新.本文综合考虑闪存自身的特点、设备种类繁多及不同闪存设备读写特性差别大等,提出了一种基于闪存的DBMS索引结构:LD_B+树.LD_B+树根据工作负载的读写特性动态地调节索引模式使之能够适应于不同种类的闪存设备.LD_B+树采用日志结构组织结点,通过结点转换表和日志缓冲区维护索引结构.模拟实验结果表明,不同闪存设备及工作负载下,LD_B+索引结构比B+树和日志型B+树(BFTL)具有6%-63%的性能提高.     

Flash存储技术

Flash存储器具有非易失性、固态性、体积小、重量轻、抗震动、高性能、低能耗等特点.近年来,随着容量的提高和价格的降低,Flash存储器在通用计算环境中的应用技术迅速成为研究热点.研究的目的是对Flash存储技术研究现状进行分析、总结,以期为进一步的研究工作提供启发.首先介绍了Flash的存储特性,探讨了其在存储体系结构中地位,并讨论了管理Flash存储器的两种软件体系结构.然后重点分析、总结了Flash存储的各项关键技术的研究现状,包括地址映射机制、垃圾回收机制、磨损均衡策略、基于Flash的buffercache管理策略、基于Flash的索引数据结构以及基于Flash的事务处理技术.最后对Flash存储技术的研究现状进行总结,提出可能的未来研究方向.     

基于嵌入式Linux的JFFS2的研究与实现

JFFS2是基于Flash存储器是日志文件系统,是公认的嵌入式Linux文件系统。MTD驱动程序是专门为Flash设备所设计的,并且支持CFI方式访问Flash存储器。主要研究了JFFS2文件系统下,如何实现CFI方式访问Flash存储器、Flash设备分区等关键技术。并介绍了JFFS2文件系统的内核配置及编译方法。     

基于嵌入式Linux的JFFS2的研究与实现

JFFS2是基于Flash存储器是日志文件系统，是公认的嵌入式Linux文件系统。MTD驱动程序是专门为Flash设备所设计的，并且支持CFI方式访问Flash存储器。主要研究了JFFS2文件系统下，如何实现CFI方式访问Flash存储器、Flash设备分区等关键技术，并介绍了JFFS2文件系统的内核配置及编译方法。     

Modeling the aging process of flash storage by leveraging semantic I/O

The major advantages of flash memory such as small physical size, no mechanical components, low power consumption, and high performance have made it likely to replace the magnetic disk drives in more and more systems. Many research efforts have been invested in employing flash memory to build high performance and large-scale storage systems for data-intensive applications. However, the endurance cycle of flash memory has become one of the most important challenges in further facilitating the flash memory based systems. This paper proposes to model the aging process of flash memory based storage systems constructed as a Redundant Array of Independent Disks (RAID) by leveraging the semantic I/O. The model attempts to strike a balance between the program/erase cycles and the rebuilding process of RAID. The analysis results demonstrate that a highly skewed data access pattern ages the flash memory based RAID with an arbitrary aging rate, and a properly chosen threshold of aging rate can prevent the system from aging with a uniform data access pattern. The analysis results in this paper provide useful insights for understanding and designing effective flash memory based storage systems.