列存储模式下闪存数据库的查询优化算法

固态硬盘的高性能在现有数据库系统中未能获得提升,针对该问题,提出一种连接算法,基于列存储模式,对闪存数据库连接查询进行优化。算法充分利用列存储的存储粒度小和固态硬盘高速随机读的优点,有效克服与闪存的不匹配问题。实验结果表明,与原算法相比,该算法在不同选择率和不同内存条件下的查询时间较少。     

闪存存储的重构与系统构建技术

近些年来,闪存存储在嵌入式、桌面机、服务器及数据中心领域中均得到了快速而广泛的应用.如何高效发挥闪存效率是近来存储系统研究中的一个重要的问题.传统存储系统以磁盘为基础的设计维系了60余年,基于现有存储系统的优化对闪存优势的发挥效果甚微.因而,重构闪存存储成为近年来的研究热点.对该研究方向的研究现状与进展进行介绍.首先,介绍了闪存与固态盘的特性,并分析了当前闪存存储结构的问题;然后,介绍了闪存存储架构从设备内FTL、主机端FTL、软件直管闪存以及开放可编程闪存的演进;接着,从软件直管闪存的软件定义和硬件卸载2个方面,分别介绍基于开放通道SSD的存储系统和基于近数据处理的闪存存储系统;最后总结了闪存存储重构和系统构建技术的挑战与下一步研究的问题.     

闪存固态硬盘系统结构与技术

闪存固态硬盘凭借其高性能、低功耗、非易失等特点已经被广泛应用于个人电脑、数据中心和云存储服务等.近10年来,随着制程工艺和微电子技术的发展,闪存固态硬盘的特性发生了显著的变化.首先介绍了闪存存储单元的基本结构和存储原理.然后讨论了闪存固态硬盘的多项控制器关键技术,包括缓存设备、地址转换层、垃圾回收、数据分配、磨损均衡以及纠错码等.这些关键技术将支撑闪存固态硬盘的正常运作.此外,探讨了闪存固态硬盘的并行结构,并分析了闪存固态硬盘并行性利用的限制条件以及最新的并行性优化工作.接着,分析了3D闪存固态硬盘的发展和堆叠式结构,并针对3D固态硬盘的性能和寿命优化工作进行了归纳和分析,提出了现有3D固态硬盘性能和寿命优化工作的不足.最后,总结了当前闪存固态硬盘的现状,并提出可能的未来研究方向.     

闪存进军企业级存储

闪存在体积、质量、能耗、传输速度、抗震性等方面优于硬盘,但高昂成本及有限容量是其需要突破的瓶颈。在1984年,东芝公司的发明人Fujio Masuoka首先提出了快速闪存存储器的概念。这时的闪年就像它的名字一样,充满速度,因为闪存与传统电脑内存不同,它所存储的数据在主机掉电后不会丢失,其记录速度也非常快。Fujio Masuoka没有想到,这样一     

基于OpenSSD的闪存转换算法优化

随着信息技术的快速发展,数据存储的需求日益增长,人们对硬盘读写性能的要求越来越高.相比于机械硬盘,固态硬盘可靠性高、能耗低,无寻道时间开销,逐渐取代机械硬盘成为主流的存储介质.但固态硬盘访问数据时需要经过转换,对应的闪存转换算法对读写性能影响很大.OpenSSD项目提供了一个可开发SSD固件的平台,基于此平台本文针对其上的闪存转换算法进行研究并优化,分析了影响I/O读写性能的各类因素,设计出一种适合Cosmos OpenSSD的缓存管理和闪存管理方法,大幅提高了Cosmos OpenSSD的性能.     

闪存助阵，PC存储大提速 英特尔Robson技术与三星Hybrid混合硬盘揭秘

Flash闪存的速度显然远不如DRAM，但还是比机械结构且依靠磁性方式读写的硬盘快上许多，同时，它也具备和硬盘相同的掉电不丢失数据特性，如果使用Flash闪存来取代硬盘作为主要的数据读写装置，那么电脑的效率将大幅度提升。[编者按]     

闪存数据库管理系统的分析与设计

固态硬盘采用闪存作为存储介质,它的随机读取速度是磁盘的大约20倍,此外它还具有低功耗、抗震性强,体积小的特点,被认为是取代磁盘的新一代数据存储设备。但是传统的基于磁盘的数据库管理系统并不适用于固态硬盘,这使得固态硬盘并不能充分发挥它快速读取的优良性能。在近两年来,对闪存数据库管理系统的研究成为新兴的热门领域。本文对用于固态硬盘的闪存数据库管理系统作了简要的设计与分析。     

了解闪存的数据存储

目前，闪存已经成为应用最广的移动存储介质之一。闪存不仅具有RAM可擦写、可编程的优点，而且还具有ROM写入的数据在断电后不会消失的优点。闪存读写速度极快，而且可以用单电压进行读写和编程，为便携式设备的在线操作提供了极大的便利。     

基于位置跳变的闪存数据安全存储方法

闪存(Flash)器件在电子设备中已经得到广泛应用,其存储安全问题也日益受到关注。多数情况下消费类电子产品中没有特定的安全存储硬件,闪存是其唯一的非易失存储器,因而敏感数据也只能与普通数据一起保存在闪存之中。虽然可以使用存储加密的手段,但密钥仍不得不存放于闪存自身。这使得一旦攻击者可以获得闪存器件的物理镜像,就可以相对容易的获取密钥等敏感数据,进而获得所有的明文数据。本文提出了一种基于位置跳变的闪存数据安全存储方案,通过随机改变敏感数据在闪存的存储位置,大大降低了敏感数据存储位置的可预见性,从而显著增加了攻击者通过闪存物理镜像揭示敏感数据的难度。     

基于列式存储的闪存数据库查询优化策略

随着闪存的性能和容量的提高,闪存数据库的研究受到了广泛的关注.闪存具有随机读快、擦写代价大的特性,如何利用闪存的这个特点,减少查询时写闪存的频率,提高数据库的查询效率是闪存数据库查询研究的重要问题.已有的很多查询优化算法主要是按传统的行式存储方式来进行优化的,有一定的局限性.文中采用列式存储,提出了一种新的连接算法.该算法最小化了中间临时表,使投影数据量大大减少,达到了少写闪存、减小擦除代价的目的,从而提高了查询的效率.通过与传统行式算法的比较实验,证明了该算法的优越性.     

一种基于分类策略的聚簇页级闪存转换层算法

提出一种基于分类策略的聚簇页级闪存转换层算法——CPFTL.1)CPFTL将地址映射缓存分为热映射表缓存、冷映射表缓存和连续映射表缓存,分别用来缓存访问频繁的请求的映射项、访问不频繁的请求的映射项和高空间本地性的连续请求的映射项,有效提升各类请求的处理能力;2)为利用连续请求的空间本地性,CPFTL的连续映射表缓存预取多个连续的映射项,提高它对连续请求的响应性能;3)为减少页级映射算法的转换页读写开销,CPFTL的冷映射表缓存采用聚簇策略,即将属于同一转换页中的映射项进行聚簇,按簇进行LRU管理,当冷映射表缓存满时,根据簇的映射项个数和LRU选取合适的簇剔除到闪存.实验结果显示,相比经典的页级DFTL算法和最新的SDFTL算法,CPFTL的缓存命中率、平均响应时间、地址转换页操作次数和闪存块擦除次数都有显著提升.     

基于日志翻译层的冗余闪存阵列研究

为了适应在苛刻嵌入式环境下对闪存存储提出的高可用性和高可靠性要求,人们难免想到借鉴RAID的思想设计类似的闪存的冗余存储方案.但是,闪存的物理特性、接入系统的方式等均与磁盘有着较大差异,这就决定了不能在闪存上直接应用RAID机制.为了能在闪存上使用RAID,提出了日志翻译层(journaling translation layer,JTL).JTL通过建立逻辑擦除块到物理擦除块的动态映射来处理闪存芯片特有的物理限制;它引入日志系统到映射管理中,有效减少了对芯片的磨损,延长了其寿命,并提高了系统的鲁棒性.把类似的RAID机制建立在JTL之上,从而实现了冗余闪存阵列.     

一种基于闪存的缓冲区管理算法

在大多数以磁盘为存储系统的操作系统中,缓冲区管理算法只考虑到了数据访问的命中率。然而,闪存的写操作代价远远大于读操作代价。为了提高闪存性能,本文提出的O CFLRU（Optimal CFLRU）算法对于CFLRU（Clean First LRU）算法做了优化。该算法用一种页 块混合的数据结构来分别管理缓冲区中的干净页面和脏的数据页面聚簇。当缓冲区空间不够时,优先置换干净页面,再置换出脏的数据页聚簇,从而减少了写回的次数和随机写带来的擦除次数,提高了闪存的性能。     

针对Flash存储介质的数据恢复技术研究

针对Flash存储介质的数据恢复技术是信息安全领域中一个非常重要的研究课题。Flash存储介质有其独特的、不同于磁存储介质的存储特性,所以在数据存储方式上也与磁存储介质有所不同。针对Flash存储介质的存储特性而设计的闪存文件系统通过闪存转换层来实现数据的读写和芯片的管理。因此从文件系统级和芯片级两个方面对Flash存储介质的数据恢复技术进行了研究,并提出了下一步工作方向。     

一种基于闪存固态硬盘的辅助缓冲池设计

基于磁盘数据库系统的瓶颈主要在磁盘I／O,通常采用缓冲池的设计,将读到的数据页先放入到内存缓冲池后再进行操作。因此,缓存池的大小直接决定了数据库的性能。通过研究基于闪存固态硬盘的特性,提出了一种基于闪存固态硬盘的辅助缓冲池设计。最后,通过修改开源数据库MySQL InnoDB存储引擎,并通过TPC-C实验对比分析了启用辅助缓冲池后数据库的性能可有100％-320％的提高。     

一种优化的闪存地址映射方法

近年来,NAND闪存广泛应用于各类嵌入式系统.由于“异地更新”的限制,闪存中需要地址映射方法将来自文件系统的逻辑地址转换为闪存中的物理地址.随着闪存存储空间的日益增长,如何使地址映射表占用较小的内存而又不损失较多性能,成为一个重要的问题.基于需求的页级地址映射方法能够有效地解决这个问题,然而该方法会产生地址转换页操作的额外开销,影响系统性能.从基于需求的地址映射方法出发,从两方面进行优化：首先,为了减少转换页的频繁更新,提出了页级地址映射缓存技术以统一在闪存和内存中的地址映射信息的粒度;其次,设计了基于地址转换页的数据聚集技术.通过该技术,每个数据块在垃圾回收时产生的地址转换页的更新开销被降至最低.实验用一系列基准数据集并与之前代表性的工作进行比较,结果表明,优化的地址映射方法能够大量减少额外地址转换页的开销,并提高闪存存储系统的性能.     

基于闪存的高速海量存储模块设计

鉴于嵌入式实时存储领域对存储带宽与容量的高要求,设计一种高速海量存储模块。模块由高密度NAND Flash存储阵列、大规模FPGA和高性能DSP构成,通过FPGA与DSP对数据存储过程的联合控制,实现海量数据的超高速存储。给出模块的存储管理设计与DSP软件设计。实际应用验证了该存储模块的实用性。     

基于非易失存储器的事务存储系统综述

随着非易失存储器的出现和广泛使用,存储体系结构正在发生根本改变.传统数据库系统与文件系统事务处理技术大多基于磁盘设备,设计之初并未考虑非易失存储器特性.为了充分利用非易失存储器特性,缩小计算机系统的I/O性能与CPU处理性能之间的差距,基于非易失存储器的事务存储系统与技术成为了研究热点.首先讨论了软件层事务处理技术的现状,分别介绍了传统数据库系统与文件系统事务处理常用技术;然后依据闪存和相变内存进行划分,对现有基于非易失存储器的事务存储系统与技术进行了讨论;最后给出了基于非易失存储器的事务存储系统研究展望.在基于闪存的事务存储相关研究中,首先分析了使用传统设备接口闪存设备加速事务处理的系统设计,然后重点分析了基于专用事务接口的事务闪存存储系统研究,并对基于闪存的事务存储系统不同研究进行了比较.在基于相变内存的事务存储相关研究中,分别分析并比较了相变内存在主存环境和外存环境提供事务处理的技术,重点讨论了日志与缓存融合技术、细粒度日志技术等关键问题.     

基于PCI Express的闪存存储系统设计

通过采用PCI Express接口,应用并行和流水线技术,提高存储系统的读写速率。设计闪存映射层算法,在不降低系统读写性能的基础上易于管理数据。该方案在Virtex 5 FPGA上实现,并对其性能进行测试,结果表明,数据连续写速率达到400 MB/s,读速率达到500 MB/s,能满足高端应用的需求。