基于替换概率的闪存数据库缓冲区替换算法

闪存具有和传统磁盘不同的特性,包括写前擦除、异地更新、读写延迟非对称等.传统的面向磁盘的缓冲区替换算法无法在闪存数据库系统中获得较好的性能.文中提出了一种新的面向闪存数据库的缓冲区替换算法——APB-LRU,其特点:(1)该算法将缓冲区分为冷区和热区,用来捕获数据访问频度,前者用于存放只访问过一次的数据页,后者用于存放至少访问过两次的数据页;(2)采用了其它研究所没有的概率替换机制,即以较大的概率替换冷区中的干净页,以较小的概率替换冷区中的脏页,从而避免了冷脏页长期驻留缓冲区的情况,提高了命中率,获得了较好的整体性能;(3)设计了冷、热区比例动态变化机制,可以根据工作负载的变化动态调整冷、热区所占缓冲区的比例,从而使得替换算法在不同的负载模式下都可以取得较好的性能.基于不同测试数据集的大量实验结果表明,APB-LRU算法具有比其它已有的算法更好的性能.     

闪存数据库缓冲区置换算法综述

随着闪存技术的发展和闪存容量的不断增大,闪存存储被广泛应用,给闪存数据库管理带来机遇和挑战。因为闪存和磁盘读写方式不同,读写性能也有差别,所以对于闪存缓冲区的管理成为一个亟待解决的问题。为了提高闪存的访问性能,缓冲区置换算法在保证命中率的同时要尽量减少写和擦除操作的次数。对主流的闪存数据库缓冲区置换算法进行分析,比较了几种算法的优点和不足,并给出了未来研究的方向。     

基于代价的闪存数据库缓冲区置换算法

提出一种基于闪存硬盘(solid state disk,简称SSD)的自适应缓冲区管理算法CBLRU,其将数据页的置换代价与其驻留内存的影响相结合,为每个数据页附加一个权值,当发生页缺失问题时,选择具有最小权值的数据页进行置换,从而可以在延长修改页驻留缓冲区的同时,避免某些修改页长期占用缓冲区中有效空间问题的发生.由于...     

基于ARC的闪存数据库缓冲区算法

闪存是一种纯电子设备,具备体积小、数据读取速度快、能耗低、抗震性强等优点,被用来部分替代机械硬盘从而提升存储系统的性能.但是,现有的缓冲区置换算法都是针对机械硬盘的物理特性进行设计和优化,因此有必要针对闪存的物理特性重新设计缓冲区置换算法.提出一种新的面向闪存数据库的缓冲区替换算法CF-ARC.算法设计了一种新的页替换机制,即在替换干净页或者脏页的时候考虑其访问频度的大小,优先将访问频度少的干净页替换出缓冲区,使得热页继续留在缓冲区提高命中率,从而获得更好的性能,通过对实验结果的对比分析发现CF-ARC在多数情况下具有比其它置换算法更高的性能.     

一种基于闪存的缓冲区管理算法

在大多数以磁盘为存储系统的操作系统中,缓冲区管理算法只考虑到了数据访问的命中率。然而,闪存的写操作代价远远大于读操作代价。为了提高闪存性能,本文提出的O CFLRU（Optimal CFLRU）算法对于CFLRU（Clean First LRU）算法做了优化。该算法用一种页 块混合的数据结构来分别管理缓冲区中的干净页面和脏的数据页面聚簇。当缓冲区空间不够时,优先置换干净页面,再置换出脏的数据页聚簇,从而减少了写回的次数和随机写带来的擦除次数,提高了闪存的性能。     

异构网络数据缓冲区替换算法的数学建模仿真

针对异构网络数据的缓冲存储效率低、分区存储精准度、运行代价高等问题,提出异构网络数据缓冲区替换算法的数学模型.首先将异构网络数据划分为多个数据阶层,确定数据格式,同时利用新的异构网络数据传输途径控制传输链路,对控制算法的窗口大小进行计算,以此梳理数据.最后将缓冲区分为冷区与热区两部分,分析算法的干扰因素,利用交替算法完成异构网络数据缓冲区替换算法的数学建模.仿真结果表明,基于异构网络数据缓冲区替换算法的数学模型可以有效提升算法的效率和精准度,同时可以降低算法运行代价.     

闪存的数据库性能评测与优化研究

闪存是一种诞生于上世纪八十年代末的新型固态存储介质,与其他存储介质相比,具有一定的优越性,例如轻便、小巧、速度快、功耗小、抗震性能高,且不易丢失。正是由于闪存拥有诸多优点,使得其已经被逐渐运用到各种设备与系统当中。伴随着闪存存储技术的不断发展,进一步优化闪存数据库的性能,已经成为当前一项极为重要的问题。基于此,文章将对闪存及其特性加以介绍,并对闪存数据库的性能加以评测,且据此提出相应的优化措施,以进一步完善闪存数据库的性能,最后对闪存数据库的未来发展进行展望。     

一种针对闪存的高效缓冲区置换算法

随着闪存容量的不断增长和闪存应用的日益广泛,针对闪存的缓冲区管理已成为一个迫切需要解决的问题.针对闪存的写代价显著高于读代价的特性,提出一种针对闪存的页面置换算法LEAC.LEAC根据页面的读写负载和闪存的读写代价差异对换出页面引起的预期闪存访问开销进行评估,优先换出预期访问开销最低的页.实验表明,LEAC可以显著降低闪存访问开销.     

基于列式存储的闪存数据库查询优化策略

随着闪存的性能和容量的提高,闪存数据库的研究受到了广泛的关注.闪存具有随机读快、擦写代价大的特性,如何利用闪存的这个特点,减少查询时写闪存的频率,提高数据库的查询效率是闪存数据库查询研究的重要问题.已有的很多查询优化算法主要是按传统的行式存储方式来进行优化的,有一定的局限性.文中采用列式存储,提出了一种新的连接算法.该算法最小化了中间临时表,使投影数据量大大减少,达到了少写闪存、减小擦除代价的目的,从而提高了查询的效率.通过与传统行式算法的比较实验,证明了该算法的优越性.     

闪存数据库磨损均衡数据流流量控制算法优化研究

通常OMA DM的出现,为解决移动终端管理方面的难题提供了可能,这样运营商就可以更容易的得到用户终端的相关闪存数据库磨损均衡系统,包括业务的相关闪存数据库磨损均衡系统和功能闪存数据库磨损均衡系统,与此同时,移动终端也可以将运营商关注的闪存数据库磨损均衡系统自动的上报到管理平台。     

基于闪存的数据库性能评测与优化分析

随着闪存容量的不断提升,技术的不断成熟,闪存数据库成为数据库的热点研究领域之一.了解闪存的IO特性,以及现有数据库产品在闪存上的性能瓶颈所在是闪存数据库设计改进的首要一步.目前广泛使用的是由闪存制造的固态硬盘,而固态硬盘与闪存芯片的特性又有很大不同.首先测试了固态硬盘的基本IO特性,接着使用TPC-B标准对部署在固态硬盘上的通用数据库产品进行了评估.分析了缓冲区大小、CPU处理能力、用户并发数等对基于闪存数据库性能的影响.最后,结合测试结果,从数据组织、数据库资源利用等多方面给出优化建议.     

PostgreSQL闪存缓冲区置换算法扩展与性能验证

针对闪存缓冲区置换算法的性能验证基本采用仿真模拟的现状,提出了一种基于PostgreSQL的有说服力的性能验证方法,重点讨论了在PostgreSQL上扩展闪存缓冲区置换算法的方法和实现技术,并以CFLRU(clean first least recently used)和CCFLRU(cold clean first least recently used)算法为例,给出了具体的扩展过程。然后以一块固态硬盘作为数据存储设备进行性能测试,测试结果证明了基于PostgreSQL的扩展方法在缓冲区置换算法性能验证上的有效性。     

Sub-Join:面向闪存数据库的查询优化算法

固态硬盘具有高速的随机读取速度、低功耗、体积小等特点,被认为将取代磁盘成为新一代的数据存储设备。但是闪存数据库的查询性能的提高却远小于固态硬盘相比于磁盘I/O性能的提高,其原因在于现有的数据库是基于磁盘设计的,不能充分发挥固态硬盘的高速性能。提出一种名为子连接(Sub-Join)的连接算法。首先将数据表的连接列和主键投影为新的子表,然后对子表进行接连操作,最后根据子表的连接结果再从原始数据表中回取查询结果。通过和开源数据库Oracle Berkeley DB的比较实验,结果表明子连接算法比原有算法的性能提高了40%～100%,充分说明了它的优越性。     

一种基于裸闪存的Key-Value数据库优化方法

近年来,非关系型的key-value数据库得到越来越广泛的应用.然而,目前主流的key-value数据库或者是基于磁盘设计的,或者是传统的基于文件系统和闪存转换层FTL来构建的,难以发挥闪存存储设备的特性,限制了I/O的并发性能,且垃圾回收过程复杂.设计并实现了一种基于裸闪存的key-value数据管理架构Flashkv,通过用户态下的管理单元进行空间管理和垃圾回收,充分利用了闪存设备内部的并发特性,并简化了垃圾回收过程,去除了传统文件系统和FTL中的冗余功能,缩短了I/O路径.提出了基于闪存特点的I/O调度技术,优化了闪存的读写延迟,提高了吞吐率;提出了用户态缓存管理技术,降低了数据写入量和频繁系统调用所带来的开销.测试结果表明,Flashkv性能是levelDB的1.9~2.2倍,写入量减少60%~65%.     

FClock:一种面向SSD的自适应缓冲区管理算法

现有的各种基于闪存的缓冲区管理算法针对闪存读写代价的不对称性进行改进,实际中既存在同一闪存读写代价的不对称性问题,也存在不同闪存不对称性之间的巨大差异性问题,而后者一直没有得到足够的重视.文章提出一种基于闪存硬盘(SSD)的自适应缓冲区管理算法FClock,FClock将数据页组织为两个环形数据结构(CC和DC),分别用于存储缓冲区中的只读数据页和已修改数据页.当需要选择置换页时,FClock使用基于代价的启发式来选择置换页,可在未修改的数据页和已修改的数据页之间进行公平的选择,适用于不同种类的SSD.针对数据库、虚存和文件系统中数据页访问存在高相关性的特点,提出基于"平均命中距离"的访问计数方法来调整数据页的访问频率.基于不同SSD和不同存取模式的实验结果说明,FClock的综合性能优于已有方法.     

列存储模式下闪存数据库的查询优化算法

固态硬盘的高性能在现有数据库系统中未能获得提升,针对该问题,提出一种连接算法,基于列存储模式,对闪存数据库连接查询进行优化。算法充分利用列存储的存储粒度小和固态硬盘高速随机读的优点,有效克服与闪存的不匹配问题。实验结果表明,与原算法相比,该算法在不同选择率和不同内存条件下的查询时间较少。     

闪存数据库:现状、技术与展望

随着闪存存储技术的发展,闪存已经广泛应用于各种移动设备、PC机和服务器中.作为一种完全不同于磁盘的新型存储介质,闪存具有非易失、高速读写、抗震、低功耗、高存储密度等物理特性,这使得基于闪存的数据管理问题成为新的挑战.数据库系统是数据管理的重要技术,将现有的数据库系统直接移植到闪存上并不能充分发挥其硬件特性,设计实现基于闪存的数据库系统是当前的一个研究热点.文中介绍了闪存的特性和闪存转换层;总结了缓冲区、索引、查询和事务等数据库关键技术;讨论了基于闪存的混合存储数据管理.最后,基于该领域亟待解决的诸多问题,指出了未来的研究方向.     

闪存数据库管理系统的分析与设计

固态硬盘采用闪存作为存储介质,它的随机读取速度是磁盘的大约20倍,此外它还具有低功耗、抗震性强,体积小的特点,被认为是取代磁盘的新一代数据存储设备。但是传统的基于磁盘的数据库管理系统并不适用于固态硬盘,这使得固态硬盘并不能充分发挥它快速读取的优良性能。在近两年来,对闪存数据库管理系统的研究成为新兴的热门领域。本文对用于固态硬盘的闪存数据库管理系统作了简要的设计与分析。     

基于相变存储器和闪存的数据库事务恢复模型

随着闪存容量不断增大、价格不断下降,闪存在实际存储系统上得到了越来越广泛的应用.但是,闪存的页级读写、异位更新、有限寿命等阻碍了闪存数据库系统的性能提升,尤其是事务恢复.闪存的异位更新使得影子页技术可以很好地支持闪存数据库事务恢复,同时也给闪存数据库带来新挑战,如事务管理、缓冲区管理.相变存储器凭借其比闪存更高的读写速度、更小的读写粒度、更长的寿命成为了下一代主流存储技术,所以相变存储器可以用于解决在闪存数据库中使用影子页技术所产生的事务管理和缓冲区管理问题.该文基于相变存储器和闪存混合式存储提出一种全新的数据库事务恢复模型——SPFP.该模型充分利用相变存储器的特性完成事务管理.为支持非强制缓冲区管理,基于SPFP提出了一种优化的数据库事务恢复模型——SPFLP,利用相变存储器记录更多事务信息.实验结果表明,相较于全闪存存储的数据库系统,SPFLP大大提高了基于混合存储的数据库事务处理性能.     

MySQL缓冲区自适应管理仿真研究

由于MySQL使用配置参数的方式调节线性预读的阈值以及冷热LRU算法的冷热比例,导致缓冲区存在性能瓶颈。针对以上问题,提出一种缓冲区自适应管理的方法,该方法通过遗憾最小化的强化在线学习技术设计了自适应阈值调整算法以及自适应冷热缓存替换算法。首先,对MySQL中的预读算法以及冷热缓存替换算法进行深入研究,明确了预读阈值以及冷热比例大小对两种算法的具体影响;其次,通过FIFO历史队列以及增加辅助字段的方式,设计了一套参数评估流程,实时评估当前参数是偏大或偏小;最后,设计了一种参数调整模型,该模型利用MySQL原生的预读算法以及缓存替换算法的性能监控指标,实现对参数的合理调整。在FIU数据集上进行了900组仿真实验,实验表明,相较于MySQL原生的基准预读算法以及冷热缓存算法,自适应后的两种算法能够在基本不牺牲算法运行速度的基础上,有效减少8%的磁盘I/O以及增加24%的缓存命中率;相对于最新的缓存替换算法,自适应后的冷热缓存替换算法在保证缓存命中率的前提下,将速度提升至1.6倍。