闪存数据库缓冲区置换算法综述

随着闪存技术的发展和闪存容量的不断增大,闪存存储被广泛应用,给闪存数据库管理带来机遇和挑战。因为闪存和磁盘读写方式不同,读写性能也有差别,所以对于闪存缓冲区的管理成为一个亟待解决的问题。为了提高闪存的访问性能,缓冲区置换算法在保证命中率的同时要尽量减少写和擦除操作的次数。对主流的闪存数据库缓冲区置换算法进行分析,比较了几种算法的优点和不足,并给出了未来研究的方向。     

基于ARC的闪存数据库缓冲区算法

闪存是一种纯电子设备,具备体积小、数据读取速度快、能耗低、抗震性强等优点,被用来部分替代机械硬盘从而提升存储系统的性能.但是,现有的缓冲区置换算法都是针对机械硬盘的物理特性进行设计和优化,因此有必要针对闪存的物理特性重新设计缓冲区置换算法.提出一种新的面向闪存数据库的缓冲区替换算法CF-ARC.算法设计了一种新的页替换机制,即在替换干净页或者脏页的时候考虑其访问频度的大小,优先将访问频度少的干净页替换出缓冲区,使得热页继续留在缓冲区提高命中率,从而获得更好的性能,通过对实验结果的对比分析发现CF-ARC在多数情况下具有比其它置换算法更高的性能.     

一种针对闪存的高效缓冲区置换算法

随着闪存容量的不断增长和闪存应用的日益广泛,针对闪存的缓冲区管理已成为一个迫切需要解决的问题.针对闪存的写代价显著高于读代价的特性,提出一种针对闪存的页面置换算法LEAC.LEAC根据页面的读写负载和闪存的读写代价差异对换出页面引起的预期闪存访问开销进行评估,优先换出预期访问开销最低的页.实验表明,LEAC可以显著降低闪存访问开销.     

PostgreSQL闪存缓冲区置换算法扩展与性能验证

针对闪存缓冲区置换算法的性能验证基本采用仿真模拟的现状,提出了一种基于PostgreSQL的有说服力的性能验证方法,重点讨论了在PostgreSQL上扩展闪存缓冲区置换算法的方法和实现技术,并以CFLRU(clean first least recently used)和CCFLRU(cold clean first least recently used)算法为例,给出了具体的扩展过程。然后以一块固态硬盘作为数据存储设备进行性能测试,测试结果证明了基于PostgreSQL的扩展方法在缓冲区置换算法性能验证上的有效性。     

基于闪存的数据库缓冲区替换算法优化研究

闪存具有和传统磁盘不同的特性,包括写前擦除、异地更新、读写延迟非对称等。传统的面向磁盘的缓冲区替换算法无法在闪存数据库系统中获得较好的性能。文中提出了一种新的面向闪存数据库的缓冲区替换算法,从而使得替换算法在不同的负载模式下都可以取得较好的性能。     

基于替换概率的闪存数据库缓冲区替换算法

闪存具有和传统磁盘不同的特性,包括写前擦除、异地更新、读写延迟非对称等.传统的面向磁盘的缓冲区替换算法无法在闪存数据库系统中获得较好的性能.文中提出了一种新的面向闪存数据库的缓冲区替换算法——APB-LRU,其特点:(1)该算法将缓冲区分为冷区和热区,用来捕获数据访问频度,前者用于存放只访问过一次的数据页,后者用于存放至少访问过两次的数据页;(2)采用了其它研究所没有的概率替换机制,即以较大的概率替换冷区中的干净页,以较小的概率替换冷区中的脏页,从而避免了冷脏页长期驻留缓冲区的情况,提高了命中率,获得了较好的整体性能;(3)设计了冷、热区比例动态变化机制,可以根据工作负载的变化动态调整冷、热区所占缓冲区的比例,从而使得替换算法在不同的负载模式下都可以取得较好的性能.基于不同测试数据集的大量实验结果表明,APB-LRU算法具有比其它已有的算法更好的性能.     

一种基于闪存的缓冲区管理算法

在大多数以磁盘为存储系统的操作系统中,缓冲区管理算法只考虑到了数据访问的命中率。然而,闪存的写操作代价远远大于读操作代价。为了提高闪存性能,本文提出的O CFLRU（Optimal CFLRU）算法对于CFLRU（Clean First LRU）算法做了优化。该算法用一种页 块混合的数据结构来分别管理缓冲区中的干净页面和脏的数据页面聚簇。当缓冲区空间不够时,优先置换干净页面,再置换出脏的数据页聚簇,从而减少了写回的次数和随机写带来的擦除次数,提高了闪存的性能。     

FClock:一种面向SSD的自适应缓冲区管理算法

现有的各种基于闪存的缓冲区管理算法针对闪存读写代价的不对称性进行改进,实际中既存在同一闪存读写代价的不对称性问题,也存在不同闪存不对称性之间的巨大差异性问题,而后者一直没有得到足够的重视.文章提出一种基于闪存硬盘(SSD)的自适应缓冲区管理算法FClock,FClock将数据页组织为两个环形数据结构(CC和DC),分别用于存储缓冲区中的只读数据页和已修改数据页.当需要选择置换页时,FClock使用基于代价的启发式来选择置换页,可在未修改的数据页和已修改的数据页之间进行公平的选择,适用于不同种类的SSD.针对数据库、虚存和文件系统中数据页访问存在高相关性的特点,提出基于"平均命中距离"的访问计数方法来调整数据页的访问频率.基于不同SSD和不同存取模式的实验结果说明,FClock的综合性能优于已有方法.     

一种改进的闪存数据库Sort-Merge-Join算法*

在对传统的Sort-Merge-Join算法进一步研究的基础上,提出了一种改进的闪存数据库Sort-Merge-Join算法。该算法只对小关系进行外排序,避免了大关系的外排序,节省了大量时间,同时最小化了中间临时表,达到了少写闪存、减小擦除代价的目的。通过理论分析和与传统Sort-Merge-Join算法在闪存上的比较实验,证明了该算法的优越性。     

基于闪存的混合存储系统缓冲区管理算法

由于基于闪存的混合存储系统充分利用了闪存的高速随机读和磁盘的快速顺序写的特性,近年来已经成为了数据库管理系统的二级存储层的高效存储模式,但其I/O访问开销是一个继续提高存储性能的瓶颈.为了降低混合存储系统的I/O访问开销,提出了一种自适应缓冲区管理算法DLSB.该算法根据数据页的逻辑代价和物理代价进行自适应的数据域选择;并在选择的数据域中,比较闪存队列和磁盘队列容量的实际值与理想值来确定数据页的置换,达到了提高I/O访问效率的目的.实验结果表明,该算法有效且可行,显著降低了混合存储系统的I/O访问开销.     

Dynamic Buffer Management for Near Video-On-Demand Systems

Advances in networking and storage technology have made it possible to deliver on-demand services over networks such as the emerging video-on-demand (VOD) applications. A variety of studies have been focused on designing a video server suitable for VOD applications. However, the number of concurrent on-demand services supported by the server is often limited by the I/O bandwidth of the storage systems. This paper describes a discrete buffer sharing model which uses batching and buffer sharing techniques in video servers to support a large number of VOD services. Two operations, splitting and merging, enable the model to fully utilize system resources such as buffers and disk bandwidths. Moreover, this paper also introduces the concept of imprecise video viewing which assumes that a limited amount of quality loss is acceptable during video playback. Based upon this assumption, three shrinking strategies are explored to reduce buffer requirements. Finally, the results of experiments show that our methods perform better than traditional buffer management techniques for VOD systems.     

一种基于闪存固态硬盘的辅助缓冲池设计

基于磁盘数据库系统的瓶颈主要在磁盘I／O,通常采用缓冲池的设计,将读到的数据页先放入到内存缓冲池后再进行操作。因此,缓存池的大小直接决定了数据库的性能。通过研究基于闪存固态硬盘的特性,提出了一种基于闪存固态硬盘的辅助缓冲池设计。最后,通过修改开源数据库MySQL InnoDB存储引擎,并通过TPC-C实验对比分析了启用辅助缓冲池后数据库的性能可有100％-320％的提高。     

基于OpenSSD的闪存转换算法优化

随着信息技术的快速发展,数据存储的需求日益增长,人们对硬盘读写性能的要求越来越高.相比于机械硬盘,固态硬盘可靠性高、能耗低,无寻道时间开销,逐渐取代机械硬盘成为主流的存储介质.但固态硬盘访问数据时需要经过转换,对应的闪存转换算法对读写性能影响很大.OpenSSD项目提供了一个可开发SSD固件的平台,基于此平台本文针对其上的闪存转换算法进行研究并优化,分析了影响I/O读写性能的各类因素,设计出一种适合Cosmos OpenSSD的缓存管理和闪存管理方法,大幅提高了Cosmos OpenSSD的性能.     

基于PROPHET路由算法的缓冲区管理

DTN网络一般采用基于消息复制的随机路由策略,由于网络中存在大量的消息副本,因此会导致中间节点缓冲区占用大,出现拥塞。为此,从冗余控制角度出发,基于PROPHET路由算法,设计用于缓冲区管理的3种机制,包括消息副本数量的控制、数据包生存期的动态设置以及已成功传输数据包的主动删除。通过限制消息副本数和删除多余消息,降低网络中消息副本总量,从而减轻节点负载。实验结果表明,在网络资源有限的情况下,上述3种机制能提高消息的成功传输率,降低网络开销。     

列存储模式下闪存数据库的查询优化算法

固态硬盘的高性能在现有数据库系统中未能获得提升,针对该问题,提出一种连接算法,基于列存储模式,对闪存数据库连接查询进行优化。算法充分利用列存储的存储粒度小和固态硬盘高速随机读的优点,有效克服与闪存的不匹配问题。实验结果表明,与原算法相比,该算法在不同选择率和不同内存条件下的查询时间较少。     

Ubase数据库系统缓冲管理器的实现

缓冲区技术是减少系统对外存访问的重要方法之一。文章分析了Ubase数据库系统缓冲管理器的基本功能,对常用页面替换算法的性能进行了比较,最终选择Love/Hate算法代替LRU算法实现了Ubase数据库系统的缓冲管理,降低了系统的开销,提高了Ubase数据库系统的性能。     

基于带缓冲网络控制系统的一种时延算法

网络控制系统中的随机时延降低系统性能。使用模型预测器可对固定时延进行补偿,但对随机时延系统稳定性降低。在执行器前加入缓冲区将随机时延转化为固定时延,最后提出一种计算缓冲区最佳等待时间的插值算法。