无线Mesh网络中节点分级协作缓冲机制研究

在无线Mesh中,由于每个节点缓冲的数据量不同,可能会造成某些节点的缓冲区利用率低,某些节点因为缓冲任务繁重而进行频繁的数据置换操作,从而造成节点存储空间使用不均衡,降低数据缓冲的效率。提出了一种基于节点分级管理的协作缓冲算法,该算法为网络中的每个节点在网络中构造一个分布式缓冲区域,利用该缓冲区域来替代节点本身的缓冲区,通过合理地利用每个节点的存储空间,增加单个节点的数据缓冲能力。理论分析和实验结果表明,该算法可以有效提高数据访问命中率,减少缓冲区数据的置换操作,降低节点的能量消耗。     

数据缓冲区自适应优化算法的模拟研究

为决定数据库在复杂负载下运行时,数据缓冲区自适应优化所要求的大小与方向,提出了基于模拟仿真的自适应优化算法,通过建立模拟数据缓冲区(simulated buffer pool,SBP)来决定调整的方向。应用缓冲错失公式(buffer miss equation,BME)结合基于模拟仿真自适应优化算法监测数据库运行状态时所获得的一系列关键数据,来确定优化调整的具体方案。实验结果表明,该算法提升了数据库整体性能,并在长时间内保持性能高效稳定。     

一种闪存敏感的多级缓存管理方法

基于闪存的固态硬盘(solid state driver,简称SSD)已经广泛应用于各种移动设备、PC机和服务器.与磁盘相比,尽管SSD具有数据存取速度高、抗震、低功耗等优良特性,但SSD自身也存在读写不对称、价格昂贵等不利因素,这使得SSD 短期内不会完全取代磁盘.将SSD和磁盘组合构建混合系统,可以发挥不同的硬件特性,提升系统性能.基于 MLC 型 SSD 和 SLC 型 SSD 之间的特性差异,提出了一种闪存敏感的多级缓存管理策略——FAMC.FAMC将SSD用在内存和磁盘之间作扩展缓存,针对数据库系统、文件管理中数据访问的特点,有选择地将内存牺牲页缓存到不同类型的SSD.FAMC同时考虑写请求模式和负载类型对系统性能的影响,设计实现对SSD友好的数据管理策略.此外,FAMC基于不同的数据置换代价提出了适用于SSD的缓冲区管理算法.基于多级缓存存储系统对FAMC的性能进行了评测,实验结果表明,FAMC可以大幅度降低系统响应时间,减少磁盘I/O.     

基于网络流量预测的抖动缓冲控制算法

根据网络流量的变化规律,提出自回归模型下的抖动缓冲控制算法。通过改进的随机中点置位算法,建立具有突发性和自相似 性的网络业务流量预测模型。依据网络流量的预测值设置缓冲区大小,并在使用中不断改进以提高缓冲区设置精度。采用Matlab软件对抖动缓冲控制算法进行仿真,基于E-modle对语音质量进行评估,结果表明该算法在没有其他服务质量保证的情况下,MOS值均在中级标准以上,较好地改善了网络电话的语音质量。     

一种生成动态随机数的并行算法

针对软件难以生成高质量随机数的问题,提出一种基于并行结构的随机数生成算法。该算法采用关联系统和数据缓冲机制,利用读过程和写过程的时间差值实现对缓冲区域数据的动态化,提高了随机数质量。测试该算法生成的随机序列,结果表明在NIST800—22标准下,其通过率大于99．7％。     

异构网络数据缓冲区替换算法的数学建模仿真

针对异构网络数据的缓冲存储效率低、分区存储精准度、运行代价高等问题,提出异构网络数据缓冲区替换算法的数学模型.首先将异构网络数据划分为多个数据阶层,确定数据格式,同时利用新的异构网络数据传输途径控制传输链路,对控制算法的窗口大小进行计算,以此梳理数据.最后将缓冲区分为冷区与热区两部分,分析算法的干扰因素,利用交替算法完成异构网络数据缓冲区替换算法的数学建模.仿真结果表明,基于异构网络数据缓冲区替换算法的数学模型可以有效提升算法的效率和精准度,同时可以降低算法运行代价.     

QPRED:一种公平多级主动缓冲管理算法

DiffServ模型是当前实现IP QoS的体系结构之一，在其实现中，缓冲管理技术是很重要的一个方面．根据：DiffServ模型实现的需要，在分析现有缓冲管理算法的基础上，提出了QPRED多级主动缓冲管理算法，这种算法在分组分类的粒度上提供了分级的缓冲管理能力，并将每一类分组的缓冲状态引入到了分组丢弃概率的计算中，同时结合优先级因子实现了类和类之间在优先级意义上的公平性．通过分析和仿真，证明了QPRED算法的性能．与现有的缓冲管理算法相比，QPRED多级主动缓冲管理算法更适合于DiffServ模型的要求．     

基于Hadoop二阶段并行模糊c-Means数据聚类算法

为了解决MapReduce机制下算法通信时间占用比过高实际应用价值受限的问题,提出了基于Hadoop二阶段并行c-Means聚类算法;首先,采用成员管理协议方式实现成员管理与MapReduce降低操作的同步化方法,改进MapReduce机制下的MPI通讯管理方法;其次,实行典型个体组降低操作代替全局个体降低操作,并定义二阶段缓冲算法,通过第一阶段的缓冲进一步降低第二阶段MapReduce操作的数据量,尽可能降低大数据带来的对算法负面影响;通过仿真实验表明该算法在处理大数据上的性能表现较为优异;该算法在大规模数据集上的并行率和加速比都优于小型数据集上的表现,说明了该算法能够实时根据数据量的大小对自身进行调整。     

PostgreSQL数据库缓冲管理的分析与研究

随着关系型数据库概念的提出,越来越多的关系型数据库管理系统(RDBMS)也先后出现,而存储系统是整个DBMS的基础,其性能的好坏决定着数据库整体的优劣.针对这一情况,分析了开源数据库PostgreSQL的存储系统模块.存储系统涉及很多关键技术,而缓冲区正是整个存储系统模块的核心部分,重点阐述了PostgreSQL缓冲区管理子模块内部的组织架构与实现机制,在PostgreSQL 8.4.2缓冲区部分源码的基础上提出结论.结论指出了缓冲区管理模块的实现机制,并通过对比分析了其内部本地缓冲区和共享缓冲区的优劣.     

FClock:一种面向SSD的自适应缓冲区管理算法

现有的各种基于闪存的缓冲区管理算法针对闪存读写代价的不对称性进行改进,实际中既存在同一闪存读写代价的不对称性问题,也存在不同闪存不对称性之间的巨大差异性问题,而后者一直没有得到足够的重视.文章提出一种基于闪存硬盘(SSD)的自适应缓冲区管理算法FClock,FClock将数据页组织为两个环形数据结构(CC和DC),分别用于存储缓冲区中的只读数据页和已修改数据页.当需要选择置换页时,FClock使用基于代价的启发式来选择置换页,可在未修改的数据页和已修改的数据页之间进行公平的选择,适用于不同种类的SSD.针对数据库、虚存和文件系统中数据页访问存在高相关性的特点,提出基于"平均命中距离"的访问计数方法来调整数据页的访问频率.基于不同SSD和不同存取模式的实验结果说明,FClock的综合性能优于已有方法.     

利用页面重构与数据温度识别的闪存缓存算法

基于闪存的固态盘(SSD)具有比磁盘更加优越的性能,并且在桌面系统中逐渐替代磁盘.但是,尽管在SSD中嵌入了DRAM作为缓存,闪存在不断写入的过程中也可能产生不稳定的写性能,主要是因为逻辑页写入时会频繁引发非覆盖写和垃圾回收操作.针对此问题,提出了一种叫作PRLRU的新型闪存缓存管理方法,通过页面重构机制以及数据温度识...     

一种基于闪存的缓冲区管理算法

在大多数以磁盘为存储系统的操作系统中,缓冲区管理算法只考虑到了数据访问的命中率。然而,闪存的写操作代价远远大于读操作代价。为了提高闪存性能,本文提出的O CFLRU（Optimal CFLRU）算法对于CFLRU（Clean First LRU）算法做了优化。该算法用一种页 块混合的数据结构来分别管理缓冲区中的干净页面和脏的数据页面聚簇。当缓冲区空间不够时,优先置换干净页面,再置换出脏的数据页聚簇,从而减少了写回的次数和随机写带来的擦除次数,提高了闪存的性能。     

Integrated write buffer management for solid state drives

NAND flash memory-based Solid State Drives (SSD) have many merits, in comparison to the traditional hard disk drives (HDD). However, random write within SSD is still far slower than sequential read/write and random read. There are two independent approaches for resolving this problem as follows: (1) using overprovisioning so that reserved portion of the physical memory space can be used as, for example, log blocks, for performance enhancement, and (2) using internal write buffer (DRAM or Non-Volatile RAM) within SSD. While log blocks are managed by the Flash Translation Layer (FTL), write buffer management has been treated separately from the FTL. Write buffer management schemes did not use the exact status of log blocks, and log block management schemes in FTL did not consider the behavior of the write buffer management scheme. This paper first demonstrates that log blocks and write buffers maintain a tight relationship, which necessitates integrated management to both of them. Since log blocks can also be viewed as another type of write buffer, we can manage both of them as an integrated write buffer. Then we propose an Integrated Write buffer Management scheme (IWM), which collectively manages both the write buffer and log blocks. The proposed scheme greatly outperforms previous schemes in terms of write amplification, block erase count, and execution time.     

基于持久性内存和SSD的后端存储MixStore

持久性内存(persistent memory,PMEM)同时具备内存的低时延字节寻址和磁盘的持久化特性,将对现有软件架构体系产生革命性的变化和深远的影响.分布式存储在云计算和数据中心得到了广泛的应用,然而现有的以Ceph BlueStore为代表的后端存储引擎是面向传统机械盘和固态硬盘(solid state disk,SSD)设计的,其原有的优化设计机制不适合PMEM特性优势的发挥.提出了一种基于持久性内存和SSD的后端存储MixStore,通过易失区段标记和待删除列表技术实现了适用于持久性内存的并发跳表,用于替代RocksDB实现元数据管理机制,在保证事务一致性的同时,消除了BlueStore的compaction所引发的性能抖动等问题,同时提升元数据的并发访问性能;通过结合元数据管理机制的数据对象存储优化设计,把非对齐的小数据对象存放在PMEM中,把对齐的大块数据对象存储在SSD上,充分发挥了PMEM的字节寻址、持久性特性和SSD的大容量低成本优势,并结合延迟写入和CoW(copy-on-write)技术实现数据更新策略优化,消除了BlueStore的WAL日志引起的写放大,提升小数据写入性能.测试结果表明,在同样的硬件环境下,相比BlueStore,MixStore的写吞吐提升59%,写时延降低了37%,有效地提升了系统的性能.     

基于随机游走的大容量固态硬盘磨损均衡算法

基于闪存的大容量固态硬盘(SSD)能够在未来取代磁盘.它有很多优点,包括非易失性、低能耗、抗震性强等.然而,基于NAND闪存的存储块自身存在有限的擦除重写次数的问题一直影响着它的广泛应用.当闪存芯片达到擦除重写的限制次数后,存储块上的数据就会变得不可靠.目前研究者们已经提出了一些磨损均衡算法来解决这个问题.但当固态硬盘的存储容量不断增大后,这些算法需要越来越多的内存容量来保证运行.文中提出一种基于随机游走的磨损均衡算法来应用在大容量的固态硬盘上,该算法能够很大程度地减少内存消耗.实验表明所需内存容量仅为BET算法的15.6%,与此同时磨损均衡的性能并没有降低.     

Buffer flush and address mapping scheme for flash memory solid-state disk

The flash memory solid-state disk (SSD) is emerging as a killer application for NAND flash memory due to its high performance and low power consumption. To attain high write performance, recent SSDs use an internal SDRAM write buffer and parallel architecture that uses interleaving techniques. In such architecture, coarse-grained address mapping called superblock mapping is inevitably used to exploit the parallel architecture. However, superblock mapping shows poor performance for random write requests. In this paper, we propose a novel victim block selection policy for the write buffer considering the parallel architecture of SSD. We also propose a multi-level address mapping scheme that supports small-sized write requests while utilizing the parallel architecture. Experimental results show that the proposed scheme improves the I/O performance of SSD by up to 64% compared to the existing technique.     

Flash存储管理的研究与设计

针对目前存储管理对大容量NAND Flash考虑的不足,在对大容量NAND Flash物理特性深入研究的基础上,实现了连续写与非连续写技术,提高了存储管理的效率.首先研究并实现了特有的状态信息描述方法,完全符合大容量MLC类型NAND Flash的物理特性,研究并实现了区域映射技术,适用于任何容量的闪存,并实现了连续写与非连续写技术,提高了写大文件的效率.实验结果表明,该方法在文件传输方面最大限度地挖掘了MLC类型NAND Flash的性能.     

一种基于闪存固态硬盘的辅助缓冲池设计

基于磁盘数据库系统的瓶颈主要在磁盘I／O,通常采用缓冲池的设计,将读到的数据页先放入到内存缓冲池后再进行操作。因此,缓存池的大小直接决定了数据库的性能。通过研究基于闪存固态硬盘的特性,提出了一种基于闪存固态硬盘的辅助缓冲池设计。最后,通过修改开源数据库MySQL InnoDB存储引擎,并通过TPC-C实验对比分析了启用辅助缓冲池后数据库的性能可有100％-320％的提高。     

Study of the performance impact of a cache buffer in solid-state disks

An SSD generally has a small memory, called cache buffer, to increase its performance and the frequently accessed data are maintained in this cache buffer. These cached data must periodically write back to the NAND Flash memory to prevent the data loss due to sudden power-off, and it should immediately flush all dirty data items into a non-volatile storage media (i.e., NAND Flash memory), when receiving a flush command, while the flush command is supported in Serial ATA (SATA) and Serial Attached SCSI (SAS). Thus, a flush command is an important factor to give significant impact on SSD performance.In this paper, we have investigated the impact of a flush command on SSD performance and have conducted in-depth experiments with versatile workloads, using the modified FlashSim simulator. Our performance measurements using PC and server workloads provide several interesting conclusions. First, a cache buffer without a flush command could improve SSD performance as a cache buffer size increases, since more requested data could be handled in the cache buffer. Second, our experiments have revealed that a flush command might give a negative impact on SSD performance. The average response time per request with a flush command is getting worse compared to not supporting the flush command, as cache buffer size increases. Finally, we have proposed the backend flushing scheme to nullify the negative performance impact of the flush command. The backend flushing scheme first writes the requested data into a cache buffer and sends the acknowledgment of the request completion to a host system. Then, it writes back the data in the cache buffer to NAND Flash memory. Thus, the proposed scheme could improve SSD performance since it might reduce the number of the dirty data items in a cache buffer to write back to NAND Flash memory.All these results suggest that a flush command could give a negative impact on SSD performance and our proposed backend flushing scheme could improve the SSD performance while supporting a flush command.