基于闪存存储的近数据处理技术综述

在冯 ? 诺依曼架构中,存储与计算的分离造成了存储墙问题,导致现有的系统架构难以应对大数据和人工智能时代的数据爆炸。数据的持续增长导致了计算范式的变化,研究者们开始尝试将计算单元移动到存储器中,即近数据处理技术。近数据处理技术是指利用存储控制器的计算能力,执行与数据存取紧密相关的任务,在减少数据迁移的同时,具有低延迟、高可扩展性和低功耗等优点,具有广阔的应用前景。该文首先介绍了近数据处理系统的架构,其次针对特定应用和面向通用场景的相关研究成果进行概述,并总结了软硬件平台和产业进展,最后展望了其未来的发展趋势。     

面向内存文件系统的数据一致性更新机制研究

近年来,研究界提出了多种管理新型存储级内存的内存文件系统,例如BPFS,PMFS和SIMFS。由于内存文件系统的设备访问方式和I/O路径不同于传统面向块设备的文件系统,适用于内存文件系统的数据一致性更新机制尚未得到很好的研究。为此,提出一种适用于内存文件系统的直接拷贝的数据一致性更新机制,讨论多种数据一致性更新机制在内存文件系统中的优缺点,并以内存文件系统SIMFS为基础,实现多种支持不同数据一致性更新机制的SIMFS版本。通过测试基准测试了各个SIMFS版本的性能,并分析了不同数据一致性更新机制对内存文件系统的整体性能的影响。实验结果表明,提出的直接拷贝机制在内存文件系统中取得了最好的性能。     

连接操作在SIMFS和EXT4上的性能比较

连接操作是关系数据库系统中最基本、最昂贵的操作,对数据库性能有巨大的影响。由于连接表存放在文件系统中,因此文件系统的性能对连接操作的性能有决定性的影响。不同文件系统的连接操作性能测试对数据库研究有重要意义,但目前相关测试较少。首先对比分析了新型内存文件系统SIMFS(Sustainable In-Memory File System)的数据读写路径与磁盘文件系统EXT4(Fourth Extended File System)I/O路径等方面的差异;然后设计实验测试了不同文件系统对连接操作的影响,其中对SIMFS和EXT4分别设置了不同的数据读写块大小和I/O块大小等测试指标。实验表明,连接操作在SIMFS和EXT4上的性能优化、块大小影响、性能提升瓶颈、硬件约束等方面均存在明显差异。在实验结果比较分析的基础上,给出了针对新型内存文件系统连接操作的优化建议。     

基于非易失性内存的持久化嵌入式内存数据库

随着近年来嵌入式应用的复杂化和多样化,工业界和学术界提出来用内存数据库满足嵌入式系统对数据处理性能不断提升的要求.然而,现有的内存数据库需要在磁盘或闪存等外存上持久化存储真实的数据库备份,并且以I/O操作的方式将数据库的更新操作同步回外存,有极大的性能开销.此外,这类数据库即便直接部署在新型非易失性内存（non-volatile memory,简称NVM)中,也因为缺乏内存中的持久化机制而不能脱离外存.针对现有内存数据库的不足,提出一套面向NVM的持久化内存数据库设计方案.该方案直接用数据库独立管理NVM,持久化存储NVM的空间信息以及内存数据库的元数据.依据该方案,在典型的内存数据库Redis的基础上实现了可在NVM上持久化的内存数据库.实验结果表明,该方案与既有Redis的持久化方案AOF相比,数据库的启动速度可提高2 400倍,关闭速度可提高5倍,set操作的速度可提高58倍,delete操作的速度可提升34倍.     

持久化内存文件系统的磨损攻击与防御机制

近来出现诸多以非易失性存储器（non-volatile memory,简称NVM）作为存储设备的新型持久化内存文件系统,充分发掘NVM的低延迟和可按字节寻址等优点,优化文件访问的I/O栈和一致性机制,极大提升文件系统的性能.然而,现有持久化内存文件系统都没有考虑NVM写耐受度低的缺陷,极易导致NVM被磨损穿（wear out）.针对NVM写耐受度低的缺点,探索多种利用基本文件操作对NVM造成磨损攻击的方式,并在真实持久化内存文件系统PMFS中以实验证明磨损攻击的严重性.为有效防御针对NVM的磨损攻击,提出了持久化内存文件系统磨损防御机制（persistent in-memory file system wear defense technique,简称PFWD）,包括索引节点元数据虚拟化技术、超级块迁移技术、文件数据页磨损均衡技术和文件索引结构迁移技术,保护文件系统中所有可能被磨损攻击利用的数据结构.实验结果证明所提出的PFWD技术能有效地防御病毒发动对NVM的磨损攻击,提高了存储系统的稳定性.     

带磨损均衡的小粒度非易失性内存管理机制

非易失性内存以其卓越的特性被视作具有巨大潜力的下一代存储设备。然而,非易失性存储单元存在写耐受度低的缺点,使其难以承受频繁的小粒度数据更新操作。文中针对非易失性存储器,提出带磨损均衡的小粒度内存分配管理系统(IWMM)。IWMM将单个内存页分割为多个基本存储单元以适应小粒度的内存分配和数据更新操作。IWMM采用定向顺序分配算法轮流地使用单个内存页中的基本存储单元,从而将小粒度写操作均衡地分布到内存页内的各个存储单元中。实验表明,对比同样致力于磨损均衡的小粒度内存管理系统NVMalloc,IWMM能将内存页的写次数降低52.6%;同时,在内存回收率高于50%的应用场景中,性能比glibc malloc高27.6%。