一种分布式持久性内存文件系统的一致性机制

持久性内存(persistent memory, PM)和远程直接内存访问(remote direct memory access, RDMA)具有高带宽、低延迟的硬件性能,这为设计高性能的分布式存储系统提供了新的机遇.然而,它们这些新的特性为高效的数据一致性管理引出了诸多问题：一方面,持久性内存数据一致性依赖于CPU主动执行硬件指令刷写缓存实现,而这类指令开销极高,严重影响CPU处理性能;另一方面,RDMA在服务器端CPU不参与的情况下直接读写服务器端内存,因此服务器端CPU无法主动感知数据写入事件以执行数据刷写操作,一旦系统崩溃会造成数据不一致的问题.针对以上2个问题,提出一种分布式持久性内存文件系统的一致性机制(crash consistency mechanism, CCM)：首先设计实现了基于操作日志的一致性保障策略,通过将每次操作的元信息记录至日志,并持久化,以保障系统的一致性状态;其次,设计了一种客户端对服务器端的远程写一致性策略,在完成数据传输的同时使服务器端CPU主动执行数据刷写;最后实现了一种服务器端的数据异步持久化,以提高系统的处理能力.测试结果表明,基于CCM的文件系统写吞吐可达到网络裸带宽的88%.相比于现有系统Octopus,CCM性能下降控制在1%以内.     

一种基于微日志的持久性事务内存系统

近年来,研究者们针对持久性内存良好的性能,设计了轻量级的持久性事务内存系统,它通过日志机制保证了事务的原子性和一致性.然而,相比于传统内存,持久性内存的存储单元往往具有更高的写延迟,并且存在有限的耐久性.发现现有的持久性事务内存系统存在日志机制带来过多的写操作问题：一方面,现有系统没有区分出事务中不同类型的写操作,即无论是对内存中已有数据的更新操作还是向事务中新分配区域添加数据的写操作,现有系统都采用相同的日志机制保证它们的一致性;另一方面,现有系统将更新操作的地址和数据等字段完整地持久化到日志中,即使其中大部分数据都可以通过压缩算法减少写入量.这2方面导致了冗余的日志操作,带来了额外的写延迟和写磨损.为了解决上述问题,设计并实现了一种基于微日志的持久性事务内存系统TLPTM,主要提出2个优化技术：1)分配操作感知的日志优化策略(allocation-aware log optimization, AALO),AALO有效地避免了向事务中新分配区域添加数据的写操作产生的日志开销;2)基于压缩算法的日志优化策略(compression-based log optimization, CBLO),CBLO将日志数据压缩后再写入到日志中,减少了日志操作的写开销.测试结果表明：相比于Mnemosyne,提出的日志优化策略AALO将事务性能提高了15%~24%,基于提出的2种优化技术实现的TLPTM将日志的写入总量降低了70%~81%.     

面向内存文件系统的数据一致性更新机制研究

近年来,研究界提出了多种管理新型存储级内存的内存文件系统,例如BPFS,PMFS和SIMFS。由于内存文件系统的设备访问方式和I/O路径不同于传统面向块设备的文件系统,适用于内存文件系统的数据一致性更新机制尚未得到很好的研究。为此,提出一种适用于内存文件系统的直接拷贝的数据一致性更新机制,讨论多种数据一致性更新机制在内存文件系统中的优缺点,并以内存文件系统SIMFS为基础,实现多种支持不同数据一致性更新机制的SIMFS版本。通过测试基准测试了各个SIMFS版本的性能,并分析了不同数据一致性更新机制对内存文件系统的整体性能的影响。实验结果表明,提出的直接拷贝机制在内存文件系统中取得了最好的性能。     

一种基于RDMA多播机制的分布式持久性内存文件系统

持久性内存技术与远程直接内存访问(remote direct memory access,RDMA)技术的发展,为高效分布式系统的设计提供了新的思路然而,现有的基于RDMA的分布式系统没有充分利用RDMA的多播能力,难以解决1对多传输场景下的多拷贝文件数据传输问题,严重影响了系统性能.针对此问题,提出一种基于RDM A...     

一种非阻塞读文件系统的实现方法

针对现有文件系统在容错性及读性能远低于数据库系统的情况,运用数据库系统中数据的多版本技术实现数据的快速闪回及非阻塞读原理,通过改进文件系统元数据结构及结合写时复制技术的方法,在文件系统中增加文件瞬时恢复功能及非阻塞读功能,解决现有文件系统在容错性不足的问题,提高文件系统的读性能。通过该方法制作MVFS文件系统,测试结果表明,应用该方法生成的文件系统具有优越的读性能、容错性和可靠性。     

一种基于HBase的数据持久性和可用性研究

HBase（HadoopDataBase）是ApacheHadoop项目下的一款非关系型数据库,它是一个基于列簇的开源数据存储系统,关于HBase的研究和应用越来越受到关注．由于HBase会在内存缓存数据后写文件系统,所以缓存的大小成为影响系统性能的一个重要因素．本文提出一种基于备份日志的持久性、可用性方案RemoteLogProcess,使得HBase能够在不同的缓存规模获得更好的写性能．实验证明,在保证数据的持久性和可用性前提下,RLP能够在不同的缓存大小下获得稳定的性能,并且在缓存不超过默认设置时明显提高写操作时间性能．     

耐久性感知的持久性内存异地更新

持久性内存具有非易失性、可字节寻址、随机读写速度快、能耗低以及可扩展性强等优良特性,为大数据存储和处理提供了新的机遇.然而,持久性内存系统的故障一致性问题为其广泛推广应用带来挑战.现有一致性保证的研究工作通常以增加额外读写为代价,对持久性内存系统的性能和寿命在时间和空间维度产生了一定的影响.为了降低该影响,提出一种耐久性感知的持久性内存异地更新机制(endurance aware out-of-place update for persistent memory, EAOOP).通过软件透明的异地更新技术,为持久性内存提供耐久性感知的内存管理,将数据交替刷新至原始数据区域和更新数据区域.EAOOP既保证了系统的故障一致性,又避免了冗余的数据合并操作.同时,为了高效利用内存空间,在后台执行轻量级垃圾回收,处理更新数据区域的旧数据,减少了额外的写放大和带宽占用,从而进一步降低了对持久性内存寿命和性能的影响.实验显示,EAOOP相比于现有工作,具有更高的性能和更少的开销.其中,事务处理吞吐量提升了1.6倍,总线延迟和写数量分别减少了27.3%和32.4%.     

云存储日志文件系统中垃圾数据回收的设计与实现

互联网大数据蓬勃发展,各个行业都围绕着大数据展开研究。与此同时,由于数据量的异常膨胀,随之而来的问题就是如何回收垃圾数据。基于云存储日志文件系统HLFS(Hadoop distributed file system based Log-structured File System),设计与实现了垃圾数据回收子系统。通过在HLFS中添加垃圾回收子系统,不但可以提高数据空间的利用率,还可以有效地避免数据空间不够用。为了分析HLFS中垃圾回收子系统的性能,最后对比了HLFS垃圾回收子系统和其他系统中垃圾数据回收机制的优缺点,从而帮助用户选择合适的垃圾回收机制提高磁盘利用率和系统性能。     

JFFS2文件系统实现机制研究

本文在深入分析Linux内核源代码的基础上,围绕JFFS2文件系统的安装过程,对的实现机制和关键技术进行了初步探讨,并针对嵌入式应用需求,对mount过程进行了改进。     

一种多核友好的持久性内存键值系统

相比于传统内存,持久性内存具有容量大和非易失的特点,这为构建大规模键值存储系统提供了新的机遇.然而,在多核服务器架构下设计持久性内存键值系统面临着诸多挑战,包括并发控制带来的CPU缓存抖动、对持久性内存有限写带宽的消耗和竞争以及持久性内存高延迟带来的线程冲突加剧.提出一种多核友好的持久性内存键值系统(multicore-friendly persistent memory key-value store, MPKV),通过设计高效并发控制方法和减少对持久性内存的写操作,充分提高多核并发性能.为避免锁资源带来的额外持久性内存写带宽消耗,MPKV引入了易失性锁管理机制,将写锁资源从索引中分离,在DRAM(dynamic RAM)中单独维护它们.为保证崩溃一致性和提高并发查询性能,MPKV引入了2阶段原子写机制,利用CPU提供的原子写操作指令将系统从一个一致性状态原子地切换到另一个一致性状态,并支持了无锁查询.基于易失性锁管理机制,MPKV还提出一种并发写消除机制,以提高更新操作之间的并发效率.当出现2个冲突的更新操作时,并发写消除机制让其中一个操作直接返回,不做任何持久性内存的分配与写操作.实验显示,MPKV相比于pmemkv具有更良好的性能以及多核扩展性.其中,在18线程环境下,MPKV的吞吐达到pmemkv的1.7~6.2倍.     

面向非易失性内存文件系统的NVM模拟与验证方法

现有非易失性内存文件系统都以DRAM模拟非易失性内存(Non-Volatile Memory,NVM)进行测试,而没有充分考虑两者间的写时延和写磨损特性差异,使得测试结果无法准确反映文件系统在NVM物理设备上的写性能以及对NVM造成的磨损情况。现有NVM模拟器准确度不高,且仿真接口不完备,无法满足内存文件系统对NVM的仿真需求。对此,提出一种面向非易失性内存文件系统的NVM模拟与验证方法。首先,结合非易失性内存文件系统本身的数据读写特性,提出内存文件系统中NVM写时延的模拟方案;其次,跟踪内存文件系统对NVM的读写操作,以验证文件系统对NVM物理设备的写磨损分布情况。选取多个典型内存文件系统实现上述方法。实验结果表明,提出的写时延模拟方法能够将写时延的模拟误差平均降低65%,写磨损验证方法能够较准确地反映内存文件系统对不同粒度NVM页面的磨损分布情况。     

一种基于时间戳的高扩展性的持久性软件事务内存

新兴的非易失性内存(non-volatile memory, NVM)具有字节寻址、持久性、大容量和低功耗等优点,然而,在NVM上进行并发编程往往比较困难,用户既要保证数据的崩溃一致性又要保证并发的正确性.为了降低用户开发难度,研究人员提出持久性事务内存方案,但是现有持久性事务内存普遍存在扩展性较差问题.测试发现限制扩展性的关键因素在于全局逻辑时钟和冗余NVM写操作.针对这2个方面,提出了线程逻辑时钟方法,通过允许每个线程拥有一个独立时钟,消除全局逻辑时钟中心化问题;提出了缓存行感知的双版本方法,为数据维护2个版本,通过循环更新这2个版本来保证数据的崩溃一致性,从而消除冗余的NVM写操作.基于所提出的这2个方法,实现了一个基于时间戳的高扩展的持久性软件事务内存(scalable durable transactional memory, SDTM),对比测试显示,在YCSB负载下,与DudeTM和PMDK相比,SDTM的性能最多分别提高了2.8倍和29倍.     

一种嵌入式Flash文件系统的设计与实现

本文在分析了Flash存储器的特点的基础上,阐述了一种嵌入式Flash文件系统的设计与实现。该Flash文件系统提供了掉电安全机制、均衡磨损机制和垃圾回收机制,并且为上层的应用程序提供了标准的API接口。     

NMST:一种基于线段树的持久性内存管理优化方法

新型非易失存储介质(Non-Volatile Memory,NVM)的出现引发了编程模型的革新。现有的基于函数库的编程模型为存储系统提供的ACID特性解决了数据一致性问题,但是在分配持久性内存时,延迟较大,不能很好地满足应用程序对动态内存分配速度的要求。针对现有函数库编程模型中存在持久化内存管理和分配低效的问题,以目前最具代表性的函数库编程模型NVML为基础,提出了一种基于线段树的持久性内存管理分配优化方法NMST;另外,针对线段树在持久性内存分配过程中维护连续空间时开销较大的问题,提出构造多粒度叶子结点的线段树的方法。实验结果表明,相比于NVML原始方法,NMST方法在分配持久性内存时使延迟降低了36.9%,而优化后的NMST方法在分配持久性内存时使延迟降低了43.6%。实验结果也证明,性能提升的大小与调用NVML函数库的程序中实际持久性内存分配的次数及粒度紧密相关。     

具有快照功能的Linux文件系统

介绍了快照(snapshot)技术的作用及工作原理,分析了一种具有snapshot功能的Linux文件系统ext3ss的关键元数据的数据结构以及基于时间偏移的版本管理技术.运用此方法可以在文件系统级添加ext3ss功能,提供基于EPOCH时间的文件访问接口.最后对ext3ss进行了测试和分析.     

一种新的适用于Nandflash的Linux内存交换模型*

在Linux上,内存交换有着特殊的作用,块设备在当前的Linux内核上充当交换区时,工作得很好;Nandflash在写入数据之前需要先擦除,因此当Nandflash充当交换区时,当前的内存交换模型就需要改进,否则内存交换就不能正常工作。根据虚拟内存页面映射的原理,设计了一种适用于Nandflash的内存交换模型。分析内存交换特点,提出了NVEA(new valid erase algorithm)垃圾回收算法并通过模型实现测试。结果证明,模型解决了Nandflash充当交换区时存在的各种问题,并且NVEA     

内存管理机制的高效实现研究

为了高效地管理内存,防止内存泄漏、越界访问等问题的出现,在分析传统动态内存管理机制的基础上,提出了一种基于Windows虚拟内存管理的高效动态内存管理机制.通过创建内存管理器来维护虚拟地址空间和处理内存申请和释放请求,改进了传统动态内存分配与回收算法,并在VC++6.0开发平台上实现了该动态内存管理机制.测试结果分析表明,该方法有效降低了申请与释放内存的时间耗费,减少了内存碎片的产生,提高了动态内存管理效率.     

基于持久性内存的单向移动B^+树

由新型非易失存储介质构成的持久性内存(persistent memory,PM)具有扩展性强、按字节访问与静态能耗低等特性,为未来主存与辅存融合提供了强大的契机.然而由于LLC(last level cache)具有易失性且与主存交互粒度通常为64B,而PM的原子持久化操作粒度为8B.因此,数据从LLC更新到PM的过程中,若发生故障,则可能破坏更新操作的失败原子性,进而影响原始数据的完整性.为了保证更新操作的失败原子性,目前研究主要采用显式调用持久化指令与内存屏障指令,将数据有序地持久化到PM上,但该操作会造成显著的开销,在索引更新中尤为明显.在对索引进行更新时,往往会涉及到索引结构的变化,该变化需要大量的有序持久化开销.研究旨在减少基于PM的B+树在更新过程中为保证失败原子性而引入的持久化开销.通过分析B+树节点利用率、不同更新模式下持久化开销以及更新操作之间的关系,提出了一种基于节点内数据真实分布的数据单向移动算法.通过原地删除的方式,减少删除带来的持久化开销.利用删除操作在节点内留下的空位,减少后续插入操作造成的数据移动,进而减少数据持久化开销.基于上述算法,对B+树的重均衡操作进行优化.最后通过实验证明,相较于最新基于PM的B+树,提出的单向移动B+树能够显著提高单一负载与混合负载性能.     

一种新的内存数据库快速日志恢复技术

恢复技术是保证内存数据库运行可靠的关键,传统的基于日志的恢复技术会对系统性能产生很大影响。本文提出内存数据库系统快速日志恢复技术,它控制日志的产生数量,使得在系统崩溃并重新启动时,能以最快的速度恢复到系统崩溃前的最近一致点上。     

Java程序内存低效使用问题的分析

Java程序内存的低效使用是导致其性能问题的主要因素。该文分析了泄漏对象、蚍蜉对象和空闲对象3类导致内存低效使用的情况,探讨解决上述问题的方法,并提出构造对象行为模式。实验结果表明,该方案是有效的。