海量存储系统中的元数据分级索引算法*

海量存储系统中,高效的元数据索引是减少查找元数据所需时间与空间开销的重要手段。针对现有元数据管理方法存在查找元数据所需时间与空间开销大和性能波动大等问题,设计了元数据分级索引算法。依据元数据的生命周期,将元数据分为活跃和非活跃两级;使用Bloom Fliter对均衡的活跃元数据分区生成摘要串,并使用B-树建立活跃元数据分区的索引;使用类似的方法对非活跃元数据分区,并为每个分区选择各自的哈希函数。从查找元数据所需时间与空间开销、适应能力两方面对元数据分级索引算法进行了分析,并与现有元数据管理算法进行了比较。最后实现了元数据分级索引算法的原型系统,使用真实数据集进行了测试与分析,结果表明,元数据分级索引算法能减少查找元数据所需的时间与空间开销,并具有很强的适应能力。     

基于属性分频的元数据索引算法

高效的元数据索引是提高海量存储系统性能的重要手段.针对现有元数据管理方法存在的时间与空间开销大和性能不稳定等问题,我们设计了基于属性分频的元数据索引算法.依据元数据中属性被访问的频率等因素,分解元数据分别存储到高频元数据属性集和低频元数据属性集中,使用KD-tree建立高频元数据属性集的索引,满足多条件混合查询高频元数据属性的要求;使用人工免疫算法建立低频元数据属性集的索引,在保持较高查询性能的同时,避免大量额外的存储空间.实现了算法的原型系统,使用两个真实数据集进行了测试与分析,结果表明基于属性分频元数据索引算法具有时间与空间开销小、适应能力强的特性.     

基于扩展属性的元数据管理算法

元数据的管理效率对大规模存储系统性能具有重要影响.在深入研究现有元数据管理算法的基础上,提出了一种基于扩展元数据属性的元数据分布算法.该算法通过对文件系统中目录进行编码并将编码作为Hash键值,有效解决了文件重命名导致的数据迁移问题,通过使用标志位,有效地解决了目前文件系统目录删除操作中使用递归遍历方式的低效问题,提升了大规模存储系统的元数据管理效率.     

一种基于对象存储系统的元数据缓存实现方法

对象存储系统中元数据访问速度是影响文件系统性能的关键因素之一。提出了一种在客户端实现元数据缓存的方法，并用元数据操作协议保证缓存一致性，基于Hash的LFU-DA算法提高缓存查找效率。实验表明该方法减少了系统平均服务响应时间，提高了系统的I／O性能。     

基于属性分频的元数据索引算法

高效的元数据索引是一个重要手段,提高大容量存储系统的性能,在时间和空间上的开销日本性能不稳定现有的元数据管理方法存在的问题,我们设计了元数据索引算法的属性分频器。基于元数据的元数据属性的访问频率等因素,分解的高频率元件的数据分别存储到属性集和低频率的元数据属性集中,KD树生成指数高的元数据属性设置满足许多条件高频混合查询元数据属性的要求;人工免疫算法索引低频率的元数据属性设置,避免了很多额外的存储空间,同时保持较高的查询性能。该算法的原型系统使用两个真实数据集上的测试和分析,结果表明,在的财产分频元数据索引算法有时间和空间的开销,适应性强。     

PVFS寄生式元数据管理的设计与实现

针对PVFS的元数据管理方法中，存在着系统效率低下的问题，提出了一种寄生式的元数据管理方法。在LinuxOs文件系统cxt2的内核基础上实现了该方法，提供了元数据操作功能。通过测试，并与原来的基于文件操作的管理方法进行了比较分析，结果表明，元数据操作的性能提高了4～8倍。     

云计算环境中高效可扩展的元数据管理方法

针对现有元数据管理方法存在可扩展性差或访问效率低的问题,提出一种高效可扩展的元数据管理方法.基于可扩展哈希方法实现元数据系统动态可扩展,使用并行定位方法实现元数据服务器高效定位,提出动态K叉树的元数据组织方法以提高元数据服务器扩展时选择迁移元数据的速度.实验结果表明,该方法具有近似线性扩展性能,其选择迁移元数据的时间几乎为零,有效解决了云计算环境中元数据管理系统的高效动态可扩展问题.     

Pmfs中目录项索引的实现

可字节寻址的非易失存储介质,如相变存储器等,使数据可以在内存级别持久化。由于非易失存储器（NVM）本身的读写延时非常低,系统软件开销成为了决定整个持久化内存系统性能的主要因素。Pmfs是一个专门为持久化内存所设计的文件系统,然而,Pmfs下的每个目录操作（打开、创建或删除）都会遍历目录下的所有目录项,导致了随文件数增长而线性增长的目录项查找开销。通过测试发现,在特定类型负载下这种开销成为了整个文件系统的瓶颈。针对该问题,在Pmfs中实现了持久化的目录项索引来加速目录操作。测试结果显示,基于单目录下100000文件的负载,该优化使得文件创建速度提高了12倍,带宽增加了27.3%。     

小规模集群文件系统中两级元数据服务器的设计与实现

在集群文件系统中,元数据服务器是整个系统正常运转的核心,它的可靠性和性能是设计系统时需要着重考虑的问题之一.本文设计了一个具有高可靠性、高性能的两级元数据服务器系统,兼顾了集中式元数据管理和分布式元数据管理的优点.系统中高级元数据服务器负责维护文件系统全局的目录结构和管理整个文件系统的命名空间,双元数据服务器负责维护文件元数据的分布信息,并采用了马尔可夫回报模型对两级元数据服务器系统进行了可靠性分析.实验数据表明,具有两级元数据服务器的集群文件系统能提供高吞吐量.     

MDDS:一种面向高性能计算的并行文件系统元数据性能提升方法

随着计算能力的增强、应用课题规模和复杂度的增加,高性能计算机对并行文件系统性能要求越来越高.在海量小文件和大规模并发I/O操作的应用场景中,文件系统元数据的吞吐率成为限制其性能的关键因素.设计并实现了元数据代理(meta data delegation service,MDDS),通过降低元数据服务间的耦合度,保证元数据集群的高可用性;使用目录子树方式管理元数据代理空间,避免跨节点目录引入的分布式原子操作的复杂性和低效性.并针对高性能计算中I/O转发架构,提出基于元数据代理的两种作业调度策略——单作业独占单元数据代理调度和多作业共享多元数据代理调度——实现作业间和作业内的负载均衡.在116台存储服务器上对MDDS进行评估,实验结果表明,元数据代理提供了拟线性的元数据性能,在大规模的环境中较Lustre CMD方案有较好的扩展性;两种调度方式有效分散了作业元数据的负载,改善了高性能计算中的元数据瓶颈问题.     

新型非易失存储I/O栈综述

随着新型非易失存储介质的出现,软件I/O栈的开销已经成为存储系统的性能瓶颈.首先详述了基于磁盘的传统I/O栈的各个软件层次和请求经过I/O栈的一般流程.在分析了传统I/O栈在闪存(flash)、相变存储器(phase change memory,PCM)等新型非易失存储介质构成的存储系统中存在的问题后,对专门为PCIe固态硬盘(solid state drive,SSD)设计的高性能主机控制器接口——NVMe接口及基于该接口的I/O栈、请求流程进行了详细介绍.最后,针对相变存储器、阻变存储器(resistive randomaccess memory,RRAM)和自旋转移矩磁阻随机存储器(spin-transfer torque magnetic random access memory,STT-MRAM)等下一代存储介质,对I/O栈在中断使用、文件系统权限检查等方面带来的性能问题进行了详细分析,指出未来I/O栈设计要考虑的问题.     

基于分级缓存加速的高可靠高速星载固存设计

星上模块在模式切换过程会因为星载固态存储器启动过程缓慢而导致无法快速访问固存。分级缓存系统设计采用片内缓存结合小容量非易失存储器(MRAM)的硬件架构,通过在MRAM中存储文件对象头索引以及Nand Flash块元数据区索引等流程优化来加速文件系统启动操作。本设计通过数据建模和仿真实验来分析性能,并在硬件板卡上进行算法实现和测试验证,以对象为索引的启动方式耗时3.12 ms,以块元数据区为依据的启动方式耗时143.47 ms。对比传统设计架构下的耗时170.35s的启动操作,基于分级缓存加速的系统具有高可靠性同时大大缩短了固存启动时间。其系统性能提升为卫星在轨管控优化提供技术基础。     

大规模集群文件系统LCFS的元数据管理与访问机制

文件系统的元数据包括文件基本属性信息和目录结构信息。在基于集群技术的大规模文件系统中,有效的元数据管理是系统实现的核心。本文在设计了与元数据管理相关的三类协议的基础上,提出了集群化的元数据服务器实现模型,并分析和比较了各种实现方式的优缺点。     

结合隐式元数据和List IO的并行文件系统

并行文件系统中的文件数据与元数据分离管理和分离存储使得系统复杂性上升,可靠性下降,采用将两种数据结合的隐式的元数据管理与存储则可以避免上述问题,而且可以获得元数据的并行服务能力,将Expand隐式元数据管理的简单可靠及元数据并发服务和PVFS高效的ListI/O非连续数据访问的能力相结合,可以同时获得两者的优点。     

基于本体的语义元数据管理

语义元数据在语义网格中扮演着关键的角色,它为实现服务的查找、匹配、发现过程提供必要的信息描述和决策支持.探讨了语义元数据的产生背景、功能分类以及基于本体的语义元数据的管理需求和通用框架,然后对现有典型系统的基于本体的语义元数据管理进行了深入地分析和比较,提出了基于本体的语义元数据管理未来研究内容.     

通过非易失存储和检查点优化缓解日志开销

在文件系统进行用户数据和元数据的持久化过程中,如果出现异常掉电或系统崩溃,可能导致文件系统出现数据的不一致性问题.现有的Ext4文件系统通过写前日志(write-ahead logging,WAL)技术结合事务机制来保证持久化操作的一致性.写前日志技术将文件系统元数据写入磁盘2次,元数据的粒度小、数量大、重复度高,影响了程序的性能,也缩短了Flash存储介质的使用寿命.针对这一问题,提出了使用新型非易失存储(non-volatile memory,NVM)作为存放日志的独立外部设备,并通过存取指令(load/store)接口直接访问;同时使用倒序扫描(reverse scan)技术对检查点(checkpoint)流程进行优化,减少同一数据块的重复写操作.实验结果表明,使用NVM作为外部日志分区,对于写操作比重较大的程序,在HDD上带宽提升接近50％;在SSD上带宽提升达到23％;在checkpoint时使用倒序扫描之后,写入次数降低明显,带宽提升接近20％.     

一种非阻塞读文件系统的实现方法

针对现有文件系统在容错性及读性能远低于数据库系统的情况,运用数据库系统中数据的多版本技术实现数据的快速闪回及非阻塞读原理,通过改进文件系统元数据结构及结合写时复制技术的方法,在文件系统中增加文件瞬时恢复功能及非阻塞读功能,解决现有文件系统在容错性不足的问题,提高文件系统的读性能。通过该方法制作MVFS文件系统,测试结果表明,应用该方法生成的文件系统具有优越的读性能、容错性和可靠性。     

掉电中断的嵌入式设备高可靠存储方案

嵌入式设备通常基于Flash存储器和TFFS文件系统构建数据存储方案,本文针对其存储性能和可靠性问题,提出了一种基于掉电中断的数据存储优化方案。该方案将频繁变化的数据缓存于内存中,仅在设备下电时将缓存数据写入文件,最大程度降低Flash擦写次数,避免设备掉电引起文件系统元数据不一致导致无法访问文件的可能,提高了设备存储可靠性,延长了Flash芯片使用寿命。     

eMMC可靠性分析与增强对策研究

eMMC是可以自我管理的闪存（NAND flash）芯片,内部集成了控制器,实现了多芯片封装,简化了应用接口设计,节省了板级空间,在移动终端领域得到了广泛应用。然而,基于flash的存储器件在掉电时容易出现比特位损坏、元数据损坏、非串行写、甚至器件不可用等可靠性问题。针对如何提高eMMC的可靠性进行了研究,提出了一些可靠性增强措施。首先,全面梳理了eMMC规范提供的可靠性特性,包括分区管理、写保护管理、可靠写、数据标签、断电通知等。继而对现有的各种可靠性措施进行了综合分析,并提出了一些提升可靠性的措施,包括,文件系统感知的磨损均衡、根据数据属性映射到合理分区、减少写入次数降低写放大效应,面向手机应用的元数据去冗、应用差异化细粒度控制可靠性、确保一致性的前提下减少日志等。     

蓝鲸分布式文件系统元数据服务

文件系统元数据请求占据了所有请求50%以上的比例,文件系统元数据服务对整个文件系统有着重要的影响。该文介绍了蓝鲸分布式文件系统的元数据服务器集群(BWMMS)的设计方法。BWMMS通过高扩展的系统结构和简单灵活的元数据请求处理协议,完成元数据服务的协同处理过程。初步评估表明,BWMMS的元数据管理机制能够提供较好的元数据处理性能,具有较高的扩展能力。