基于非易失性存储器的存储引擎性能优化

非易失性存储器具有接近内存的读写速度,可利用其替换传统的存储设备,从而提升存储引擎的性能。但是,传统的存储引擎通常使用通用块接口读写数据,导致了较长的 I/O 软件栈,增加了软件层的读写延迟,进而限制了非易失性存储器的性能优势。针对这一问题,该文以 Ceph 大数据存储系统为基础,研究设计了基于非易失性存储器的新型存储引擎 NVMStore,通过内存映射的方式访问存储设备,根据非易失性存储器的字节可寻址和数据持久化特性,优化数据读写流程,从而减小数据写放大以及软件栈的开销。实验结果表明,与使用非易失性存储器的传统存储引擎相比,NVMStore能够显著提升 Ceph 的小块数据读写性能。     

新型非易失相变存储器PCM应用研究

并行I/O技术有效优化了I/O性能,但对访问延迟却难以控制.相变存储器(phase change memory,PCM)作为一种SCM(storage class memory),具有非易失性、随机可读写、低延迟、高吞吐率、体积小和低功耗的特点,为I/O性能优化提供了最直接有效的途径.研究了PCM的特性与存在的问题,总结了目前PCM的应用研究进展,针对高性能计算中的并行I/O问题,提出了一种基于相变存储器PCM的层次式并行混合存储模型,能够有效提高并行文件系统元数据服务效率和并行I/O吞吐率.     

基于PCM的GPU存储系统设计与优化

以相变存储器(PCM)为代表的新型非易失存储器,具有存储密度高和静态功耗低等传统动态随机存取存储器(DRAM)不具备的优势,但是过长的写操作延时会严重影响访存的性能.设计了基于PCM的图形处理器(GPU)中的存储系统.仿真结果显示,GPU程序中的内存写请求分布极不均匀,对少量的内存地址有非常高的访问频率.面向访存分布不均匀特点的专用缓冲单元设计,能够有效地存储频繁访问的内存数据,从而减少对PCM的访问次数,消除过长的写操作延时对系统性能的负面影响.GPU仿真器上的结果显示,基于缓冲单元的PC以存储系统能够有效地提高GPU的运算性能.     

基于相变存储器的存储技术研究综述

以数据为中心的大数据技术给计算机存储系统带来了机遇和挑战.传统的基于动态随机存储器(DRAM)器件的内存面临工艺尺寸缩小至2X nm及以下所带来的系统稳定性、数据可靠性等问题;相变存储器(PCM)具有非易失性、存储密度高、功耗低、抗辐射干扰等优点,且读写性能接近DRAM,是未来最有可能取代DRAM的非易失存储器,它为存储系统的研究和设计提供了新的解决方案.文中在归纳相变存储器器件发展和研究现状的基础上,对相变存储器在系统级的应用方式和面临的问题进行了比较和分析,研究了基于相变存储器的内存技术和外存技术,分析了当前在PCM的寿命、写性能、延迟、功耗等方面所提出的解决方案,指出了现有方案的优势和面临的缺陷,并探讨了未来的研究方向,为该领域在今后的发展提供了一定的参考.     

闪存存储系统综述

闪存因其低延迟、高并发、低能耗、体积小等特点受到了广泛关注.首先讨论了简单利用闪存固态盘替换传统磁盘的方式隐藏了闪存特性,限制了软件系统对闪存特性充分利用的不足.然后,分析并比较了现有包括闪存加速卡、闪存阵列、基于闪存的分布式集群系统等基于存储介质直接构建的闪存存储系统的特点,归纳了其通过改变硬件接口、调整软件或控制器管理模块、匹配处理器与I/O处理能力等方式实现系统低延迟、高可靠、低能耗等特性的优化方法.然后重点讨论了闪存存储系统3个方面的关键技术:基于I/O栈调整与重构的存储性能优化、系统级可靠性、体积与能耗.最后总结了闪存存储系统的现状与特点,并指出未来可能的研究方向.     

负载自适应的存储池数据重构策略

大数据时代各应用领域对计算机存储系统的性能和可靠性需求与日俱增。新型存储介质为计算机存储系统的性能提升提供了良好的机遇,基于固态盘的存储阵列（RAIS）已在各种存储系统中广泛使用。传统RAIS系统中当一块固态盘出现故障时,通过数据重构操作恢复故障盘的数据,重构时间长,且影响对上层应用提供I/O访问服务的能力。针对该问题,设计实现了基于多线程并发处理的存储池架构,该架构能够并发处理存储池中的I/O请求,提高用户I/O和数据重构I/O的访问性能。提出了一种负载自适应的I/O调度策略,能够在保证用户I/O服务质量的同时,提升数据重构效率。实验结果表明,基于存储池的多线程并发I/O处理架构能够提升数据重构性能,负载自适应的I/O调度策略能够根据用户I/O的负载情况动态调整用户I/O和数据重构I/O的调度比例,在保证用户I/O服务质量的同时,提升数据重构效率。     

一种面向大规模数据密集计算的缓存方法

随着高性能计算机逐步应用在大规模数据处理领域,存储系统将成为制约数据处理效率的主要瓶颈。在分析了影响数据密集型计算 I/O 性能若干关键因素的基础上,提出使用计算结点本地存储构建协作式非易失缓存、以分布式存储架构加速集中式存储架构的方法。该方法基于应用层协同使用分布化的本地存储资源,使用非易失存储介质构成大缓存空间,存放大规模数据分析的中间过程结果,以此实现高缓存命中率,并利用并发度约束控制等手段避免 I/O 竞争,充分利用本地存储的特定性能优势保证缓存加速效果,从而有效地提高了大规模数据处理过程的 I/O 效率。基于多平台多种 I/O 模式的测试结果证实了该方法的有效性,聚合 I/O 带宽具有高扩展性,典型数据密集应用的整体性能最大可提升6倍。     

基于相变存储器的存储系统与技术综述

随着处理器和存储器之间性能差距的不断增大,"存储墙"问题日益突出,但传统DRAM器件的集成度已接近极限,能耗问题也已成为瓶颈,如何设计扎实有效的存储架构解决存储墙问题已成为必须面对的挑战.近年来,以相变存储器(phase change memory,PCM)为代表的新型存储器件因其高集成度、低功耗的特点而受到了国内外研究者的广泛关注.特别地,相变存储器因其非易失性及字节寻址的特性而同时具备主存和外存的特点,在其影响下,主存和外存之间的界限正在变得模糊,将对未来的存储体系结构带来重大变化.重点讨论了基于PCM构建主存的结构,分析了其构建主存中的写优化技术、磨损均衡技术、硬件纠错技术、坏块重用技术、软件优化等关键问题,然后讨论了PCM在外存储系统的应用研究以及其对外存储体系结构和系统设计带来的影响.最后给出了PCM在存储系统中的应用研究展望.     

新型非易失存储研究

近年来,由于处理器性能和存储性能之间的差距不断扩大,存储系统成为计算机整体系统性能提升的瓶颈.随着微电子技术的迅速发展,新型非易失存储器件由于具有非易失、低能耗、良好的可扩展性和抗震等优良特性,得到了学术界和工业界的广泛关注.介绍了4种新型非易失存储器件,分别是STT-RAM,RRAM,PCRAM和FeRAM,对比了其与传统存储器件的性能参数.讨论了目前在存储架构中的不同层面(即缓存层、主存层和外存层)针对这些非易失存储器件的利用所开展的一些探索性工作,并分析了其中针对非易失存储器件的写次数有限、读写性能不均衡等不足所作出的一些策略设计.最后,对新型非易失存储器件的研究现状进行了总结,并提出了未来可能的发展方向.     

NVMMDS——一种面向非易失存储器的元数据管理方法

元数据管理方法是影响文件系统性能的重要因素.针对现有元数据管理方法存在的查找性能低、适应性差和丢失元数据等问题,设计了面向非易失存储器的元数据管理方法(NVMMDS).首先针对元数据的访问特性和管理要求,给出了NVMMDS的结构和元数据管理流程,混合使用非易失存储器和DRAM存储元数据,为提高元数据查找性能和避免丢失元数据奠定了基础;设计了基于NVBB树的元数据查找算法和基于主动写回的元数据缓存算法,提高了元数据的查找性能,增强了元数据管理方法的适应能力,避免了元数据丢失问题.与现有元数据管理方法进行了分析和比较,在单机文件系统ReiserFs和分布式文件系统pNFS中实现了NVMMDS原型,使用FileBench和多个标准数据集进行了测试与分析,验证了NVMMDS能提高文件系统最大35％的操作处理速度和I/O性能.     

网络存储系统多并行度I/O流水调度策略与实践

将应用的I/O请求处理划分为多个阶段,为流水线技术引入网络存储提供了新思路.同时,应用的I/O请求(工作量)以并行度划分为多个子工作量来通过各流水段,这样,一批处于同一流水段的子工作量之间存在同步开销,合理划分网络存储I/O流水段、探讨I/O流水机制,对提高网络存储系统整体性能具有一定的指导及实践意义.实验表明,I/O调度采用流水线的方式,能重叠I/O处理相关各阶段的操作,提高网络存储系统I/O性能.     

几种新型非易失存储器的原理及发展趋势

介绍几种有发展潜力的新型非易失存储器的原理,如铁电存储器、磁性随机存储器、相变存储器和阻变存储器等,并在性能方面作了对比,最后对存在的问题和发展趋势进行了分析。     

基于PCM的大数据存储与管理研究综述

大数据已经成为当前学术界和工业界的一个研究热点.但由于计算机系统架构的限制,大数据存储与管理在性能、能耗等方面均面临着巨大的挑战.近年来,一种新型存储介质——相变存储器(phase Change Memory,PCM)——凭着其非易失、字节可寻址、读取速度快、低能耗等诸多优点,为计算机存储体系结构和数据管理设计带来了新的技术变革前景,也为大数据存储和管理带来了新的契机.PCM既是一种非易失存储介质,同时又具备了内存的字节可寻址和高速随机访问特性,模糊了主存和外存的界限,有望突破原有的存储体系架构,实现更高性能的存储与数据管理.概述了PCM存储器的发展现状;总结了目前基于PCM的持久存储技术和基于PCM的主存系统等方面的研究进展;并讨论了PCM在多个领域的应用现状.最后,给出了基于PCM的大数据存储与管理研究的若干未来发展方向,从而为构建新型存储架构下的大数据存储与管理技术提供有价值的参考.     

基于SATA Ⅱ的高速海量存储系统的研究

随着SATA技术的发展,越来越多的存储系统采用SATA作为存储器的I/O接口.介绍了SATA的新特性及SATA存储所使用的相关设备主机总线适配器及端口多路器.最后提出了一种基于SATA Ⅱ的高速海量存储系统.     

面向新型非易失存储器的文件级磨损均衡机制

自旋转移力矩磁存储器（spin transfer torque random access memory ,ST TRAM ）和磁阻式随机存储器（magnetic random access memory ,MRAM ）等新型存储器具有接近于 DRAM 的访问速度,是构建高性能外存系统和提高计算机系统性能的重要手段,但有限的写次数是其重要局限之一．设计了文件系统级磨损均衡机制,使用 Hash 函数分散文件在外存中的存储,避免在创建和删除文件时反复分配某些存储块,通过分配文件空间时选择写次数较低的存储块,避免写操作的集中;使用主动迁移策略,在外存系统 I/O 负载较低时主动迁移写次数较高的数据块,减少磨损均衡机制对 I/O 性能的影响．最后在开源的基于对象存储设备 Open‐osd 上实现了面向新型存储器文件系统级磨损均衡机制的原型,使用存储系统通用测试工具 filebench 和 postmark 的多个通用数据集进行了测试与分析,验证了基于新型存储器的文件系统级磨损均衡机制能稳定地将存储块写次数差减少到原来的1/20左右,同时最高仅损失了6％的 I/O 性能和增加了0．5％的额外写操作,具有高效和稳定的特性．     

基于相变存储器的非易失内存数据机密性保护

相变存储器(Phase-Change Memory)是计算机体系结构中的下一代内存技术,具有高密度、低功耗、非易失等优点,具备替代现有DRAM内存的实力,但非易失的自然属性会带来一系列潜在计算机数据隐私方面的隐患.比如掉电后内存中依然保留了很多明文形式的敏感数据,同时相变存储器的存储单元还有写次数有限的问题.文中提出一...     

一种用磁盘备份SSD的高性能可靠存储系统

固态盘(solid state drive,SSD)因为其优越的性能已被大量部署于当前的存储系统中.但是,由于寿命有限,SSD的可靠性受到广泛的质疑.磁盘阵列(redundant arrays of inexpensive disk,RAID)是一种传统的用来提高可靠性的手段,但并不适用于SSD.这项工作提出一种基于SSD和磁盘的混合存储系统,构建该系统的主要思想是SSD响应所有I/O请求,从而获得较高的性能;磁盘备份所有数据,从而保证系统的可靠性.但是,磁盘的I/O性能显著低于SSD,构建该系统的问题在于磁盘能否及时地备份SSD上的数据.为了解决这一问题,从两方面提出优化:在延迟方面,采用非易失主存弥补磁盘与SSD的延迟差距;在带宽方面,采用两种措施:1)在单块磁盘内部重组I/O请求,使磁盘尽可能的顺序读写;2)采用多块磁盘备份多块SSD,通过将一块SSD上的写请求分散到多块磁盘上,有效应对单块SSD上出现的突发写请求.通过原型系统实现表明,该混合系统是可行的:磁盘能够为SSD提供实时的数据备份;与其他系统相比,该混合系统取得较高的性价比.     

基于SATA II的高速海量存储系统的研究

随着SATA技术的发展,越来越多的存储系统采用SATA作为存储器的I/O接口。介绍了SATA的新特性及SATA存储所使用的相关设备:主机总线适配器及端口多路器。最后提出了一种基于SATAII的高速海量存储系统。     

一种独立式I/O虚拟化方法研究

当前虚拟化系统中的设备仿真过程与I/O指令串行执行,无法发挥真实体系结构中直接存储器访问、异步I/O等加速I/O访问技术的性能优势,致使虚拟平台I/O性能与真实I/O性能存在一定差距。针对该问题,提出一种独立式I/O虚拟化方法,通过将I/O仿真活动(如磁盘读写)分离成一个独立的进程,虚拟机监控器(VMM)只保留相应的接口,达到将VMM与I/O设备分离实现仿真与指令并行化执行的目的,并基于QEMU平台实现该方法。实验结果表明,采用该方法后的QEMU I/O读写性能优于原有I/O子系统。由于I/O指令不必再等待I/O仿真的结束,因此在提高CPU指令执行速度的同时,能够有效提高4.9%的磁盘读取速度及9.2%的VGA测试基准软件Viewpref得分。     

支持高并发访问的新型NVM存储系统

I/O系统软件栈是影响NVM存储系统性能的重要因素。针对NVM存储系统的读写速度不均衡、写寿命有限等问题，设计了同异步融合的访问请求管理策略；在使用异步策略管理数据量较大的写操作的同时，仍然使用同步策略管理读请求和少量数据的写请求。针对多核处理器环境下不同计算核心访问存储系统时地址转换开销大的问题，设计了面向多核处理器地址转换缓存策略，减少地址转换的时间开销。最后实现了支持高并发访问NVM存储系统（CNVMS）的原型，并使用通用测试工具进行了随机读写、顺序读写、混合读写和实际应用负载的测试。实验结果表明，与PMBD相比，所提策略能提高1%~22%的读写速度和9%~15%的IOPS，验证了CNVMS策略能有效提高NVM存储系统的I/O性能和访问请求处理速度。