HybSim:一种混合型流媒体存储的仿真系统

高性能和低功耗的特点使闪存逐渐赢得广泛关注,而最常见的闪存使用方式是和内存、磁盘一起构成混合型存储系统,对于流媒体这样对存储容量和访问性能要求都非常高的应用来说尤其如此。但是,目前还缺少准确、全面的混合型存储仿真工具来支持混合存储的研究工作。首先,在对基于闪存缓存的混合存储的体系结构和能耗等关键问题进行建模的基础上,设计并实现了一套混合型流媒体存储的仿真系统HybSim。相对于目前国际上广泛使用的存储仿真系统DiskSim及其闪存补丁,HybSim增加了各类典型的混合型存储系统的实现、能耗模块、文件级管理和访问支持、流媒体服务模式支持,以及对性能、服务质量、能耗、设备耗损程度的统计模块等。基于HybSim对混合型流媒体存储系统在性能和节能两个方面进行了详细的仿真实验,并对几种典型的混合型存储系统体系结构在性能、服务质量、节能、设备磨损等方面的优劣进行了详细分析和比较。     

了解闪存的数据存储

目前，闪存已经成为应用最广的移动存储介质之一。闪存不仅具有RAM可擦写、可编程的优点，而且还具有ROM写入的数据在断电后不会消失的优点。闪存读写速度极快，而且可以用单电压进行读写和编程，为便携式设备的在线操作提供了极大的便利。     

基于闪存存储的近数据处理技术综述

在冯·诺依曼架构中,存储与计算的分离造成了存储墙问题,导致现有的系统架构难以应对大数据和人工智能时代的数据爆炸。数据的持续增长导致了计算范式的变化,研究者们开始尝试将计算单元移动到存储器中,即近数据处理技术。近数据处理技术是指利用存储控制器的计算能力,执行与数据存取紧密相关的任务,在减少数据迁移的同时,具有低延迟、高可扩展性和低功耗等优点,具有广阔的应用前景。该文首先介绍了近数据处理系统的架构,其次针对特定应用和面向通用场景的相关研究成果进行概述,并总结了软硬件平台和产业进展,最后展望了其未来的发展趋势。     

一种高效、可扩展细粒度缓存管理混合存储研究

混合主存储器由DRAM构成,它可用作cache来扩展非易失性存储器,相比传统的主存储器能够提供更大的存储能力。不过,要使混合存储器具有高性能和可扩展性,一个关键的挑战在于需要对缓存在DRAM中的数据的元数据(如标签)以一个细粒度的方式进行有效管理。基于这样的观察:利用DRAM缓存行的局部性,将元数据与元数据对应的数据存储在片外缓存中相同的行,使用一个小的缓冲区来只缓存最近被访问的片内缓存行,以降低细粒度DRAM缓存的开销。利用这种细粒度的DRAM高速缓存的灵活性和效率,还开发了一种自适应的策略来选择在数据迁移到DRAM时最佳的迁移粒度。在搭配了512MB的DRAM缓存的混合型存储系统中,建议使用8kB的片上缓存,这样,相比一个传统的8MB的SRAM元数据存储,即使没有考虑大的SRAM元数据存储的能源开销,也可以提升6%以内的性能,以及18%的能效节约。     

基于位置跳变的闪存数据安全存储方法

闪存(Flash)器件在电子设备中已经得到广泛应用,其存储安全问题也日益受到关注。多数情况下消费类电子产品中没有特定的安全存储硬件,闪存是其唯一的非易失存储器,因而敏感数据也只能与普通数据一起保存在闪存之中。虽然可以使用存储加密的手段,但密钥仍不得不存放于闪存自身。这使得一旦攻击者可以获得闪存器件的物理镜像,就可以相对容易的获取密钥等敏感数据,进而获得所有的明文数据。本文提出了一种基于位置跳变的闪存数据安全存储方案,通过随机改变敏感数据在闪存的存储位置,大大降低了敏感数据存储位置的可预见性,从而显著增加了攻击者通过闪存物理镜像揭示敏感数据的难度。     

一种面向闪存键值存储的矩阵索引布鲁姆过滤器

索引结构是提高闪存键值存储插入和查询性能的关键技术之一.在分析目前相关索引结构特点的基础上提出了一种面向闪存键值存储的矩阵索引布鲁姆过滤器(matrix-indexed Bloom filter, MIBF),由m×s的位矩阵表示的多个布鲁姆过滤器组(multiple Bloom filter group, MBFG)和一个附加布鲁姆过滤器(additional Bloom filter, ABF)组成,其核心思想是键值对的闪存页地址被拆分为多组位串,每组位串采用MBFG中的一组布鲁姆过滤器(Bloom filter, BF)来表示,同时将键值对的Key与闪存页地址组合值存入ABF中.根据Key查询Value时,MBFG中的每组BF产生多位,组合生成键值对的闪存页地址,并通过ABF滤掉部分伪闪存页地址达到较精确地址定位,从而降低闪存访问次数,提高系统性能.与已有类似方法相比,MIBF的查询地址定位精度提高,内存和闪存访问次数降低明显,插入和查询性能显著提升.     

一种基于混合云的邮件存储方案研究

针对传统的存储技术,如DAS、NAS、和SAN已经不能满足飞速增长的邮件存储需求,提出了一种基于混合云的存储方案。通过采用不同的存储策略来存储不同类型的邮件,在可扩展性、存储性能、安全备份、异地容灾等方面都能很好地满足邮件的存储需求。     

基于闪存的星载存储数据管理研究

由于闪存介质在航空航天数据存储中的优势,逐渐成为DRAM、SDRAM之后的下一代卫星存储解决方案。但由于闪存的存储特性,目前缺乏对数据存储的有效管理,星载闪存文件系统面临诸多有待研究的问题。通过分析星载环境下卫星存储特征,给出星载环境下的数据管理需求,并实验模拟发现在 IOPS（每秒进行读写的次数）、元数据、吞吐量、随机寻址四种性能指标上,F2FS优于BTRFS、exFAT、NILFS这三种类闪存文件系统;结合具体测试,分析了闪存内部并行对于文件系统的影响。论证得到F2FS较适合对基于闪存的星载存储进行数据管理,并结合数据管理需求提出了适用于星载环境下的几点改进方案,为星载环境下闪存文件系统设计和实现提供了研究基础。     

基于列式存储的闪存数据库查询优化策略

随着闪存的性能和容量的提高,闪存数据库的研究受到了广泛的关注.闪存具有随机读快、擦写代价大的特性,如何利用闪存的这个特点,减少查询时写闪存的频率,提高数据库的查询效率是闪存数据库查询研究的重要问题.已有的很多查询优化算法主要是按传统的行式存储方式来进行优化的,有一定的局限性.文中采用列式存储,提出了一种新的连接算法.该算法最小化了中间临时表,使投影数据量大大减少,达到了少写闪存、减小擦除代价的目的,从而提高了查询的效率.通过与传统行式算法的比较实验,证明了该算法的优越性.     

NAND闪存存储文件系统

NAND闪存已经成为便携式设备的主要存储介质。由于闪存自身的物理特性,需要在现有文件系统层与闪存的存储物理层之间引入闪存转换层。但是,现有文件系统主要针对磁盘存储系统设计的,没有考虑NAND闪存物理特性。这种方法效率低、影响便携式设备的性能。本文概述了NAND闪存的存储文件系统,分析比较了其中三种主要文件系统,为基于NAND闪存存储介质的便携式系统设计提供了参考意见。     

一种面向SSD-HDD混合存储的热区跟踪替换算法

固态驱动器(SSD)读写性能优越,但成本高,因此在实践中人们往往利用SSD和普通硬盘(HDD)构建混合存储系统以获取较高的性价比.在混合存储系统中,如何使更多的IO请求能够命中SSD是充分利用SSD性能的关键.针对多任务共享存储环境下集中访问和随机访问IO存取模式并存,且通常情况下IO工作流大部分请求相对集中于有限区域内的特点,本文提出一种基于热区跟踪(HZT)的缓存替换算法.HZT算法充分考虑了IO工作流的空间局部性和时间局部性,利用IO工作流的历史访问信息,跟踪当前热区,并为热区数据块赋予更高的驻留SSD的优先级,能够有效提高混合存储中SSD缓存的命中率.经测试,在典型多任务共享存储环境下HZT算法可以使SSD缓存的命中率比使用LRU(Least Recently Used)算法的系统提高12%.采用适当的预取策略,该算法的命中率与LRU算法相比可获得23%的提升.     

高能物理环境中混合存储系统的设计与优化

高能物理是典型的数据密集型计算环境,数据处理包括模拟计算、重建计算以及物理分析。其中大文件计算占据较大比重,并且高能物理文件访问模式以跳读为主,因此大文件的高速访问成为整个系统性能的重要影响因素。首先剖析传统高能物理计算环境的典型架构及其文件访问模式的特点,介绍混合存储模式在高能物理计算环境中的优势,总结其数据访问方式的特点,对其各种读写方式进行数据测试;然后提出针对该环境的混合存储系统的部署设计和优化,使该环境下的数据读写性能得到明显提高;同时将成本因素考虑到系统设计中,实现了一个低成本高性能的存储系统。测试表明,混合存储系统在高能物理等大数据存储系统中具有高效的I/O性能。文中全面分析了影响其性能的各种因素,实现了最优化配置的低成本高性能混合存储系统,并对该系统的未来发展趋势进行了分析和展望。     

固态硬盘混合存储数据库的数据分布优化算法

基于闪存的固态硬盘( SSD)可以有效提升联机事务处理( OLTP)数据库的性能,但由于目前SSD价格仍然较高,一般多与磁盘组成混合存储。为此,提出数据分布的自适应优化算法以及具体的优化策略。该算法能够自动适应应用的特征,通过观测判断各个数据元素的性能提升效率,从而在SSD和磁盘之间自动形成理想的数据分布。基于实际数据库系统的实验结果表明,该算法可适应各种SSD空间配置,使基于混合存储的OLTP数据性能得到有效提升。     

直流微网混合储能系统优化控制策略

和单一储能相比,蓄电池/超级电容混合储能系统可以满足微网多样化的要求.在独立直流微网系统中,根据优先使用功率密度较高的超级电容、减少蓄电池频繁大电流充放电的原则,提出了一种混合储能系统优化控制策略.加入延迟环节延迟蓄电池出力,由超级电容迅速平抑系统功率波动;根据超级电容实时荷电状态和充放电状态,采用模糊控制器调整延迟时间,在保证超级电容安全运行的前提下实现其充分利用;蓄电池作为持续供能设备,采用基于其端电压的多滞环电流控制方法,对蓄电池充放电过程进行优化,减少高频充放电电流切换造成的损伤.仿真实验结果验证了控制策略的有效性.     

一种适合海量存储的安全网络存储系统

本文基于NASD融合SAN为一种适合海量存储的安全网络存储系统SNS,满足高带宽、大规模、易扩展的海量存储需要.给出了存储系统的网络协议,由可信接入认证协议和安全信道协议两部分组成.协议在两轮交互中就完成了用户与服务器间的身份认证和长期密钥确认,并在首轮交互中完成对用户端平台的身份认证和完整性校验,提高了协议执行的效率...     

混合结构数据库中基于页迁移的存储分层算法

为了有效地利用固态盘读速快以及磁盘低存储成本的特点,在磁盘和固态盘共存的混合存储结构模型下,设计并实现了一种基于页迁移思想的存储分层算法(SZA)。不同于NUMA的迁移代价计算方法,该算法按照迁移代价选择相应的存储介质,并且对不同工作负载的数据进行迁移。实验结果显示,算法有效地提升了数据库系统的I/O性能,同时大幅度地减少了对闪存的擦写次数。     

嵌入式存储系统恢复机制的设计与实现

随着嵌入式数据采集系统的不断发展，将数据以某种常用文件系统的形式保存在外存中的方法得到了越来越广泛的使用。针对嵌入式存储系统自身的特点以及采用缓存机制而带来的问题，采取某种应对系统故障的恢复机制显得十分必要。该文基于嵌入式数据存储系统的特点提出了一种数据恢复机制，对该机制进行了分析并予以实现。     

基于持久性内存的属性图存储系统

属性图是一种流行的图数据模型, 在各种图系统中得到了广泛应用. 然而, 面向事务型负载的图数据库系统在执行图分析任务的场景下面临着高延迟等挑战. 传统的图分析系统往往是基于简单图模型, 而且大多不支持图的事务型负载. 因此, 迫切需要一个能够在属性图上高效处理事务型负载和图分析任务的图存储系统. 持久性内存的问世, 使得我们有机会重新设计图存储系统, 以充分发挥这种设备的特点. 为此, 本文提出了一种基于持久性内存的属性图存储系统, 名为TAG. TAG采用了一种新颖的混合架构的图存储方式, 以充分发挥持久性内存和主存的优势. 其次, 通过拓扑和索引结合的方式, 将图的拓扑嵌入到系统的索引中以加速图的拓扑查询. 最后, TAG通过基于标签的方式来组织图的属性数据, 进一步优化图的属性访问. 实验结果表明, TAG显著优于其他图数据库系统, 与图分析系统相比, TAG也有着相近的性能表现.     

电动汽车复合储能系统能量管理策略及其 快速控制原型验证

纯电动汽车储能系统需同时满足高功率密度与高能量密度的要求,但现阶段单一储能单元往 往难以同时具备这两种特点。将高能量密度的锂电池与高功率密度的超级电容进行合理搭配,形成复 合储能系统,是解决以上问题的一个有效方案。该文以宝马 I3 纯电动汽车作为目标车型,设计了锂电 池/超级电容复合储能系统,并制定了一种基于规则的能量管理策略,综合考虑了外部工况要求、锂电 池与超级电容的荷电状态,自动规划工作模式,充分发挥各储能单元自身优势,在极端状况下可自动 启动保护模式;同时,基于快速控制原型的思想,设计搭建了以 dSPACE 为控制中心的复合储能系统 能量管理策略快速控制验证平台,搭配可编辑电力参数的外部电子负载设备,完成了能量管理策略的 半实物实验验证。实验结果表明,电动汽车锂电池/超级电容复合储能系统搭配合理的能量管理策略, 能够充分发挥锂电池的能量特性与超级电容的功率特性,更好地满足了现代纯电动汽车对续航里程与 动力性能的要求,同时可节约能源,在一定程度上起到延长储能系统使用周期的作用。