基于SSD SMR混合存储的LSM树键值存储系统的性能优化

大数据对存储系统的可扩展性、性能和成本等方面提出了更高的要求。瓦记录(Shingled Magnetic Recor-ding,SMR)硬盘由于存储密度高、价格便宜,正逐步被广泛应用于大数据存储系统。但是,SMR硬盘的随机写性能较差,与快速的基于闪存的固态硬盘(Solid State Drive,SSD)一起构成混合存储时可以显著提升性能。同时,基于写优化的日志结构合并(Log-Structured Merge,LSM)树的键值存储已被广泛应用于许多NoSQL系统,如BigTable,Cassandra和HBase等。因此,如何基于新型的SSD-SMR混合存储构建出高性能的LSM树键值存储系统是一个具有很大研究价值的问题。首先建立基于SSD-SMR混合存储的LSM树键值系统的性能模型,然后针对SSD和SMR的硬件特征以及LSM树键值存储的软件特点,设计了一套面向SSD-SMR混合存储进行性能优化的LSM树键值存储系统,并基于LevelDB实现了该系统。在仅仅使用0.4%～2%空间的SSD的情况下,所提方法可以使SSD-SMR混合存储方案比普通磁盘方案的随机写性能提高20%,随机读性能提高5倍。     

SSDKV:一种SSD友好的键值对存储系统

当前大量键值对(Key-Value)存储系统使用固态硬盘(SSD)改善系统的I/O响应速度。但是现有的键值对存储系统应用程序使用标准文件系统处理数据在固态硬盘上的存储,这对应用程序而言底层固态盘的物理特性被屏蔽,同时固态盘也无法针对应用程序的特定I/O模式进行优化,使得基于固态盘的键值对系统性能没有得到充分发挥。针对此问题,设计了同时考虑键值对应用程序存取行为和SSD存储器访问特性的存储管理模块,并与LevelDB结合实现了一种轻量级的、将上层应用与底层存储集成一体的键值对系统—SSDKV。它提供键值对接口给外部程序,结合键值对数据的特点构造适应SSD的数据布局。SSDKV简化了传统文件系统对键值对数据的额外处理,并根据键值对数据的类型及其存取模式对SSD存储空间进行有效管理,使得基于SSD设备的键值对系统性能进一步提高。通过基准程序测试,与运行于传统文件系统上的LevelDB相比,SSDKV使得写性能提高达4倍,读性能提高达1.5倍。     

基于SSD的机群文件系统元数据存储系统

随着数据量的增加和元数据操作性能需求的提高,传统基于磁盘(HDD)存储架构的机群文件系统元数据存储系统由于HDD成为性能瓶颈而无法满足需求.将SSD应用到元数据存储中,设计实现了一个基于SSD+HDD的异构元数据存储系统Hybrid MDSL.针对SSD的I/O特性设计了基于追加写的元数据存储组织,并通过基于访问热度的数据迁移机制提高SSD空间利用率.测试结果表明,Hybrid MDSL明显提高了元数据I/O的性能.     

基于远程直接内存访问的高性能键值存储系统

随着数据与系统规模的不断扩大,网络传输成为了键值存储系统的性能瓶颈。同时,远程直接内存访问（RDMA）技术能够支持高带宽和低时延的数据传输,为键值存储系统设计提供了新的思路。结合高性能网络中的RDMA技术,设计并实现了高性能、低CPU负载的键值存储系统Chequer;结合RDMA原语的特性,重新设计了键值存储系统的基本操作工作流程;并设计了基于线性探测的共享hash表,解决客户端缓存失效的问题以及提高hash命中率来减少客户端的读取轮数,进一步提高了系统的性能。在小规模集群上实现了Chequer系统,并通过实验验证了其性能。     

ZFS在基于HDFS的近线存储系统中性能分析与实现

通过将云计算技术应用于近线存储领域,设计实现了基于Hadoop分布式文件系统(Hadoop distributed file system,HDFS)的海量近线存储系统,用以扩展TH-1A超级计算机在线存储系统空间,提高系统利用率.该系统采用胖存储节点(大型的存储服务器)构建基于HDFS的近线存储集群,通过ZFS文件系统来解决HDFS存在的低效和空间利用率低的问题,采用双副本冗余、虚拟存储、动态管理等方法优化存储服务器存储和管理效率,提高了近线存储系统性能.实验结果表明,与传统HDFS集群存储系统相比,该系统在可靠性、经济性及灵活性上均具有一定的优势.     

基于磁盘和固态硬盘的混合存储系统研究综述

大数据和云计算环境下海量增长的数据对存储系统的超高容量和体系结构带来了极大的挑战。目前存储系统的发展趋向于大容量、低成本和高性能,然而任何单一的存储器件如传统的机械磁盘（HDD）、固态硬盘（SSD）、非易失型性随机存储器等由于其固有的物理特性的限制,并不能满足以上的需求。将不同的存储介质混合组合成高效的存储系统是一个好的解决方法,固态硬盘作为一种高可靠性、低能耗、高性能的存储器被越来越广泛地运用到混合存储系统。通过将固态硬盘与传统磁盘进行组合,利用固态硬盘的高性能和传统磁盘低成本大容量的特点,能够为用户提供大容量的存储空间,保证系统的高性能,同时还能降低成本。通过阐述SSD与HDD混合存储系统的研究现状,对不同的SSD与HDD混合存储系统进行分类总结;然后针对缓存架构和设备同层架构这两种目前最流行的存储架构中涉及到的关键技术和不足进行讨论;最后对基于SSD和HDD的混合存储技术进行概括总结,并对今后该领域的研究重点和方向进行展望。     

基于位图的键值存储哈希优化

内存键值存储系统中索引方法决定了系统的时间性能和空间开销,是改进和优化的关键因素。哈希索引提供了O（1）时间复杂度的访问操作,但会产生存储冲突,引起访问性能下降。为此,提出了一种基于位图的键值存储哈希优化方法,可以避免存储冲突提升访问性能。该方法将共前缀的键哈希到同一个块,减少键存储空间;在块内使用层次位图结构,全域位图表示所有键的后缀部分来避免存储冲突,摘要位图支持快速定位和范围查询加速。实验结果表明,优化后的哈希索引在多种负载上均能取得较高吞吐量并具有良好的并发性能,同时内存占用较现有方案大大降低。     

基于SSD的云存储主服务器元数据管理研究

为了提高对云存储系统主服务器中元数据的有效管理,在数据密集型应用中,考虑到读多写少的特点符合网络中各种应用的基本特征,而文件存储的元数据往往小于4KB,我们提出一种基于SSD的针对云存储系统主服务器的元数据管理策略,建立了一套相对独立的存储服务器目录路径索引机制,此策略将元数据的管理分为两个部分：目录路径索引和文件名,充分利用SSD的低功耗与优越读性能。测试表明,基于SSD的云存储主主服务器元数据管理策略可以明显改善系统响应时间,降低延迟,提升云存储系统的性能。     

近数据计算下键值存储中Compaction并行优化方法

大规模非结构化数据的爆炸式增长给传统关系型数据库带来了极大的挑战.基于日志结构合并树(log-structured merge tree,LSM-tree)的键值存储系统已被广泛应用,并起到重要的作用,原因在于基于LSM-tree的键值存储能够将随机写转化为顺序写,从而提升性能.然而,LSM-tree键值存储也存在一些...     

基于键值存储的事务控制策略

介绍基于键值存储的优点以及发展趋势，提出键值存储模型中支持事务的方法。新型的键值存储数据库应该具备传统数据库的事务能力，新型数据库实现事务控制，需要与传统关系型数据库不同的策略，本文描述使用写前日志WAL（Write-ahead Log）和并发版本系统CVS（Concurrent Versions System）的事务控制，满足ACID特性。     

超宽带无线通信系统中兼容性交织器设计

设计一种应用于超宽带(UWB)无线通信系统的交织器,采用双端口随机存取存储器结合地址发生器的结构,实现多波段正交频分复用和双载波正交频分复用2种标准下比特交织的兼容.相比只适用于单一标准的交织器,该交织器在查找表数目增加4.5%、寄存器数目增加1.8%的情况下,工作主时钟达到132MHz,数据吞吐率达到最大1.42Gb...     

结合深度强化学习的区块链分片系统性能优化

提高区块链系统吞吐量是广泛应用区块链的关键问题之一。针对以上问题,将分片技术应用到区块链系统中,通过使区块链并行处理事务提高区块链的吞吐量。将区块链分片选择问题建立为马尔科夫决策过程（Markov decision process,MDP）,并设计了基于深度强化学习（deep reinforcement learning,DRL）的区块链分片最优选择策略（branching dueling Q-network shard-based blockchain,BDQSB）。所采用的BDQSB算法克服了传统DRL算法行为空间维度高、神经网络难以训练的缺点。仿真实验结果表明,所提出的方法可以有效降低行为空间维度,提高区块链处理事务的吞吐量和可扩展性。     

基于三态内容寻址存储器的多模式匹配算法

传统模式匹配算法在高速环境下无法实现数据包的实时处理。为此,提出一种基于三态内容寻址存储器(TCAM)的快速多模式匹配算法,通过模式移位将长模式截取为若干个子串,第1级TCAM存储子串,第2级TCAM存储子串的序列编号。搜索模式时,第1级TCAM向后端输出命中表项的编号,第2级TCAM实现序列编号的匹配,从而获得长模式的匹配信息,并通过编号空间划分方法压缩表项数目以提高资源利用率。实验结果表明,该算法可以实现网络数据的高速匹配处理,与基于hash标识的移位存储算法相比,具有空间消耗少的优势。     

一种混合映射闪存转换层的设计与实现

使用NAND Flash作为存储媒介的存储设备常需要闪存转换层(FTL)对NAND进行管理。页映射是一种常见的映射方式,但需要很大的内存存放页映射表,在嵌入式环境下这一条件往往无法满足。针对该问题,提出一种基于超级块的混合映射FTL,包括坏块管理、地址翻译、垃圾回收、上电恢复,使用的SRAM空间不到128 KB,远小于页映射,同时不需要存储映射表,程序在固态硬盘开发板上成功运行,实现固态硬盘基本读写功能。测试结果表明,该混合映射FTL方案具有较好的顺序读写性能。     

一种可提供QoS保证的交换结构

面向以太网的物理帧时槽交换（EPFTS）是四川省网络与通信技术重点实验室提出的“单物理层用户数据传输平台网络”中的关键技术,它是以“面向以太网的帧”为数据传输单元的高速交换技术,正是针对实现EPFTS而提出的交换结构方案。在对常用的交换结构和调度算法进行分析的基础上,针对EPFTS要达到的目标和技术特点,提出了一种能够在物理层交换中保证服务质量的交换结构,称为基于总线的、每输入-输出独立的输出缓存交换结构,同时提出了逻辑队列的排队策略,并对该结构进行了软件仿真。仿真结果表明,使用加权公平调度算法,提出的交换结构对实时业务可提供端到端的QoS保证,对非实时业务可提供最大-最小公平服务。     

基于蚁群优化算法的Chord模型

提出一种具有物理拓扑匹配能力的Chord模型(Ant-Chord),用以存储网络标识间的映射信息。该模型将整个Chord环中的存储节点看成一个旅行商问题(TSP),利用蚁群优化算法对TSP问题进行快速求解,用得到的解构建Chord环,并通过洛阳铲法对Chord环的路由跳数进行优化。Ant-Chord模型实现简单,对原始Chord模型改动不大,路由表的额外存储开销也较小。仿真结果表明,与同类Chord模型相比,Ant-Chord在资源发现的平均路由跳数、时延方面均有明显优势。     

一种海量存储系统二级缓存的设计与实现

引入新颖固态存储技术和DRAM与固态硬盘（SSD）混合的缓存架构，提出一种海量存储系统的二级缓存策略，通过回写策略能够有效减少SSD缓存的小写问题，并对两级缓存架构下建立的逻辑磁盘进行测试，结果表明在请求平均响应时间上取得了优化。     

IEEE 802.11e协议HCCA机制下的QoS研究

分析了IEEE 802.11e协议HCCA信道接入机制下的简单带宽调度算法对多媒体业务的QoS支持情况,指出其不足并在其基础上进行了改进,提出了一种基于业务等级的带宽调度算法E-HCCA（Enhanced HCCA）。E-HCCA对不同优先等级业务的数据在带宽分配上采用不同的策略,在优先保证各个节点CBR业务的基础上,根据节点的VBR流量动态平均分配剩余带宽。相比较简单调度算法,E-HCCA算法更好地支持了多用户下的语音业务流和视频业务流,降低了分组时延,增加了系统吞吐率。