基于SSD的Key-Value系统优化设计与实现

随着互联网技术的迅猛发展,越来越多的非结构化数据涌入到人们的生活中,为这些数据建立高效的索引面临极大的挑战.键值数据库Key-Value以其结构简单和高扩展性而引起人们的广泛关注,已成为海量数据存储系统中的重要组成部分.由于Key-Value系统对吞吐量要求较高,而基于Flash的固态硬盘(solid state drive,SSD)能够提供很高的随机读性能,在SSD上构建Key-Value系统已成为海量数据存储领域的一大研究热点.鉴于Flash具有非定点更新、寿命有限等特性,基于SSD的KeyValue系统必须针对Flash的特性作专门优化.以一种称为SkimpyStash的基于SSD的Key-Value系统为基础,提出了一种新的Key-Value系统低延迟存储系统(low latency store,LLStore).LLStore使用内存文件映射技术来减少针对SSD的IO请求,除此之外,针对SkimpyStash中低效的压缩策略,提出一种改进方法,可以在少量增加内存开销的情况下极大地减少查询时间.通过与原系统的性能比较实验,LLStore在平均查询时间上可以获得至少12%的加速.     

线程一致性模型及其实现

在虚拟分布式共享存储系统（SVM）中，为了保证程序在分布式环境下正确运行，维护存储一致性是关键问题之一，本文提出了一种全新的一致性模型－线程一致性模型（TC），并阐述了基于TC模型的虚拟分布式共享存储系统MTK的实现，线程一致性模型从操作系统内核的角度出发，把程序执行过程中的同步点与线程状态结合起来考虑存储一致 性问题，有利于数据局部性的开发，另外，多线程体系结构的一个显著优势就是能把计算和通信重叠起来，从而有效地隐藏通信延迟，在内核级实现线程一致性模型时，线程 及同步原语（锁、栅栏）都维护一个写记录，同时定义了同构唤醒线程簇。     

闪存存储系统综述

闪存因其低延迟、高并发、低能耗、体积小等特点受到了广泛关注.首先讨论了简单利用闪存固态盘替换传统磁盘的方式隐藏了闪存特性,限制了软件系统对闪存特性充分利用的不足.然后,分析并比较了现有包括闪存加速卡、闪存阵列、基于闪存的分布式集群系统等基于存储介质直接构建的闪存存储系统的特点,归纳了其通过改变硬件接口、调整软件或控制器管理模块、匹配处理器与I/O处理能力等方式实现系统低延迟、高可靠、低能耗等特性的优化方法.然后重点讨论了闪存存储系统3个方面的关键技术:基于I/O栈调整与重构的存储性能优化、系统级可靠性、体积与能耗.最后总结了闪存存储系统的现状与特点,并指出未来可能的研究方向.     

一种新型分布式元数据管理策略

高效、可扩展的元数据管理系统是提高分布式存储系统整体性能的关键. 传统的元数据分配策略会导致元数据负载不均衡,以及在多进程资源抢占的情况下,会存在响应处理用户请求效率不高,存储文件数目受限等问题. 上述问题在高并发、低延迟的数据存储需求中尤为突出. 提出了一个基于一致性Hash与目录树的元数据管理策略,并实现了相应的分布式元数据管理系统：利用负载均衡算法,对元数据进行迁移,保证了粗粒度负载信息收集,细粒度调整的均衡策略. 多项实验的结果表明,该策略能实现元数据负载均衡,降低用户请求处理延迟,提高分布式系统的可扩展性和可用性.     

基于TDI的网络虚拟磁盘驱动研究与实现

应个人网络存储应用的需要,研究和开发网络虚拟存储系统。实现这种系统的关键是开发网络虚拟磁盘驱动。通过介绍在Windows NT内核模式下设计虚拟磁盘驱动的详细原理,分析和研究网络虚拟磁盘驱动的设计与实现。开发过程中,调用TDI(Transport Driver Interface)函数,实现了网络虚拟磁盘驱动的网络功能。使用此方法开发虚拟存储系统,由于是基于Windows内核的开发,所以网络传输效率较高;另外,基于此技术的虚拟存储系统,没有改变用户的使用习惯,所以大大方便了用户的使用。     

低CPU开销的低延迟存储引擎

近些年来,固态存储的硬件处理速率得到了极大改善.一块超低延迟的固态存储盘能在10μs内处理4KB大小的数据.加速I/O收割过程以构建低延迟的存储引擎是存储系统研究中的一个重要研究课题.传统存储系统通过硬件中断机制收割I/O,却引入了额外的上下文切换开销,延长了整体I/O处理时间.现有工作使用轮询机制以消除上下文切换,却...     

基于TDI的网络虚拟磁盘驱动研究与实现

应个人网络存储应用的需要，研究和开发网络虚拟存储系统。实现这种系统的关键是开发网络虚拟磁盘驱动。通过介绍在Windows NT内核模式下设计虚拟磁盘驱动的详细原理，分析和研究网络虚拟磁盘驱动的设计与实现。开发过程中，调用TDI（Transport Driver Interface）函数，实现了网络虚拟磁盘驱动的网络功能。使用此方法开发虚拟存储系统，由于是基于Windows内核的开发，所以网络传输效率较高；另外，基于此技术的虚拟存储系统，没有改变用户的使用习惯，所以大大方便了用户的使用。     

一种优化的内核态文件发送方法

传统的Linux内核协议栈已不能满足大规模数据处理系统对网络传输越来越高的性能要求。现有很多研究是将原来在内核态实现的协议和接口移到用户态去实现，但针对内核态优化的研究比较少。在研究分析Linux内核态文件发送接口sendfile( )处理流程和管理机制的基础上，本文提出一种内核态文件发送优化方法，采用自动负载均衡的定长内存池管理、CPU亲和性等技术，对内核态文件发送接口进行优化改造。解决了系统在高负载情况下内存碎片、内存耗尽及CPU抖动的问题，有效提升了数据传输性能。实验结果表明，在高并发、高吞吐场景下，采用本文优化方法后，系统运行更稳定，内核态CPU占有率下降50%。     

基于SCM与SSD的混合高效键值存储系统研究

具有高性能以及非易失特性的SCM（Storage Class Memory,存储级内存）技术逐渐成熟并开始运用到存储系统设计中,而传统的SSD仍然在存储容量上具有优势,为键值存储系统提供大容量存储的支持。现有键值存储系统不能充分发挥SCM与SSD混合存储架构的优势,需要对数据布局以及系统结构进行重新设计。针对SCM和SSD的特点,设计了基于SCM与SSD的混合式高效键值存储系统（SCM and SSD Hybrid Key-Value store,SSHKV）。SSHKV通过将键值存储中元数据信息存储到SCM中,将数据部分以日志方式存储到SSD中,实现性能与容量的兼顾。在SSD空间管理上,SSHKV采用逻辑空间放大策略,通过重映射TRIM指令释放的无效空间,减小了垃圾回收带来的数据迁移开销。SSHKV基于半异步半同步式IO模型实现,经过对比测试,SSHKV的随机写入性能相较于传统基于LSM-Tree的LevelDB提升了约20倍。     

基于Windows200x的WDM体系的IP过滤实现技术

基于内容的IP包过滤技术涉及到操作系统的内核态技术.通过对比用户态及内核态的特征,分析了Windows内核态的网络编程接口,采用了WDM的驱动程序模式体系及NDIS的层次架构.遵循IRP(I/O request packet)规范,实现了具有Miniport和Protocol层的中间驱动程序,并透明钩挂,截取、分析IP包.具体给出了Windows 200X系统中实现IP包过滤的鳊程技术方案.     

SCI中资源调度算法的分析与仿真

IEEE的1596协议标准SCI是一个面向高速、低延迟应用的互联协议。主要应用在大规模的集群系统以及实时性要求较高的任务系统。为了保证在数据通信中的高速、低延迟,SCI在每个节点输出、输入接口处分别提供了两个重要的资源调度算法——带宽分配协议及队列分配协议。文中将对这两种调度算法进行深入的分析及仿真,并对结果进行分析,提出了下一步的研究方向。     

基于NOR Flash实现KV数据库的应用研究

为在水文自动测报系统遥测站的遥测终端机中基于NOR Flash存储器可靠地存放系统运行参数,分析遥测终端机中常用固态存储器的读写特点和KV键值数据库的实现方式,设计一种基于W25Q256存储器实现KV键值数据库的解决方案.方案充分应用NOR Flash存储器的读写特点,针对同一个地址重复写入的最小编程颗粒度为1 bit,结合KV键值实现一个键值对状态的顺序变化,进而通过在存储器的一段空间内顺序增加地址存放KV键值对,实现KV键值对的新增、修改、删除和检索操作,达到磨损均衡和异常掉电恢复效果.在嵌入式系统中,相较于常用的采用固定地址保存运行参数的方案,该研究方案能有效延长NOR Flash存储器的使用寿命,提高系统的稳定可靠性.     

一种基于行为分析的程序异常检测方法

从系统资源保护的角度出发,分析并归纳了进程访问资源的异常行为特征,提出了一种基于行为分析的程序异常检测方法。该方法通过在运行的系统上设置资源防护检查点,采用用户模式API 拦截技术实时检测进程操作资源的行为,并运用贝叶斯算法对程序行为特征作组合分析,发现异常时进行告警。     

基于镜像的在线文件系统检查工具的研究与实现

设计和实现了一种全新的在线文件系统检查工具-OnlineFSCK(On-Line File System Checker)。 OnlineFSCK可以对在线的文件系统进行一致性检查。利用OnlineFSCK对文件系统进行检查时,文件系统可以继续正常提供服务。提出和实现了一种对在线文件系统生成镜像的算法,并将这个算法与现有的文件系统检查工具相结合,最终达到对在线文件系统进行检查的目的。针对ext3文件系统实现了OnlineFSCK的原型,实验结果表明, OnlineFSCK 在满足对性能的要求的前提下,能够达到与传统文件系统检查工具相同的检查能力。 OnlineFSCK的实现中没有修改文件系统的内核源码,可以扩展支持多种文件系统。     

嵌入式Linux下JFFS2文件系统的实现

文件系统是操作系统的重要组成部分之一,它为操作系统内核提供了存储和管理数据的机制,并为用户程序提供了对数据的访问接口。嵌入式文件系统不仅要具有一般文件系统的功能,还要满足嵌入式系统的特殊要求。JFFS2文件系统就是专门针对在嵌入式系统中得到广泛应用的Flash存储器而设计的,能很好地满足嵌入式系统的各项要求。文中介绍了嵌入式Linux系统下的Flash存储器和日志文件系统,并结合一个具体的实验平台,给出了JFFS2文件系统的移植和实现过程。通过在嵌入式Linux下使用JFFS2文件系统,可以为应用程序的开发奠定良好的基础。     

一种新型的基于构件和微内核的设备驱动模型

论文首先从内核性能和安全性的角度分析驱动程序对微内核与单体内核的影响;然后讨论硬件抽象层对驱动抽象能力的影响以及与移植性及内核大小的关系;分析传统UNIX系列与Windows NT操作系统内核结构以及驱动模型优缺点;最后介绍一个构件化驱动模型的特点。该模型基于构件装配运行平台技术,运行在和欣2.0操作系统平台上。驱动模型底层是一个合适的硬件抽象层,方便移植,用户态程序可以灵活地调用驱动程序。     

基于文件系统过滤驱动的安全增强型加密系统技术研究

应用层加密系统在实际的应用中一般要求用户在访问文件前手动进行加解密操作,有些系统中文件正常使用时必须以明文形式存储在磁盘上.基于文件系统驱动的加密文件系统减少了用户的参与操作,同时保证了磁盘上文件处于加密状态,但是其在设计与实现上较为复杂.针对上述方法存在的问题,本文采用Windows NT内核操作系统的驱动框架,基于文件系统过滤驱动技术实现对数据进行透明加解密.通过这种方法不仅解决了应用层加密系统存在的不足,与加密文件系统相比开发实现较简单灵活.另外使用智能卡作为加解密密钥的存储容器,进一步增强整个系统的安全性.     

WDM驱动程序中设备命名及其Win32访问的实现

内核态或用户态程序访问设备时都必须使用设备后,本文分析了WDM驱动程序中采用的两种设备命名方案,并详细讨论了驱动程序及测试应用中通过“设备接口”实现设备访问的方法。