基于冲突检测的高吞吐NVM存储系统

非易失性存储器(non-volatile memory, NVM)是解决计算机系统存储墙问题的有效手段,但现有的I/O栈缺乏相应的适应和优化机制,特别是基于文件系统的锁机制是影响NVM存储系统性能的重要因素.将存储系统访问请求的管理嵌入到存储设备中,利用NVM存储设备自主管理访问请求,使用基于冲突检测的方法代替基于文件系统的现有锁机制,提高操作系统执行访问请求的并发度,缓解设备接口带来的瓶颈问题.给出了高吞吐NVM存储系统的结构,设计了一种基于二维链表的访问请求管理方法减少访问请求管理中的冲突,一种基于冲突检测的访问请求调度算法用于管理NVM存储设备中共享的访问请求,并给出了新访问请求提交和已有访问请求释放流程,并基于Intel的开源NVM存储设备模拟器PMEM实现了HTPM的原型系统,使用Filebench中的多种负载和Fio测试了HTPM的吞吐率和I/O性能,实验结果表明：HTPM相比PMEM最大能提高31.9%的IOPS值和21.4%的I/O性能.     

闪存存储系统综述

闪存因其低延迟、高并发、低能耗、体积小等特点受到了广泛关注.首先讨论了简单利用闪存固态盘替换传统磁盘的方式隐藏了闪存特性,限制了软件系统对闪存特性充分利用的不足.然后,分析并比较了现有包括闪存加速卡、闪存阵列、基于闪存的分布式集群系统等基于存储介质直接构建的闪存存储系统的特点,归纳了其通过改变硬件接口、调整软件或控制器管理模块、匹配处理器与I/O处理能力等方式实现系统低延迟、高可靠、低能耗等特性的优化方法.然后重点讨论了闪存存储系统3个方面的关键技术：基于I/O栈调整与重构的存储性能优化、系统级可靠性、体积与能耗.最后总结了闪存存储系统的现状与特点,并指出未来可能的研究方向.     

一种高效的面向高并发图分析任务的存储系统

随着现实世界中图计算需求的快速增长,同一平台上往往并发运行着大量迭代图分析任务.然而,现有的图计算系统主要是为了高效执行单个图分析任务而设计的.因此,当多个并发图分析任务同时在同一个底层图上并行执行时,现有图计算系统会面临巨大的数据访问开销.为了提高并发图分析任务的吞吐量,现有的核外并发图处理方案通过共享图数据减少并发...     

面向NVM存储系统的快速文件访问系统

NVM存储设备系统具备提供高吞吐的潜质,包括接近内存的读写速度、字节寻址特性和支持多路转发等优势。但现有的系统软件栈并没有针对NVM去设计,使得系统软件栈存在许多影响系统访问性能的因素。通过分析发现文件系统的锁机制具有较大的开销,这使得数据的并发访问在多核心环境下成为一个难题。为了缓解这些问题,设计了无锁的文件读写机制以及基于字节的读写接口。通过取消基于文件的锁机制改变了粗粒度的访问控制,利用自主管理请求提高了进程的并发度;在设计能够利用字节寻址的新的文件访问接口时,不仅考虑了NVM存储设备的读写非对称,还考虑了其读写操作的不同特性。这些设计减少了软件栈的开销,有利于发挥NVM特性来提供一个高并发、高吞吐和耐久的存储系统。最后利用开源NVM模拟器PMEM实现了FPMRW原型系统,使用Filebench通用测试工具对FPMRW进行测试与分析,结果显示,FPMRW相对EXT+PMEM和XFS+PMEM能提高3%~40%的系统吞吐率。     

存储系统负载自相似性研究综述

I/O突发是造成I/O瓶颈的一个主要原因,研究I/O负载中普遍存在的突发性并对负载进行精确合成,对存储系统设计及其性能评价具有重要意义。对实际I/O负载的研究表明,传统的泊松假定难以准确地描述长时间范围内的I/O突发行为。研究发现,I/O突发在不同时间尺度下具有相似性,即I/O负载具有自相似性,因此,自相似模型被用来刻画I/O负载中的长相关性。针对I/O负载自相似参数估计,总结了各种常用的时域和频域估值方法。着重对已有的I/O负载合成模型进行了剖析,讨论了各种自相似模型、多分形模型以及alpha稳定模型的特点。探讨了有待解决的开放性问题,并对I/O负载自相似性研究的发展趋势进行了展望。上述工作将对存储负载的自相似性研究提供有益参考。     

基于非易失存储器的事务存储系统综述

随着非易失存储器的出现和广泛使用,存储体系结构正在发生根本改变.传统数据库系统与文件系统事务处理技术大多基于磁盘设备,设计之初并未考虑非易失存储器特性.为了充分利用非易失存储器特性,缩小计算机系统的I/O性能与CPU处理性能之间的差距,基于非易失存储器的事务存储系统与技术成为了研究热点.首先讨论了软件层事务处理技术的现状,分别介绍了传统数据库系统与文件系统事务处理常用技术;然后依据闪存和相变内存进行划分,对现有基于非易失存储器的事务存储系统与技术进行了讨论;最后给出了基于非易失存储器的事务存储系统研究展望.在基于闪存的事务存储相关研究中,首先分析了使用传统设备接口闪存设备加速事务处理的系统设计,然后重点分析了基于专用事务接口的事务闪存存储系统研究,并对基于闪存的事务存储系统不同研究进行了比较.在基于相变内存的事务存储相关研究中,分别分析并比较了相变内存在主存环境和外存环境提供事务处理的技术,重点讨论了日志与缓存融合技术、细粒度日志技术等关键问题.     

支持跨步访问的嵌入式存储系统

提出了一种新型多素数嵌入式存储系统,能够显著改善系统跨步访问的性能。提高跨步访存的带宽,对于改善系统的整体性能有着重要的意义。但是,在嵌入式系统中,受片外结构的尺寸限制,直接应用经典的素数存储系统理论无法显著改善跨步访存性能。为此,该新型系统以素数存储系统理论为基础,引入主存访问调度策略并结合嵌入式系统的实际结构特征,构造了一种两层结构的多素数存储系统,可以用较少数量的存储模块实现,而且从逻辑地址到物理地址的映像计算简单,能够以相对较小的硬件代价实现对嵌入式存储系统跨步访问的有效支持。理论分析和实验结果均证实了该系统的正确性和有效性。     

一种支持并发访问流的文件预取算法

设计并实现了一种按需预取算法,采用更为宽松的顺序性判决条件,并以页面和页面缓存的状态作为可靠的决策依据.它可以发现淹没在随机读中的顺序访问并进行有效的预读,支持对单个文件实例的并发访问而产生的交织访问模式.实验结果表明:相对于原Linux预读算法,该算法在随机干扰下的顺序读性能可提高29%;交织读的性能是传统算法的4~27倍;同时,应用程序可见延迟改善可达35倍.该算法已被Linux 2.6.24内核采用.     

基于RAM/Disk混合设备模型的FC-SAN存储系统

磁盘存取是基于光纤通道网络的SAN存储系统的目前性能瓶径,在综合和分析目前各种文件系统I／O操作工作负载的研究结果的基础上,提出了一个新的改进FC-SAN存储系统性能的方法：将各种文件系统I／O操作分为大数据量的文件读写操作、小数据量的文件读写操作和文件属性操作,大数据量的文件读写操作还是按照原来的I／O路径进行,存取物理磁盘;但其他各种文件操作包括小数据量的文件读写操作对基于内存的RAMDisk设备进行操作,实验结果显示,基于混合I／O子系统的FC-SAN存储系统的存取速率可以接近线速。     

APMSS：一种具有非对称接口的固态存储系统

固态存储系统是解决计算机系统存储墙问题的重要手段,但当前所常用的基于数据块访问方式有很大的局限,存在写放大和无法利用内部存储器件支持字节读写特性等问题,严重影响了固态存储系统的I/O性能和使用寿命.设计了具有非对称接口的固态存储系统(APMSS).在分解文件系统层所提交访问请求的基础上,针对读操作的特性,设计了基于块的读机制,避免改变读粒度增加I/O软件栈开销,并能发挥读缓存的作用;设计了最小化直接写机制,包含通用块层的多粒度固态存储系统映射算法和驱动层的动态粒度写算法,仅将实际需写入数据和位置等信息发送给固态存储系统,提高固态存储系统的写性能,并减少对固态存储系统使用寿命的影响.在开源的块接口固态存储系统PMBD的基础上实现了APMSS的原型,使用存储系统的通用测试工具Fio和Filebench进行测试,结果表明APMSS上的Ext4相比PMBD上的Ext2和Ext4能提高9.6%~29.8%的写性能.     

Courier: Multi-dimensional QoS guarantees for the consolidated storage system

The increasing cost and complexity of data management is driving data centers to consolidate resource and provide storage service for multiplex applications. Therefore, storage systems must be able to guarantee multi-dimensional Quality of Service (QoS) for various applications. However, satisfying performance targets for each workload is challenging, because that the I/O characteristics of workloads usually varies widely and capability of storage system changes significantly. In this paper, we design and implement a novel QoS scheduler, Courier, to maintain satisfactory performance for applications even in this highly-volatile scenario. Courier dynamically alternates between a feedback-based latency controller and reward budget-based scheduling to achieve per-application performance requirement. The feedback-based controller is employed to estimate request service times and adjust scheduling strategy dynamically. Based on the estimation, it can identify time-critical requests from throughput-sensitive requests and schedule applications with time-critical requests preferentially to avoid latency violations. In addition, Courier rewards well-behavior application with more budget to maintain high storage utilization while providing performance guarantees. We evaluate the effectiveness of our approach using synthetic and real workloads, and the results show that Courier has good ability to achieve per-application performance targets.     

Pmfs中目录项索引的实现

可字节寻址的非易失存储介质,如相变存储器等,使数据可以在内存级别持久化。由于非易失存储器（NVM）本身的读写延时非常低,系统软件开销成为了决定整个持久化内存系统性能的主要因素。Pmfs是一个专门为持久化内存所设计的文件系统,然而,Pmfs下的每个目录操作（打开、创建或删除）都会遍历目录下的所有目录项,导致了随文件数增长而线性增长的目录项查找开销。通过测试发现,在特定类型负载下这种开销成为了整个文件系统的瓶颈。针对该问题,在Pmfs中实现了持久化的目录项索引来加速目录操作。测试结果显示,基于单目录下100000文件的负载,该优化使得文件创建速度提高了12倍,带宽增加了27.3%。     

基于远程直接内存访问的高性能键值存储系统

随着数据与系统规模的不断扩大,网络传输成为了键值存储系统的性能瓶颈。同时,远程直接内存访问(RDMA)技术能够支持高带宽和低时延的数据传输,为键值存储系统设计提供了新的思路。结合高性能网络中的RDMA技术,设计并实现了高性能、低CPU负载的键值存储系统Chequer;结合RDMA原语的特性,重新设计了键值存储系统的基本操作工作流程;并设计了基于线性探测的共享hash表,解决客户端缓存失效的问题以及提高hash命中率来减少客户端的读取轮数,进一步提高了系统的性能。在小规模集群上实现了Chequer系统,并通过实验验证了其性能。     

非易失性内存友好的线性哈希索引——NVM-LH

非易失性内存(NVM)因其大容量、持久化、按位存取和读延迟低等特性而受到人们的关注,但它同时也具有写次数有限、读写速度不均衡等缺点.针对传统线性哈希索引直接在NVM上实现时会导致大量的随机写操作这一问题,提出了一种新的NVM友好的线性哈希索引NVM-LH.NVM-LH通过存储数据时的缓存行对齐实现了缓存友好性,同时提出...     

基于重用信息的非易失性缓存动态旁路策略

非易失性存储器具有能耗低、可扩展性强和存储密度大等优势,可替代传统静态随机存取存储器作为片上缓存,但其写操作的能耗及延迟较高,在大规模应用前需优化写性能.提出一种基于缓存块重用信息的动态旁路策略,用于优化非易失性存储器的缓存性能.分析测试程序访问最后一级缓存(LLC)时的重用特征,根据缓存块的重用信息动态预测相应的写操...     

PCS7在广州新水泥厂的应用

通过对SIEMENS公司新一代分布式控制系统PCS7,过程控制系统SIMATIC PCS7在广州新水泥厂中应用的描述,从系统的角度介绍了PCS7系统的硬件、网络和软件,体现了基于全集成自动化思想与Profibus现场总线以及工业以太网有机地相结合的SIMATIC PCS7的特点,同时也为开放型现场总线过程控制系统SIMATIC PCS7在水泥行业特别是大型水泥厂的应用提供了应用实例。经过单机调试、联机带料运行,结果表明该控制系统稳定可靠,控制效果良好,满足了生产工艺的要求。     

分布式存储系统读写一致性算法性能优化研究综述

读写一致性算法被广泛部署到分布式存储系统,以保证读写数据的正确性。然而,读写一致性算法通常需要使用一个复杂的通信协议来保证多个节点读写数据的正确性,会带来较大网络传输开销和读写时延。由于各种读写一致性算法实现机制存在较大差异,特定的读写一致性算法往往需要部署到特定的存储应用场景,才能高效地执行数据读写操作,保障对其上应用的服务质量。因此,实际的存储系统开发过程中,开发人员往往需要根据存储应用场景选择读写一致性算法,从而减少数据读写操作带来的系统开销。为了明确各种读写一致性算法适合的应用场景,介绍了分布式存储系统中存在的读写一致性问题,并综述了当前读写一致性算法的实现机制。总结了在副本和纠删码2种存储机制下主流的读写一致性算法,比较了这些读写一致性算法在实现机制、网络开销和数据存储开销等方面的特性。在此基础上,结合了单数据中心分布式存储系统和跨数据中心云际存储系统2种经典的应用场景,总结了开发人员在实际存储系统中部署读写一致性算法过程中需要注意的要点,分析了亟需解决的问题和提升数据读写操作性能的可能途径,展望了读写一致性算法未来的发展方向。     

iSCSI存储系统中缓存技术的研究

为了发挥iSCSI存储系统不受距离限制、大容量、易扩充和传输性能较高等特点,减少直接对磁盘阵列进行操作的次数,以便提高系统的数据传输速率,提出了一种高效的iSCSI缓存机制.通过加载该缓存模块,可以有效减少直接访问磁盘阵列的次数,加快系统响应速度,提高了iSCSI系统的性能.最后用网络仿真软件NS-2进行测试,测试结果表明了该方法的可行性.