基于SSD SMR混合存储的LSM树键值存储系统的性能优化

大数据对存储系统的可扩展性、性能和成本等方面提出了更高的要求。瓦记录(Shingled Magnetic Recor-ding,SMR)硬盘由于存储密度高、价格便宜,正逐步被广泛应用于大数据存储系统。但是,SMR硬盘的随机写性能较差,与快速的基于闪存的固态硬盘(Solid State Drive,SSD)一起构成混合存储时可以显著提升性能。同时,基于写优化的日志结构合并(Log-Structured Merge,LSM)树的键值存储已被广泛应用于许多NoSQL系统,如BigTable,Cassandra和HBase等。因此,如何基于新型的SSD-SMR混合存储构建出高性能的LSM树键值存储系统是一个具有很大研究价值的问题。首先建立基于SSD-SMR混合存储的LSM树键值系统的性能模型,然后针对SSD和SMR的硬件特征以及LSM树键值存储的软件特点,设计了一套面向SSD-SMR混合存储进行性能优化的LSM树键值存储系统,并基于LevelDB实现了该系统。在仅仅使用0.4%～2%空间的SSD的情况下,所提方法可以使SSD-SMR混合存储方案比普通磁盘方案的随机写性能提高20%,随机读性能提高5倍。     

一种面向SSD-HDD混合存储的热区跟踪替换算法

固态驱动器(SSD)读写性能优越,但成本高,因此在实践中人们往往利用SSD和普通硬盘(HDD)构建混合存储系统以获取较高的性价比.在混合存储系统中,如何使更多的IO请求能够命中SSD是充分利用SSD性能的关键.针对多任务共享存储环境下集中访问和随机访问IO存取模式并存,且通常情况下IO工作流大部分请求相对集中于有限区域内的特点,本文提出一种基于热区跟踪(HZT)的缓存替换算法.HZT算法充分考虑了IO工作流的空间局部性和时间局部性,利用IO工作流的历史访问信息,跟踪当前热区,并为热区数据块赋予更高的驻留SSD的优先级,能够有效提高混合存储中SSD缓存的命中率.经测试,在典型多任务共享存储环境下HZT算法可以使SSD缓存的命中率比使用LRU(Least Recently Used)算法的系统提高12%.采用适当的预取策略,该算法的命中率与LRU算法相比可获得23%的提升.     

一种用磁盘备份SSD的高性能可靠存储系统

固态盘(solid state drive,SSD)因为其优越的性能已被大量部署于当前的存储系统中.但是,由于寿命有限,SSD的可靠性受到广泛的质疑.磁盘阵列(redundant arrays of inexpensive disk,RAID)是一种传统的用来提高可靠性的手段,但并不适用于SSD.这项工作提出一种基于SSD和磁盘的混合存储系统,构建该系统的主要思想是SSD响应所有I/O请求,从而获得较高的性能;磁盘备份所有数据,从而保证系统的可靠性.但是,磁盘的I/O性能显著低于SSD,构建该系统的问题在于磁盘能否及时地备份SSD上的数据.为了解决这一问题,从两方面提出优化:在延迟方面,采用非易失主存弥补磁盘与SSD的延迟差距;在带宽方面,采用两种措施:1)在单块磁盘内部重组I/O请求,使磁盘尽可能的顺序读写;2)采用多块磁盘备份多块SSD,通过将一块SSD上的写请求分散到多块磁盘上,有效应对单块SSD上出现的突发写请求.通过原型系统实现表明,该混合系统是可行的:磁盘能够为SSD提供实时的数据备份;与其他系统相比,该混合系统取得较高的性价比.     

混合结构数据库中基于页迁移的存储分层算法

为了有效地利用固态盘读速快以及磁盘低存储成本的特点,在磁盘和固态盘共存的混合存储结构模型下,设计并实现了一种基于页迁移思想的存储分层算法(SZA)。不同于NUMA的迁移代价计算方法,该算法按照迁移代价选择相应的存储介质,并且对不同工作负载的数据进行迁移。实验结果显示,算法有效地提升了数据库系统的I/O性能,同时大幅度地减少了对闪存的擦写次数。     

一种闪存敏感的多级缓存管理方法

基于闪存的固态硬盘(solid state driver,简称SSD)已经广泛应用于各种移动设备、PC机和服务器.与磁盘相比,尽管SSD具有数据存取速度高、抗震、低功耗等优良特性,但SSD自身也存在读写不对称、价格昂贵等不利因素,这使得SSD 短期内不会完全取代磁盘.将SSD和磁盘组合构建混合系统,可以发挥不同的硬件特性,提升系统性能.基于 MLC 型 SSD 和 SLC 型 SSD 之间的特性差异,提出了一种闪存敏感的多级缓存管理策略——FAMC.FAMC将SSD用在内存和磁盘之间作扩展缓存,针对数据库系统、文件管理中数据访问的特点,有选择地将内存牺牲页缓存到不同类型的SSD.FAMC同时考虑写请求模式和负载类型对系统性能的影响,设计实现对SSD友好的数据管理策略.此外,FAMC基于不同的数据置换代价提出了适用于SSD的缓冲区管理算法.基于多级缓存存储系统对FAMC的性能进行了评测,实验结果表明,FAMC可以大幅度降低系统响应时间,减少磁盘I/O.     

改进的云存储系统数据分布策略

针对当前云存储系统海量数据应用环境中数据分布策略可扩展性以及灵活性的不足,提出一种高效的数据分布策略。一方面,该策略基于一致性哈希数据分布算法,引入了虚拟化的设计思路,采用虚拟节点进行存储资源分配;另一方面,该策略采用了一种基于节点容量感知的负载均衡方法,有效地优化了系统性能,提高了系统可扩展性。通过实验分析,不管在同构还是异构的云存储架构中,该策略改善了存储资源负载均衡程度,有效优化了系统整体性能。     

一种时间敏感的SSD和HDD高效混合存储模型

基于闪存的固态硬盘(Solid State Driver,SSD)已成为目前广泛使用的一种持久存储设备.但是由于闪存不对称的I/O特性以及价格因素,SSD还不能完全取代传统硬盘(Hard Disk Driver,HDD).因此,由SSD和HDD组成的混合存储系统逐步成为目前研究的重点.文中针对SSD和HDD混合存储问题,提出了一个时间敏感的混合存储模型用来有效地利用SSD.该模型把SSD和HDD作为同级的存储设备,结合数据页的访问次数以及访问热度实现对页面的准确分类和分配,即将读倾向负载的hot页面分配到SSD存储,写倾向负载的页面或者cold页面分配到HDD存储,从而利用SSD和HDD不对称的I/O特性来降低系统总的I/O延迟.作者分别在基于高端SSD和中端SSD的混合存储系统上实现了提出的混合存储模型,并进行了性能评测.实验结果显示,作者提出的模型可以实现对数据页更准确的分类,可以有效地降低页面迁移代价,在较少的SSD存储条件下取得了显著的性能提升.     

面向SSD/HDD混合存储的动态缓存调度算法DRC

云计算与大数据的发展,对存储系统的性能提出了越来越高的要求。这些系统中的任务具有高并发度特征,使得存储系统的数据访问呈现随机化。SSD具有优异的随机读写性能,但其写入次数受到限制,成本高昂,因此,基于SSD-HDD的混合系统成为存储技术发展的主要方向。面向SSD-HDD混合存储提出了一种基于动态替换代价的缓存调度算法(DRC),以请求中的热点数据以及替换数据的代价作为缓存替换依据,不仅有效地提高了缓存命中率,而且,通过减少磁盘随机写操作提升了系统的整体性能。实验结果表明,在高并发读写的场景下,DRC算法相对于LRU或FIFO算法缓存命中率提升可达11.6%,IO速度最多提升16.7%,在各种缓存大小条件下均取得了显著的性能提升。     

基于SSD的机群文件系统元数据存储系统

随着数据量的增加和元数据操作性能需求的提高,传统基于磁盘(HDD)存储架构的机群文件系统元数据存储系统由于HDD成为性能瓶颈而无法满足需求.将SSD应用到元数据存储中,设计实现了一个基于SSD+HDD的异构元数据存储系统Hybrid MDSL.针对SSD的I/O特性设计了基于追加写的元数据存储组织,并通过基于访问热度的数据迁移机制提高SSD空间利用率.测试结果表明,Hybrid MDSL明显提高了元数据I/O的性能.     

基于贝努利大数定律的数据分布算法

数据量的快速增长,使得研究能够自动适应存储节点动态变化的数据分布方法成为分布式文件系统领域的难点和热点。基于贝努利大数定律提出一种自适应存储节点规模动态变化的数据分布算法,通过理论分析和实验证明,该算法能够实现在节点规模动态变化过程中数据分布的均衡性,并能保证迁移的数据量从统计意义上最优。     

基于CAN总线实时应用的可靠调度性研究

CAN总线是一种高级的串行通信协议，适用于各种分布式控制系统。在实时应用中，标准的CAN协议使用静态优先级算法，对传输信道的利用率比较低。对基于CAN总线通信的动态优先级调度算法进行研究后，提出了一种基于指数分配方式的MTS算法，在保证强实时性消息的同时兼顾了低优先级消息的公平性。     

VoIP认证与计费的设计与实现

基于RADIUS的VoIP认证系统，采用分散受理、集中管理的接入认证管理体系，数据集中存放在认证中心(RADIUS服务器)，用户身份认证由PC向网守发起，网守通过RADIUS协议向认证中心的认证服务器发起认证请求。这样，可以保证用户安全地使用网络资源，以确保用户身份的合法性。同时其落地话单经过处理，可进行计费及其它帐务处理。文中论述了RADIUS对VoIP的支持，提出了一个Gatekeeper与RADIUS结合的整体解决方案。     

一种改进的心电信号预处理方法研究

心电信号是典型的强噪声下的非平稳微弱信号,减小噪声的干扰对心电信号的分析有着十分重要的意义,因此,有效的滤波方法一直是该领域学者关注的热点问题。本文在基于小波变换心电信号分析研究基础上,针对小波去噪时分解只作用于低频部分,从而忽略了高频区域中一部分有用信号的问题,提出了一种采用改进小波包理论实现心电信号去噪的方法,利用小波包在消除信号噪声方面具有更为精确的局部分析能力的特点,采用了‘db4’小波和＂最优基＂选择的方法,对心电信号进行消噪。以MIT-BIH心电数据库中心律失常数据仿真实验,得到了较理想的去噪效果。对比该方法与小波滤波去噪,发现基于小波包的心电信号去噪具有更优良的去噪性能。     

VCR智能无扰动特性的精确数值运算

根据智能变进制(VCR)的变溢性、拓展性及申缩性有机结合的技术,提出一种新颖智能的、无数字扰动的精确数值运算.该运算结果值的精确位数.是可以任意或无限地确定的,它可以很好地解决了计算机数值分辨率即由CPU字长制约的有效数字位教不足而造成的数值精确计算PC(Precise Computing)的扰动性问题,例如对中国古代数学家祖冲之曾研究圆周密率π值实验数据(π=355/113)的除法精确计算.     

基于LVM 的系统扩容技术研究

近年来,随着大数据业务的使用,系统在运行时会产生大量的数据信息与日志文件并保存在磁盘中。由于在系统规划初期,对系统分区大小规划预期不足,很难合理规划磁盘空间,造成后期系统运行中经常出现系统分区磁盘不足的问题。当发生此类告警时,通常的分区很难动态调整大小,通常采用暂停业务,更换磁盘,数据备份与恢复的方式,该方式操作困难,程序复杂,有数据丢失的风险。在Linux系统里使用LVM(逻辑卷)技术,支持在线空间扩容,可以在用户无感知的情况下扩展系统分区容量,达到合理利用磁盘空间的目的。本文介绍了LVM技术,并在Linux系统里将分区做成逻辑卷,达到合理利用磁盘空间的目的。     

深度强化学习研究综述

深度强化学习是指利用深度神经网络的特征表示能力对强化学习的状态、动作、价值等函数进行拟合,以提升强化学习模型性能,广泛应用于电子游戏、机械控制、推荐系统、金融投资等领域。回顾深度强化学习方法的主要发展历程,根据当前研究目标对深度强化学习方法进行分类,分析与讨论高维状态动作空间任务上的算法收敛、复杂应用场景下的算法样本效率提高、奖励函数稀疏或无明确定义情况下的算法探索以及多任务场景下的算法泛化性能增强问题,总结与归纳4类深度强化学习方法的研究现状,同时针对深度强化学习技术的未来发展方向进行展望。     

区域生长辅助的地图配准在室内定位中的应用

地图匹配（ MM）算法通过粒子滤波（ PF）利用室内地图信息来抑制基于惯性传感器的室内定位系统的误差累计。利用区域生长（ RG）算法结合当前步长和方向信息在地图上找到合理的落脚范围,并以此来判断粒子的有效性。这种方法能有效改善地图配准算法的实用性和计算复杂度。提出一种改进的零速度（ ZV）检测算法能准确提取步伐信息,间接提升了零速度更新（ ZUPT）算法和地图配准算法的精度。实验结果表明：该算法的定位误差小于1.0%,定位精度比单纯的航位推算（ DR）算法平均提高了5.97%。     

基于C_nV结构的自动语言辨识研究

与说话人识别、连续语音识别相比,自动语言辨识是一个相对较新的研究,而且是一项较难的课题。与音素配位学相比较韵律是语言辨识的更有希望的一个语言辨识特征。论文介绍了一种基于伪音节结构CnV的自动语言辨识方法,该系统提取了辅音、元音构成的伪音节结构的MFCC和!MFCC特征参数,使用了与语言无关的GMM算法模型化该特征。经过对OGI-TS数据库中的英语、法语、汉语测试表明,元音、辅音特征信息在语言辨识中起到一定作用,伪音节结构模型也是语言辨识的有效模型之一。     

综合系统管理与网络管理实现技术的研究

该文提出了适应于大型计算机网络和通信网络及应用系统的综合系统管理与网络管理体系结构,研究了基于大型数据库和Web技术的网管、网络自动拓扑发现、策略描述与策略服务以及资源依赖性分析服务等关键技术。该文将这些关键技术应用到综合系统管理与网络管理原型系统的工程实践中,为最终研制高性能、可伸缩和实用的系统管理与网络管理产品提供强有力的技术支持。     

基于数据仓库的数据采掘技术应用

本文首先分析了基于数据仓库的数据采掘的主要方法,技术和应用,然后通过实例讨论了数据采掘在股票分析与决策系统中的应用。