关于高端集群式流媒体服务器仿真的研究

流媒体应用在近年来获得了飞速的发展,流媒体服务器在用户并发度和存储容量两个方面的需求日益增高,在这种背景下,集群式流媒体服务器逐渐成为高端流媒体服务器的主流.集群式流媒体服务器的研究工作非常需要科学的仿真工具来协助,一方面能够测试算法的性能和普适性,另一方面可以通过仿真分析对服务器的硬件资源进行优化配置.本文在介绍集群式流媒体服务器的体系结构和性能分析的基础上,设计并实现了一套分布式流媒体仿真工具和集群式流媒体服务器实验床.最后基于仿真实验的数据,得到一些提高集群式流媒体服务器性能和资源优化配置的有益结论.     

HybSim:一种混合型流媒体存储的仿真系统

高性能和低功耗的特点使闪存逐渐赢得广泛关注,而最常见的闪存使用方式是和内存、磁盘一起构成混合型存储系统,对于流媒体这样对存储容量和访问性能要求都非常高的应用来说尤其如此。但是,目前还缺少准确、全面的混合型存储仿真工具来支持混合存储的研究工作。首先,在对基于闪存缓存的混合存储的体系结构和能耗等关键问题进行建模的基础上,设计并实现了一套混合型流媒体存储的仿真系统HybSim。相对于目前国际上广泛使用的存储仿真系统DiskSim及其闪存补丁,HybSim增加了各类典型的混合型存储系统的实现、能耗模块、文件级管理和访问支持、流媒体服务模式支持,以及对性能、服务质量、能耗、设备耗损程度的统计模块等。基于HybSim对混合型流媒体存储系统在性能和节能两个方面进行了详细的仿真实验,并对几种典型的混合型存储系统体系结构在性能、服务质量、节能、设备磨损等方面的优劣进行了详细分析和比较。     

一种新型瓦记录磁盘的高可靠数据存储方法

近年来,传统磁记录的存储密度增长已经达到极限,为了满足快速增长的数据容量需求,多种新型存储技术不断涌现,其中瓦记录（shingled magnetic recording,SMR）技术已实现商业化,在企业实际应用.由于瓦记录磁盘的叠瓦式结构,磁盘在随机写入时会引起写放大,造成磁盘性能下降.这一问题在部署传统的高可靠存储方案（如RAID5）时会变得更加严重,原因在于校验数据更新频率很高,磁盘内出现大量的随机写请求.研究发现瓦记录内部其实存在具有原位更新能力的“可覆盖写磁道（free track）”,基于“可覆盖写磁道”,提出了一种专门针对瓦记录盘的高可靠数据存储方法——FT-RAID,以替代经典的RAID5方法,实现一种廉价、大容量、高可靠的存储系统.FT-RAID包含两个部分：“可覆盖写磁道映射（FT-mapping）”和“可覆盖写磁道缓冲区（FT-buffer）”.FT-mapping实现了一种瓦记录友好的RAID映射方式,将频繁更新的校验块数据映射至“可覆盖写磁道”;FT-buffer实现了一种瓦记录友好的两层缓冲区结构,上层确保了热数据能够原位更新,下层提高了缓冲区的容量.基于真实企业I/O访问记录的实验结果表明,与传统RAID 5相比,FT-RAID能够减少80.4%的写放大率,显著提高存储系统整体性能.     

数据网格分布式动态分类系统 及其在乳腺癌网格中的应用

数据网格作为面向服务的架构,为远程用户提供分布式数据查询、存储和管理等服务,而数据网格中的数据分类日益成为研究者们所关注的问题.本文描述了用于数据网格的一种高效的分类系统.该系统动态综合作为网格服务的多种分类方法(Dynamical Synthesis of Multiple Methods,DSMM),能够动态地改善传统分类方法的低准确率点,以负载平衡为前提将分类工作分布于网格中的各个结点上.另外,DSMM提供的生命周期管理保障了其作为一个网格应用的鲁棒性和灵活性,适合于网格的松耦合体系结构.实验采用了2927个乳腺癌患者病例,结果显示DSMM系统的确能够在数据网格环境中发挥其灵活性、高效性并提高分类的准确率.     

基于SSD SMR混合存储的LSM树键值存储系统的性能优化

大数据对存储系统的可扩展性、性能和成本等方面提出了更高的要求。瓦记录(Shingled Magnetic Recor-ding,SMR)硬盘由于存储密度高、价格便宜,正逐步被广泛应用于大数据存储系统。但是,SMR硬盘的随机写性能较差,与快速的基于闪存的固态硬盘(Solid State Drive,SSD)一起构成混合存储时可以显著提升性能。同时,基于写优化的日志结构合并(Log-Structured Merge,LSM)树的键值存储已被广泛应用于许多NoSQL系统,如BigTable,Cassandra和HBase等。因此,如何基于新型的SSD-SMR混合存储构建出高性能的LSM树键值存储系统是一个具有很大研究价值的问题。首先建立基于SSD-SMR混合存储的LSM树键值系统的性能模型,然后针对SSD和SMR的硬件特征以及LSM树键值存储的软件特点,设计了一套面向SSD-SMR混合存储进行性能优化的LSM树键值存储系统,并基于LevelDB实现了该系统。在仅仅使用0.4%～2%空间的SSD的情况下,所提方法可以使SSD-SMR混合存储方案比普通磁盘方案的随机写性能提高20%,随机读性能提高5倍。     

固态硬盘混合存储数据库的数据分布优化算法

基于闪存的固态硬盘( SSD)可以有效提升联机事务处理( OLTP)数据库的性能,但由于目前SSD价格仍然较高,一般多与磁盘组成混合存储。为此,提出数据分布的自适应优化算法以及具体的优化策略。该算法能够自动适应应用的特征,通过观测判断各个数据元素的性能提升效率,从而在SSD和磁盘之间自动形成理想的数据分布。基于实际数据库系统的实验结果表明,该算法可适应各种SSD空间配置,使基于混合存储的OLTP数据性能得到有效提升。     

一种基于闪存的混合存储仿真系统

近年来闪存发展非常迅速,已成为一种大容量、高性能、低功耗、非易失的新型存储产品,其可以有效弥补内存和磁盘的性能差距完善存储系统。为此,设计一种基于闪存的混合存储仿真系统HybridArch,增加文件分布层,支持文件的分割、分布和文件接口访问,并实现5种混合存储体系结构,包括传统的内存-磁盘双层结构、纯闪存结构、闪存作为部分磁盘结构、塔式结构和水平缓存结构。基于HybridArch对上述混合存储体系结构进行仿真实验,分析比较其在性能和闪存写入量等方面的优劣,结果表明,水平缓存体系结构在性能、性价比、闪存设备寿命等方面综合表现较好。     

面向SSD寿命优化的访问序列折叠缓存替换算法*

SSD(solid state drive)的写入寿命比较有限,因此除命中率外,SSD缓存设备的写入量成为评价缓存替换算法的另一个关键指标。如何使算法提高写入数据转化为缓存命中的效率,从而延长SSD的使用寿命,具有重要的研究意义。目前,已有缓存替换算法的设计一般基于时间局部性,即刚被访问的数据短期内被访问的概率较高,因此需要频繁的数据更新和较高写入量来保证较高命中率;或是通过不低的开销屏蔽相对最差的部分数据来减少一定的写入量,还缺少用低开销获得数据长期热度规律,有效提高缓存数据质量的算法。提出了访问序列折叠的缓存替换算法,用比较低的开销定位拥有长期稳定热度的数据写入缓存,明显提高了SSD缓存数据质量,在保证命中率的同时减少了SSD的写入量。实验表明,访问序列折叠算法相比LRU(least recently used)算法可在命中率损失低于10%的情况下减少90%的写入量,与SieveStore、L2ARC(level2 adjustable replacement cache)等写入优化缓存算法相比,命中率相当时可将写入量减少50%以上,有效达到了通过缓存高质量数据,减少SSD的写入量,延长其使用寿命的目的。     

MacroTrend: A Write-Efficient Cache Algorithm for NVM-Based Read Cache

The future storage systems are expected to contain a wide variety of storage media and layers due to the rapid development of NVM(non-volatile memory)techniques.For NVM-based read caches,many kinds of NVM devices cannot stand frequent data updates due to limited write endurance or high energy consumption of writing.However,traditional cache algorithms have to update cached blocks frequently because it is difficult for them to predict long-term popularity according to such limited information about data blocks,such as only a single value or a queue that reflects frequency or recency.In this paper,we propose a new MacroTrend(macroscopic trend)prediction method to discover long-term hot blocks through blocks'macro trends illustrated by their access count histograms.And then a new cache replacement algorithm is designed based on the MacroTrend prediction to greatly reduce the write amount while improving the hit ratio.We conduct extensive experiments driven by a series of real-world traces and find that compared with LRU,MacroTrend can reduce the write amounts of NVM cache devices significantly with similar hit ratios,leading to longer NVM lifetime or less energy consumption.