集群多媒体存储系统的两级元数据管理

随着网络上多媒体数据的爆炸性增长,对海量可扩展的存储系统的需求也快速增长.CMSS(Cluster Multimedia Storage System)项目采用分布式存储系统结构:一种自治的高性能的基于PC的存储集群系统.CMSS采用两级的元数据服务器结构,通过分离存储数据的逻辑视图与物理视图,全局逻辑视图由专用的全局元数据服务器来管理,局部逻辑视图和物理视图由各个存储服务器上的本地元数据服务器来管理.在详细介绍了CMSS系统两级元数据管理方案的同时,进行了相应的试验测试和性能分析.     

一种基于磁盘介质的网络存储系统缓存

随着计算规模越来越大,网络存储系统应用领域越来越广泛,对网络存储系统I/O性能要求也越来越高.在存储系统高负载的情况下,采用低速介质在客户机和网络存储系统的I/O路径上作为数据缓存也变得具有实际的意义.设计并实现了一种基于磁盘介质的存储系统块一级的缓存原型D-Cache.采用两级结构对磁盘缓存进行管理,并提出了相应的基于块一级的两级缓存管理算法.该管理算法有效地解决了因磁盘介质响应速度慢而带来的磁盘缓存管理难题,并通过位图的使用消除了磁盘缓存写Miss时的Copy on Write开销.原型系统的测试结果表明,在存储服务器高负载的情况下,缓存系统能够有效地提高系统的整体性能.     

视频监控存储系统的设计与实现

针对文件系统存储视频数据时存储效率低和检索性能差的问题,提出一种基于裸盘设备的视频数据专用存储方案,实现了视频数据的高效存储和秒级检索。针对多路视频流的并发写入控制,采用单线程非阻塞I/O复用技术和"乒乓缓冲"机制,避免多路视频流并发写入时的阻塞问题;针对视频监控系统媒体转发服务器的时钟漂移问题,采用基于两级索引的回馈定位技术,提高系统对服务器钟差的容错能力。系统测试结果表明,相对于文件存储,"时间索引+数据块"存储方式的视频检索效率不受数据规模大小影响,多路并发写入时,单线程非阻塞I/O复用和"乒乓缓冲"机制能有效避免阻塞现象的发生。     

基于SSD的云存储主服务器元数据管理研究

为了提高对云存储系统主服务器中元数据的有效管理,在数据密集型应用中,考虑到读多写少的特点符合网络中各种应用的基本特征,而文件存储的元数据往往小于4KB,我们提出一种基于SSD的针对云存储系统主服务器的元数据管理策略,建立了一套相对独立的存储服务器目录路径索引机制,此策略将元数据的管理分为两个部分：目录路径索引和文件名,充分利用SSD的低功耗与优越读性能。测试表明,基于SSD的云存储主主服务器元数据管理策略可以明显改善系统响应时间,降低延迟,提升云存储系统的性能。     

面向大数据分析的分布式文件系统关键技术

大数据时代的来临使数据分析和处理能力成为数据中心和互联网公司日益倚重的技术手段.信息规模的扩大和数据结构的多样化,使海量数据存储成为大数据分析研究的热点.传统的分布式文件系统在扩展性、可靠性和数据访问性能等方面难以满足新形势下的需求.设计并实现了一个面向大数据分析、专为大规模集群应用的分布式文件系统Clover.该系统采用基于目录划分和一致性Hash映射的名字空间管理方法,解决了元数据扩展性问题;通过改进的两阶段提交协议,保证了多元数据服务器下分布式元数据操作的一致性;提出了基于共享存储池的高可用机制,通过热备和全局状态恢复机制提高了元数据的可靠性.评测结果表明,Clover的元数据处理能力随服务器的数量线性增长,增加单个服务器的元数据操作性能平均提升了5.13%~159.32%.由于名字空间管理和分布式事务的开销,多元数据服务器会导致复杂操作的性能下降,但是这种下降的幅度很小(小于10%).与HDFS相比,Clover的文件读写带宽与之接近,并能够保证在元数据服务器失效后文件系统快速恢复,适合于构建高可扩展和高可用的存储系统.     

一种适应节能的云存储系统元数据动态建模与管理方法

云存储规模的不断扩大以及设计时对能耗因素的忽略使其日益暴露出高能耗低效率的问题,并且此问题已经成为制约云计算与大数据快速发展的一个主要瓶颈.从云存储系统的元数据信息的组成与组织方式考虑系统的节能改进与适应性问题,提出适应节能的元数据建模与管理方法,将存储磁盘及节点状态、数据块存储位置与状态等信息纳入到新的元数据模型中.围绕节能的元数据模型设计了适应该模型的节能模式切换算法,有效的解决了现有算法与节能算法或策略的不匹配问题.实验结果表明:适应节能的元数据模型与算法能够提高系统磁盘级的能耗利用率.     

基于SSD的机群文件系统元数据存储系统

随着数据量的增加和元数据操作性能需求的提高,传统基于磁盘(HDD)存储架构的机群文件系统元数据存储系统由于HDD成为性能瓶颈而无法满足需求.将SSD应用到元数据存储中,设计实现了一个基于SSD+HDD的异构元数据存储系统Hybrid MDSL.针对SSD的I/O特性设计了基于追加写的元数据存储组织,并通过基于访问热度的数据迁移机制提高SSD空间利用率.测试结果表明,Hybrid MDSL明显提高了元数据I/O的性能.     

基于SCM与SSD的混合高效键值存储系统研究

具有高性能以及非易失特性的SCM（Storage Class Memory,存储级内存）技术逐渐成熟并开始运用到存储系统设计中,而传统的SSD仍然在存储容量上具有优势,为键值存储系统提供大容量存储的支持。现有键值存储系统不能充分发挥SCM与SSD混合存储架构的优势,需要对数据布局以及系统结构进行重新设计。针对SCM和SSD的特点,设计了基于SCM与SSD的混合式高效键值存储系统（SCM and SSD Hybrid Key-Value store,SSHKV）。SSHKV通过将键值存储中元数据信息存储到SCM中,将数据部分以日志方式存储到SSD中,实现性能与容量的兼顾。在SSD空间管理上,SSHKV采用逻辑空间放大策略,通过重映射TRIM指令释放的无效空间,减小了垃圾回收带来的数据迁移开销。SSHKV基于半异步半同步式IO模型实现,经过对比测试,SSHKV的随机写入性能相较于传统基于LSM-Tree的LevelDB提升了约20倍。     

一种面向连续数据保护的分布式存储模型研究

一个典型的连续数据保护(CDP,Continuous Data Protection)系统必须具有一个高效的存储系统来支撑.本文提出了一种分布式的存储模型,在此基础之上设计了一个面向CDP应用的分布式存储系统.同传统CDP系统相比,本文提出了分布式存储应用于CDP应用,将文件级和块级的数据存储都归纳到一个存储系统中;通过引入了元数据和数据分离的思想,并且把数据分级存储.根据原型系统的理论论证以及测试,结果表明,论文所提存储模型很好的解决了CDP服务器低效率,高负荷的问题,并且具有低成本的优势.     

基于对象存储的集群存储系统设计

集群存储是解决大规模数据存储的重要方法。本文提出一种基于对象存储的集群存储系统结构，将文件分为目录路径元数据、文件元数据与数据对象三部分并独立管理。性能比较与分析表明，该方法能够支持超大规模的文件及超大容量的目录，明显地减少网络访问消息数量，提高访问性能，并且解决了因为修改目录而导致的大量元数捂迁移问题。     

流媒体视频存储服务器设计与研究

详细分析了在视频监控系统中流媒体视频存储服务器的作用和功能,针对传统的流媒体定时长存储方式的不足提出了"固定空间存储"的新策略.该存储策略将总空间初始化为多个固定大小的数据文件,每个数据文件中存储的流媒体时长可能是不相同的.针对新存储策略下出现的"1秒尾巴","事件尾巴"等新问题,提出了解决方案."固定空间存储"策略虽然增加了索引的复杂度,但是有效避免了磁盘碎片的产生,对于改善流媒体视频存储服务器性能具有重要作用.     

一种网络视频监控系统的专用存储方案

针对网络视频监控系统中传统文件系统存储方案存储效率低和检索性能差的缺陷,提出一种基于裸磁盘设备的录像存储方案。根据监控系统的数据存储特点,采用B＋树管理录像段索引信息,设计一种磁盘逻辑存储结构,并给出一种基于图像组的数据缓存机制。系统测试结果表明,与传统的文件系统存储方案相比,该方案在监控系统的512Kb／s和1Mb／s典型存储码率下,录像存储效率分别提高了43．6％和30．3％,录像检索耗时降至35ms以下。     

一种新型VOD系统视频服务器的设计

本文提出了一种带有新颖的视频流分配方案的可伸缩ＶＯＤ系统视频服务器的设计方案,从系统的体系结构方面充分探讨了如何使用单个主机处理越来越多的同时发生的视频点播要求,以及如何利用视频节目的分配文件的存贮特性减少磁盘寻道行为。本文将详细讨论直流视频流泵、磁盘子系统的文件释放策略以及系统的可伸缩性。     

一种性能优化的小文件存储访问策略的研究

在分布式文件系统中,小文件的管理一般存在访问性能较差和存储空间浪费较大等缺点.为了解决这些问题,提出了一种性能优化的小文件存储访问(SFSA)策略.SFSA将逻辑上连续的数据尽可能存储在物理磁盘的连续空间,使用Cache充当元数据服务器的角色并通过简化的文件信息节点提高Cache利用率,提高了小文件访问性能;写数据时聚合更新数据及其文件夹域中的相关数据为一次I/O请求写入,减少了文件碎片数量,提高了存储空间利用率;文件传输时利用局部性原理,提前发送批量的高访问率的小文件,降低了建立网络连接开销,提升了文件传输性能.理论分析和实验证明,SFSA的设计思想和方法能有效地优化小文件的存储访问性能.     

Evaluating video layout strategies for a high-performance storage server

We propose a systems approach to providing video service that integrates the multiresolution data generated by scalable compression algorithms with the high-bandwidth, high-capacity storage provided by disk arrays. We introduce two layout strategies for storing multiresolution video data on magnetic disk arrays, which vary in the degrees of parallelism and concurrency they use to satisfy requests. Our simulation results show that the storage of multiple video resolutions allows a video file server to satisfy considerably more user requests than a server that stores a single resolution of video data.     

基于LDAP的对象存储系统元数据的组织与管理

本文介绍了面向对象系统中元数据服务器的设计及元数据的组织和管理。该系统中元数据服务器使用了轻量级目录访问协议（LDAP）作为存放元数据的平台,针对这个平台设计了相应的数据分配算法和数据转换模块,并对其性能进行了分析和优化。     

基于Ceph存储系统的小文件存储优化方案

针对Ceph存储系统面对小文件存储时存在元数据服务器性能瓶颈、文件读取效率低等问题.本文从小文件之间固有的数据关联性出发,通过轻量级模式匹配算法,提取出关联特征并以此为依据对小文件进行合并,提高了合并文件之间的合理性,并在文件读取时将同一合并文件内的小文件存入客户端缓存来提高缓存读取命中率,经过实验验证本文的方案有效的提高了小文件的访问效率.     

开放式安全存储区域网模拟平台

模拟系统是研究与测试系统功能的重要方法,分析了现有存储区域网模拟系统,针对测试各类应用于保护存储区域网系统的安全机制,设计了开放式安全存储区域网模拟平台.使用线程模拟存储区域网系统中的主机、元数据服务器和存储设备,使用缓冲区模拟存储区域网系统中的通信,实现了接收访问请求和主机模块,构建了元数据和存储设备模块的框架,提供了实现元数据管理和存储设备中数据管理功能的功能接口,能模拟存储区域网的各项功能;在元数据和存储设备模块中提供了增加安全保护机制的安全接口,通过实现的不同安全保护机制,能模拟各类安全存储区域网系统,从而为测试各类应用于保护存储区域网系统的安全机制提供良好的平台;最后在元数据和存储设备模块中,通过功能接口实现了基本的元数据管理和存储设备中的数据管理功能,测试系统是否能正确地处理访问请求,完成存储区域网的功能.测试结果表明:开放式安全存储区域网模拟平台能模拟存储区域网处理访问请求的流程,为测试各类应用于保护存储区域网系统的安全机制提供了良好的基础.     

倒排文件页式存储方法

页是磁盘与内存进行数据交换的基本单位,它在操作系统、数据库管理系统以及倒排文件的数据组织中占据十分重要的地位。为减少倒排索引的磁盘 I/O 读写开销,提出了一种倒排文件按页存储的构建方法,实现了按页读写文件。该方法主要包括磁盘I/O层设计、页管理器设计以及堆文件管理器设计三个部分,实现了页大小可变的分块式数据文件管理,支持页内定长记录、变长记录的组装以及超长数据记录的跨页存储。经实验测试,结果表明该方法是行之有效的,可以将其应用到实际的垂直搜索引擎中。