基于协作缓存的VOD服务器端Cache设计

近年来,随着计算机网络技术和多媒体技术的发展,视频点播服务已逐渐成为现实。分布式VOD(VideoOnDemand)服务器系统的提出是为了支持更多的大量并发数据流,和单一服务器相比,这样的结构拥有更好的使用效率、可靠性和可扩展性。协作缓存CC(cooperativecache)技术将各服务器的内存协调工作,形成全局的cache。这样的结构不仅充分发挥了分布式VOD服务器结构的特点,同时也增大cache容量,提高系统全局命中率,从而提高了系统效率。该文在协作缓存技术基础上,针对流媒体和VOD系统的特点,提出了GBBcache替换算法。该算法以数据块的生命周期作为出发点,充分考虑了现有用户和请求接入用户的服务需求,提高了内存使用效率。笔者对该算法进行了理论分析,并证明了它在性能上与传统的cache替换算法相比的优越性。     

提升稀疏目录缓存一致性系统性能的方法

稀疏目录技术在缓存一致性非一致存储访问(cache coherent non-uniform memory access,ccNUMA)系统中有广泛应用.但是,稀疏目录技术的一个主要缺陷在于目录项替换在目录热点存在的情况下会严重降低系统的性能.针对此问题,研究如何提升稀疏目录性能.首先,从定性和定量的角度对主流的稀疏目录替换算法进行了分析,并且发现最为原始的最久未使用(least-recent-used,LRU)算法的性能实际上要优于一些近期提出的目录替换算法,如最少共享者(least-sharer-count,LSC)算法.其次,将victim cache的思想应用到稀疏目录上,提出了victim目录(victim directory),该技术在主稀疏目录模块上加入了一个小的全相联二级目录存储.最后,提出了选择性victim目录(selective victim directory)技术,使得victim目录选择性地仅存储有用的目录项,从而进一步减少了目录替换的数量.选择性victim目录通过向所有节点的cache发出探查消息(probe messages),从而选择性地存储较为有用的目录项.实验证明,选择性victim目录取得了比简单victim目录更好的性能;而且在仅增加了1KB左右的硬件开销的代价下,选择性victim目录节省了35.7%的程序运行时间.     

连续媒体服务中的数据替换算法研究

在研究连续媒体服务性的基础上提出了一种新的数据替换算法ＥＬＦＵ（ｅｘｔｅｎｄｅｄｌｅａｓｔ ｆｒｅｑｕｅｎｔｌｙ ｕｓｅｄａｌｇｏｒｉｔｈｍ）,该算法结合预约服务采用主动替换策略,预先将待访问页面替换到磁盘子系统,从而大大降低系统缺页率,提高系统效率,首先对连续媒体服务如ＶＯＤ的特性进行了研究,其次讨论了连续媒体的存储模型,然后结合连续媒体服务的特性和存储模型,提出了数据替换算法ＥＬＦＵ,并对其基     

国防科大计算机学院工学博士学位论文摘要

连续媒体数据存储与回取技术的研究作者：刘衡竹（１９９９．６）导师：陈福接教授　　随着存储技术、通讯技术和视频压缩技术的高速发展,使得通过ＢＩＳＤＮ进行视频点播（Ｖｉｄｅｏ－Ｏｎ－Ｄｅｍａｎｄ）服务成为可能。ＶＯＤ服务器以压缩、数字化的形式存储视频数据,并为多个用户并发提供回取和传输服务。为了实现视频数据的优化存储与回取,本文对ＭＰＥＧ流的结构及传输特性进行了讨论,分析了现有磁盘系统的读取过程和延时特性,建立了用于对连续媒体回取过程进行分析的磁盘传输延迟模型。定义了与具体算法无关的用于连续媒体回取…     

利用循环分割和循环展开避免Cache代价

存储系统与处理器之间的速度差距逐渐变大,为此,cache使用了分级机制,但这也带来了额外的存储延迟(cache代价).提出一种利用循环分割和循环展开相结合避免cache代价的PCPLPU(prevent cache penalty by loop partition-unrolling)算法.实验结果表明,PCPLPU算法能够有效避免循环代价,提高程序性能.     

多核机群主节点并发发送数据的可分负载调度

对于节点计算、通信与存储能力不同、节点由多个多核处理器(多个片上多处理器)组成且共享L3cache的机群系统,采取计算与传输重叠模式,提出了主节点以多进程方式并发发送数据给从节点的可分负载调度模型.该调度模型自适应节点具有不同的计算、通信和存储能力,动态计算、确定调度轮数和每轮调度分配给各从节点的负载块规模,以平衡各节点的计算负载、减少节点之间的通信开销,缩短任务调度长度.依据各节点中的L3cache,L2cache和L1cache的可用存储容量,提出了对节点主存中接收到的负载块进行多级缓存划分的数据分配方法,以确保分配给节点中各个多核处理器、各个内核的负载平衡.基于提出的多核机群节点间可分负载调度模型和节点内多级存储数据分配方法,设计实现了节点拥有多个多核处理器的异构机群上通信和存储高效的k-选择并行算法.在曙光TC5000A多核机群系统上,测试了主节点并行与串行发送数据给从节点的任务调度方式、各级缓存利用率、每个核心执行不同数目的线程对并行算法运行性能的影响.实验结果表明:基于主节点并发发送数据给从节点的调度模型设计的k-选择并行算法,其运行性能优于基于主节点串行发送数据给从节点的调度模型设计的k-选择并行算法;L3cache和L2cache利用率大小对算法运行性能影响较大;当L3cache,L2cache和L1cache利用率取其优化组合值、每个核心运行3个线程时,算法所需的运行时间最短.     

一种基于子结构分析的基本块重排算法

基本块重排是一类通过重新排布基本块在存储中的位置,以减少转移开销和指令cache失效率的编译优化技术.介绍了一种基于子结构分析的基本块重排算法.该算法通过统计剖视信息中控制流图的边执行频率,基于处理器转移预测策略构建转移开销模型和基本块排布收益模型.算法采用局部子结构优化的策略,改善基本块在存储中的排列顺序,从而减少转移开销,并提高指令cache的使用率,改善程序的总体性能.在UniCore处理器平台上进行了实验.实验结果表明,与其他基本块重排算法相比,该基本块重排算法在更大程度上减少转移开销和指令cache失效率的同时,其时间复杂度保持为O(n×logn).     

并行VOD系统中视频存储的可靠性研究

从并行VOD系统出发,通过分析比较当前流行的视频存储方案,提出了一种向前恢复算法.此算法考虑到了硬件失效,可保证系统在故障发生时能马上接近断点传输数据,提高了系统的可靠性.以并行VOD系统数据节点为背景,阐述了其实现过程.     

面向HDTV视频存储的专用文件系统

分析了HDTV视频存储的原理,讨论了实际应用中通用文件系统在连续媒体存储方面遇到的问题,归纳出多媒体文件系统应具备的功能和磁盘调度算法,提出了一种满足连续媒体存储策略的专用文件系统,提高了资源利用率和服务质量,并基于系统硬件平台,设计了适用于软件实现的算法逻辑.     

避免模调度中cache代价的优化方法

软件流水能够加快循环的执行速度.模调度是一种被广泛采用的软件流水的启发式.为了改善存储系统,cache使用了分级机制,但这也带来了额外的存储延迟-cache代价.证明了模调度可能导致cache代价,并提出了一种可以避免模调度的cache代价的PCPMS(prevent cache penalty in modulo scheduling)算法.实验结果表明,PCPMS能够避免模调度中的cache代价,提高程序性能.     

CBC: Caching for cloud-based VOD systems

Cloud-based video on demand (VOD) service is a promising next-generation media streaming service paradigm. Being a resource-intensive application, how to maximize resource utilization is a key issue of designing such an application. Due to the special cloud-based VOD system architecture consisting of cloud storage cluster and media server cluster, existing techniques such as traditional caching strategies are inappropriate to be adopted by a cloud-based VOD system directly in practice. Therefore, in this study, we have proposed a systemic caching scheme, which seamlessly integrates a caching algorithm and a cache deployment algorithm together to maximize the resources utilization of cloud-based VOD system. Firstly, we have proposed a cloud-based caching algorithm. The algorithm models the cloud-based VOD system as a multi-constraint optimization problem, so as to balance the resource utilization between cloud storage cluster and media server cluster. Secondly, we have proposed a cache deployment algorithm. The algorithm further manages the bandwidth and cache space resource utilization inside the media server cluster in a more fine-grained manner, and achieves load balancing performance. Our evaluation results show that the proposed scheme enhances the resource utilization of the cloud-based VOD system under resource-constrained situation, and cuts down the reject ratio of user requests.     

大规模视频点播磁盘cache替换算法

在规划视频播（ＫＳＶＯＤ）中ｃａｃｈｅ机制是提高系统效率的有效手段,是支持ＶＯＤ实用化的关键技术之一,由于连续媒体的数据量大,使用周期长等特点,传统的ｃａｃｈｅ替换算法不能直接应用于ＳＶＯＤ。文中根据ＶＯＤ的特点开发了两种基于访问频率的替换算法,ＬＦＲＵ（ｌｅａｓｔ ｆｒｅｑｕｅｎｃｙ ａｎｄ ｒｅｃｅｎｔｌｙ ｕｓｅｄ）和ＰＬＦＵ（ｐｅｒｉｏｄ ｌｅａｓｔ ｆｒｅｑｕｅｎｃｙ ｕｓｅｄ）算法,它     

机械手存储库缓存替换算法研究及应用

文章首先给出了机械手存储库的缓存模型,针对缓存模型和多媒体应用的特点,提出了两种基于热点能量的新缓存替换算法———近期热点能量缓存算法(RPE)和双缓冲区缓存算法(TSC),通过仿真实验,讨论了几种算法参数的最优取值范围,并且利用对比实验,验证了两种算法的缓存性能在重负载、小缓存条件下要优于传统LRU算法。该文内容为设计和实现大规模数字媒体管理系统提供了重要的依据。     

一种基于磁盘介质的网络存储系统缓存

随着计算规模越来越大,网络存储系统应用领域越来越广泛,对网络存储系统I/O性能要求也越来越高.在存储系统高负载的情况下,采用低速介质在客户机和网络存储系统的I/O路径上作为数据缓存也变得具有实际的意义.设计并实现了一种基于磁盘介质的存储系统块一级的缓存原型D-Cache.采用两级结构对磁盘缓存进行管理,并提出了相应的基于块一级的两级缓存管理算法.该管理算法有效地解决了因磁盘介质响应速度慢而带来的磁盘缓存管理难题,并通过位图的使用消除了磁盘缓存写Miss时的Copy on Write开销.原型系统的测试结果表明,在存储服务器高负载的情况下,缓存系统能够有效地提高系统的整体性能.     

连续媒体服务器存储系统中的容错算法

连续媒体服务器(如VOD服务器)要对大量连续媒体数据(如声频、视频)进行管理,按一定速率为用户提供连续的媒体服务。因此,在这样的系统中,作为存储设备的磁盘阵列要具有高可靠性和一定的容错能力。文章提出一种基于奇偶检验的数据重构恢复算法,以保证系统中只有一个盘出现故障时,能使服务器及时重构出故障盘上的数据,并且算法充分利用了媒体流内在特性———回放时数据的连续性,与目前使用的标准故障恢复算法相比,大大减少了磁盘在线故障后数据重构过程的系统开销。最后通过分析、比较证明了算法的有效性。     

并行视频服务器磁盘Cache策略研究

文章分析了并行VOD系统的系统结构,对并行视频服务器中的磁盘Cache技术进行了深入的探讨,提出了一种磁盘Cache替换算法PLFU(PeriodLeastFrequentlyUsed),并成功地应用在笔者开发的并行视频服务器中。     

针对固定码率(CBR)流媒体的动态替换算法(DRA)

流媒体代理服务器缓存是针对流媒体访问的一项技术，能有效的提高流媒体访问质量。缓存算法是缓存代理服务器的重要技术组成部分，包括缓存保存方式、替换算法及进入策略三个方面。文中将介绍一套针对固定码率(CBR)流媒体的缓存算法，在包含码率分级保存方法的同时，使用了包含流媒体缓存基本特性的动态替换算法(DRA，Dynamic Replication Algorithm)。     

基于协作缓存的视频点播系统中调度设计

随着计算机技术和网络技术的不断进步,视频点播服务已经逐渐变成现实,基于协作缓存的视频点播系统是一个分布式结构,中心集群存放影片数据,本地集群缓存数据并提供视频点播服务,具有很好的可扩展性。该文针对VOD系统的协作缓存,提出了静态调度和动态迁移相结合的调度策略,静态调度能够根据影片数据的缓存分布情况,实时调度服务请求,并同时考虑多个VOD服务器的负载动态平衡;动态任务迁移能对服务流分布进行实时分析,并根据服务数据本地化的原则进行服务迁移,进一步提高了协作缓存的命中率。该文阐述了基于协作缓存的视频点播系统的拓扑结构,对静态调度和动态迁移进行了详细设计,并给出了相应的形式化表示。     

P2P-VOD缓存策略MVC

本文介绍了P2P-VOD系统中的MVC缓存策略,该策略是为了改进流媒体系统视频播放的流畅程度,服务器负载压力而提出的。P2P-VOD系统视频的连续播放,服务器的被请求频率和用户的满意程度是系统重要因素,然而现在系统中的SVC缓存策略没有充分考虑到冷热门频道节点重叠存储数据的情况,由此本文提出MVC缓存策略,该策略充分考虑到点播系统中视频冷热度,流行值等会引起系统整体缓存不均衡的因素,提高冷门视频数据分块缓存量,在节点多的情况下,热门频道节点帮助冷门频道下载数据分片,在服务器通信量不足的情况下,提高视频播放的流畅程度,减轻服务器的负载压力。