自适应的集群流媒体文件副本放置策略*

提出了资源负载的三种负载均衡状态,分析了这三种状态的均衡程度,并据此提出一种自适应的副本放置算法,成功地应用于集群VOD系统中,弹性地解决负载均衡与后端存储带宽的矛盾.通过仿真证明,该算法在不同数据量的情况下均具有很好的负载均衡性和优异的整体性能.     

一种细粒度均衡的新型分布式文件放置算法

为保证访问负载的均衡分布,分布式存储系统往往依赖访问热度信息进行文件放置。然而,访问热度信息在文件存入系统时刻并不可知,并且随时间不断变化,依赖访问热度信息的放置算法需要不断调整文件的存储位置,产生高昂的迁移成本。本文提出一种细粒度均衡的新型分布式文件放置算法。该算法利用文件访问热度同已创建时间之间的相关性,通过保证各节点所存储数据量在创建时间维度上的细粒度相似性,实现较好的访问负载均衡。该算法仅基于文件的创建时间属性,该属性在文件存入系统时刻属于已知信息并且不随时间变化。实验结果表明,相较于HDFS系统的随机放置算法,本文算法能够更好地实现访问负载的均衡分布,提高访问性能。     

一种快速响应的流媒体服务器集群系统

文章提出一种基于对用户请求快速响应的流媒体服务器集群系统。它利用网络负载平衡技术(NLB)来实现服务器集群各节点的负载均衡。并利用一种改进的两级高速缓存模块来保证媒体文件的存储调度的高效性，为了解决用户请求延迟时间太长的问题在两级缓存中增加一台首数据段缓存服务器来预处理用户请求，大大减少了用户请求的等待时间。     

基于流媒体服务器集群副本放置策略的研究

网络流媒体服务具有数据流量大、服务时间长的特点,同时,高并发的服务请求会造成流媒体服务质量明显下降等性能瓶颈问题。针对这种现象,设计了一种基于Zipf分布规律的两阶段副本放置策略,并成功应用于某市中小学心理辅导的视讯平台。实践结果表明,与传统的方法相比,该方法具有较好的实用值和健壮性。     

一种新的循环分块因子确定方法

本文提出了一种新的循环分块因子确定方法，它以调整数据组大小为基础，具有较小的副作用，并能消除所有的自干扰失效。     

P2P流媒体：一种新型的流媒体服务体系

流媒体应用是推动未来宽带应用的主动力，但流媒体对带宽的高占用特性使其在Internet上大规模应用面临诸多困难。虽然IP组播能减轻服务器和网络负载，但众多原因使之在短期内难以广泛实现；CDN(Content Dellvery Network)通过把服务和内容“推”向网络的“边缘”，也能减轻服务器和网络负载。但其昂贵的费用使得一般ICPs无法承担。在Internet环境下最近兴起的P2P(Peer-to-Peer)技术在提高资源利用率、扩展服务能力等方面具有潜在的巨大优势，P2P技术在流媒体中的应用能够充分利用以往被忽视的众多客户机的资源，是一种性价比良好的流媒体服务体系。本文首先指出了P2P流媒体应用中所面临的挑战，并着重从多播树协议、QoS保证、激励机制等方面阐述了P2P流媒体的研究现状，分析讨论了存在的问题，并指出了今后的研究方向。     

流媒体点播系统负载均衡的研究

通过对P2P网络中负载均衡技术的研究,给出基于应用服务器的负载均衡模型.结合各个服务器节点的服务状态、服务性能权值和节点当前服务的用户数,设计一种基于应用服务器的动态负载均衡调度策略,应用于视频点播系统中.     

一种动态负载均衡的流媒体中间件系统设计

随着平安城市项目建设,视频监控系统已经系统化、业务化,单机的视频监控系统已经没有市场前景.中间件技术的深入应用是当前视频监控系统的必由之路,提出动态负载均衡的中间件技术,有效解决视频监控领域整合、兼容性和系统并发能力.     

基于资源约束的流媒体服务QoS策略

对于流媒体服务，端表现质量是衡量系统性能的关键指标。本文对流媒体服务瓶颈资源进行了分析并提出了基于资源约束的策略来保证端服务质量。通过仿真测试，验证了QoS策略的有效性。     

一种新的P2P流媒体负载均衡路由算法

构建和维持一个高带宽路由结构是P2P流媒体中的一个重要问题。针对节点频繁地加入和退出覆盖会话的现状,本文设计了基于链路可用带宽的负载均衡路由算法LBR,利用已知的物理拓扑知识,在多条路由路径中选择一条对网络可用带宽影响最小的路由路径,得到轻负载的覆盖边。该算法能够动态维护高带宽的多播树,平衡覆盖会话中节点间的负载和链路间的流量。仿真实验表明,在动态环境下算法能够缓解路由上的拥塞问题,达到负载均衡的效果。     

An Efficient Data Layout Scheme for Multi-Disks Continuous Media Servers

Recently, zoning technique has been widely applied to disks to increase their capacities. Under the technique, an interesting feature of a disk is that there are a number of various bandwidths on it. Herein, a novel data layout scheme called cluster-pairing on efficiently exploiting this feature for continuous media (CM) servers is proposed. We first applied track-pairing method between a pair of homogeneous disks, and then partitioned each disk into a same number of clusters to facilitate the retrieval of region-based data placement. The proposed method can take the advantages of track-pairing and region-based data placement schemes to fully utilize the various bandwidths from zoned-disks and meanwhile reduce the seek time overhead. According to the simulation results, the disk throughput after applying our approach can be promoted by 35% to 65% than that of the traditional data striping strategies, 10% to 30% than that of region-based data placement method, and about 10% than that of track-pairing scheme. And the wasted storage space is less than 1% which is negligible in terms of the improvement of the disk throughput.     

Resource-Based Striping: An Efficient Striping Strategy for Video Servers Using Heterogeneous Disk-Subsystems

In building a large-scale video server, it is highly desirable to use heterogeneous disk-subsystems for the following reasons. First, existing disks may fail, especially in an environment with a large number of disks, enforcing the use of new disks. Second, for a scalable server, to cope with the increasing demand of customers, new disks may be needed to increase the server's storage capacity and throughput. With rapid advances in the performance of disks, the newly added disks generally have a higher data transfer rate and a larger storage capacity than the disks originally in the system. In this paper, we propose a novel striping scheme, termed as resource-based striping (RBS), for video servers built on heterogeneous disks. RBS combines the techniques of wide striping and narrow striping so that it can obtain the optimal stripe allocation and efficiently utilize both the I/O bandwidth and storage capacity of all disks. RBS is suitable for applications whose files are not updated frequently, such as course-on-demand and movie-on-demand. We examine the performance of RBS via simulation experiments. Our results show that RBS greatly outperforms the conventional striping schemes proposed for video servers with heterogeneous or homogeneous disks, in terms of the number of simultaneous streams supported and the number of files that can be stored.     

MapReduce集群环境下的数据放置策略

MapReduce是一种适用于大规模数据密集型应用的有效编程模型,具有编程简单、易于扩展、容错性好等特点,已在并行和分布式计算领域得到了广泛且成功的应用.由于MapReduce将计算扩展到大规模的机器集群上,处理数据的合理放置成为影响MapReduce集群系统性能(包括能耗、资源利用率、通信和I/O代价、响应时间、系统的可靠性和吞吐率等)的关键因素之一.首先,对MapReduce编程模型的典型实现——Hadoop缺省的数据放置策略进行分析,并进一步讨论了MapReduce框架下,设计数据放置策略时需考虑的关键问题和衡量数据放置策略的标准;其次,对目前MapReduce集群环境下的数据放置策略优化方法的研究与进展进行了综述和分析;最后,分析和归纳了MapReduce集群环境下数据放置策略的下一步研究工作.     

流媒体服务的集群负载平衡方法分析

该文在分析了流媒体服务器的带宽因素和负载平衡原理的基础上,讨论了针对流媒体服务的按层次划分的服务器集群动态负载平衡技术,为流媒体服务集群的部署提供参考。     

并行视频服务器中的DLB策略

介绍了VoD服务的研究现状，对并行视频服务器作了分析，在此基础上提出了循环分配策略(CA)、负载最少优先策略(LLF)和排名最优策略(SBF)等3种动态负载平衡策略，并给出了SBF策略的算法及软件测试试验。     

P2P流媒体数据块的优化调度策略

在基于数据驱动的P2P流媒体系统中,流媒体数据在参与应用的节点间进行分发,导致流媒体播放质量降低。针对流媒体数据块的分发调度问题,提出一种数据块分发调度策略,通过在调度中考虑节点所需数据块对其流媒体播放质量的影响,以期在合理利用节点有限带宽资源的同时,实现流媒体播放质量的优化。仿真实验结果表明,该策略在改善流媒体播放质量方面具有较明显的优势。     

流媒体服务的集群负载平衡方法分析

该文在分析了流媒体服务器的带宽因素和负载平衡原理的基础上,讨论了针对流媒体服务的按层次划分的服务器集群动态负载平衡技术,为流媒体服务集群的部署提供参考。     

一种并行XML数据库分片策略

主要研究XML文档的并行数据分片策略,以便能够并行处理XML查询.为了描述XML数据分片,提出了媒介节点的概念.一组媒介节点的集合可以将一棵XML数据树分割成一棵根树和一组子树的集合:根树将在所有站点中复制;而子树集合则可以根据用户查询的工作负载被均匀地分片到各个站点中.对于同一棵XML数据树,会有很多种媒介节点的集合;而不同的媒介节点集合会产生不同的数据分片结果.然后,依据各个数据分片中的用户查询工作量是否均衡,来衡量一个分片的好坏.选择一组最佳的媒介节点集合是一个NP-hard问题.为了解决此问题,设计了一组启发式优化规则.基于这一思想,提出并实现了一种基于媒介节点的XML数据分片算法WIN(workload-aware intermediary nodes data placement strategy).大量实验结果证明:WIN算法的性能要优于以往的并行XML数据分片策略.     

流式数据查询系统

近年来,随着互联网和物联网的快速发展,海量的数据在很多应用中都会出现,而这其中有很大一部分数据是以流数据的形式存在的. 流数据的特点是快速、大量、无序,并且要求快速的响应. 研究表明,传统的关系型数据库并不适用于这种流式数据的应用场景,因此如何开发出一套新型的数据查询系统来满足流式数据的处理需求就成为当前研究的一个热点课题. 本文借鉴当前几个有代表性的流式数据管理系统的优点,分析流式数据查询系统的关键问题,综合考虑流数据接口定义、数据预处理,查询语言定义、查询执行过程,系统监控、系统界面等问题,设计并实现一个可用的流式数据查询系统. 最后,通过采集具体的新闻流式数据验证系统的各项功能和性能,实验结果表明,该流式数据查询系统具有良好的数据查询性能.     

基于哈希的快速流媒体数据重组算法(HDRR)

流媒体服务器存储发生扩展时,为了充分利用资源,原有媒体数据必须进行重新分配,即数据重组。数据重组的重组代价是一个关键因素,其中包括计算量和移动数据量两个方面。论文提出了一种数据重组算法,在保证较好负载平衡的基础上有效地减少了重组代价,并给出实验数据及对比分析。