基于流量均衡装置的负载均衡VOD系统及仿真

为了满足园区网VOD系统日益增长的用户点播需求,提出一种负载均衡VOD方案.该方案通过在VOD系统中添加多个新型网络设备--流量均衡装置,在用户汇聚点形成存储矩阵及服务矩阵以提供热门节目的点播服务,并根据网络状况和用户点播情况对矩阵拓扑进行动态调整,实现流量均衡装置的负载均衡及全局的流量均衡,从而大大提高了并发服务能力.仿真结果表明,该方案的实施效果良好,可广泛应用于园区网VOD系统的建设与改造.     

分布存储VOD系统的负载均衡设计及其仿真

为了满足日益增长的VOD用户数量,设计了一种多服务器组成的分布式VOD系统,系统中服务器的负载均衡问题成为亟待解决的问题.为了解决负载均衡问题.从用户行为分析入手,建立了用户行为的数学模型.根据用户的节目选择分布以及点播时长分布,制定了媒体文件按时间分块并分布存储在多服务器上的策略,并根据热度信息的变化,每隔一段时间对各服务器上存储的内容进行重发布,以此达到各服务器的负载均衡.实现了仿真系统,并设计出用户行为仿真程序进行用户点播行为仿真.仿真实验结果显示,使用该重发布策略后,各服务器达到很好的负载均衡,说明策略是有效的.     

视频监控系统中的VOD负载均衡改进算法

在传统轻负载优先调度负载均衡算法中,存在用户点播响应时延长且负载均衡度不高的问题。为解决上速问题,提出一种静态负载调度和动态负载迁移相结合的负载均衡算法。静态调度算法采用基于视频点播(VOD)相似度的轻负载优先算法,将相似的点播请求调度至相同的视频点播上,提高VOD的缓存命中率,以缩短点播响应时延。动态负载迁移算法采用基于缓存考虑的REM负载迁移算法,将负载由高载VOD迁移到低载VOD上,以提高负载均衡程度。实验结果表明,在典型城域视频监控系统500路点播规模下,提出的负载均衡算法与传统轻负载优先算法相比,能够缩短17.5%的点播延迟时间,降低53.4%的集群负载方差,提高了系统的负载均衡度。     

基于集群的VOD系统视频服务器的负载均衡算法改进

文章针对VOD视频服务中不同的点播方式和视频文件存储调度的特点等问题,改进了三种负载均衡算法-加权最少连接算法、视频服务节点负载排名算法以及视濒文件播放信息算法。     

基于统计学模型的VOD负载均衡设计

现有的负载均衡算法大都基于Web服务,并不适用于视频点播(VOD)。而基于VOD的负载均衡算法没有考虑用户操作以及一个节目不同片段的访问概率差异等因素对系统负载的影响。因此,设计一种基于统计学模型的负载均衡设计方法,从用户的随机性操作出发,统计分析其规律,根据不同节目不同片段的不同点播率对片源进行分块备份存储。通过仿真实验证实了算法较其他算法的优越性,提高了各节点服务器资源利用率,达到了负载均衡的目的。     

基于CDN的流媒体系统性能优化技术的研究与实现

在充分了解CDN网络的基础上,结合内容分发网络技术的特点.着重研究了CDN网络的负载均衡技术和内容分发技术,分析了其实现策略,并结合校园网流媒体点播系统的具体环境,提出了整体负载和本地负载相结合的均衡方法,描述了内容分发法中的热节目和冷节目分发的实现过程.     

集群式VoD系统中文件分块存储策略

在VoD点播中,用户主动中断点播会造成影片不同时间段的部分被访问的概率不同,给传统的分块策略带来了负载不均衡问题。该文分析用户在VoD点播时中断点播的行为模式,在此基础上建立分析点播中断概率的模型,提出一种改进的分块存储策略。仿真表明,改进的策略能够更好地实现负载均衡,提高系统运行效率。     

异构蜂窝系统中动态联合呼叫接纳控制算法

针对异构蜂窝系统的接纳控制问题,设计了一种动态联合呼叫接纳控制算法。该算法采取TOPSIS法选择最优接入网,根据系统负载分布情况动态调整网络资费,对用户的接入选择决策施加影响,以均衡网络间负载;针对不同的呼叫优先级,采取多级接入阈值及动态带宽分配策略,在接入控制环节进一步改善系统性能及用户体验。仿真结果表明,该算法在重视用户偏好的同时实现了负载均衡,降低了呼叫阻塞率和掉线率。     

VoD集群中基于Zipf定律的负载均衡算法

VoD服务器集群负载均衡策略主要涉及文件备份与分发两方面.现有大部分算法只是孤立地考虑其中一个方面,针对这种不足,提出一种负载均衡优化模型,综合考虑了VoD系统文件的备份与分发.提出了基于Zipf-like分布定律的备份算法和最小负载优先分发算法,增大了点播文件的备份率和减小了集群负载不均衡度.利用VoD文件点播率服从Zipf-like分布的特点,将不同文件按照不同优先级分组,降低了算法执行的复杂度.最后仿真实验结果表明了其正确性.     

一种高效的分布式反馈流量负载均衡算法

为解决多节点路由器等系统的分布式流量负载均衡问题,提出一种基于反馈的自适应算法。该算法通过会话划分进行负载任务分组,根据各节点的反馈进行接入分配和负载参数调整,实现负载均衡,给出快速端口检测和初始负载均衡等实现该算法的关键技术。性能分析与实验表明,该算法具有较高的负载均衡度和较低的系统开销。     

基于Kademlia的负载平衡云存储算法

针对采用主从式结构的主流云存储系统可能出现的性能瓶颈和可扩展问题,基于分布式哈希表(DHT)技术的完全分布式云存储系统成为一种新的选择。解决好节点的负载平衡问题,是此类技术获得推广的关键。研究了Kademlia算法应用于云存储系统的负载平衡性能。考虑到算法在异构环境下负载平衡性能有明显下降,改进算法在Kademlia找出的候选存储节点中根据节点的存储能力来分配负载。仿真结果表明,改进后算法的负载平衡性能有非常明显的提高,在系统模拟运行时间足够长(如1500 h以上)时,过载节点平均下降7.0%(轻载)和33.7%(重载);文件保存成功率平均提高27.2%(轻载)和35.1%(重载),而增加的通信开销可接受。     

基于对象存储的负载均衡存储策略

对象存储文件系统中将大数据文件分片存储到多个存储节点上,以获取更好的并行I/O性能,提高系统吞吐率.现有对象存储文件系统的存储策略并未充分考虑存储对象本身负载的动态变化,不利于提高系统资源利用率.针对此问题,考虑存储对象的空间及I/O等负载实时变化,提出了一种简单、灵活、高效的负载均衡存储策略,并对该策略进行了实现.实验结果表明,该策略能有效提高对象存储系统资源的利用率和吞吐率,保证对象存储文件系统高效的读写性能.     

A dynamic and adaptive load balancing strategy for parallel file system with large-scale I/O servers

Many solutions have been proposed to tackle the load imbalance issue of parallel file systems. However, all these solutions either adopt centralized algorithms, or lack considerations for both the network transmission and the tradeoff between benefits and side-effects of each dynamic file migration. Therefore, existing solutions will be prohibitively inefficient in large-scale parallel file systems. To address this problem, this paper presents SALB, a dynamic and adaptive load balancing algorithm which is totally based on a distributed architecture. To be also aware of the network transmission, SALB on the one hand adopts an adaptively adjusted load collection threshold in order to reduce the message exchanges for load collection, and on the other hand it employs an on-line load prediction model with a view to reducing the decision delay caused by the network transmission latency. Moreover, SALB employs an optimization model for selecting the migration candidates so as to balance the benefits and the side-effects of each dynamic file migration. Extensive experiments are conducted to prove the effectiveness of SALB. The results show that SALB achieves an optimal performance not only on the mean response time but also on the resource utilization among the schemes for comparison. The simulation results also indicate that SALB is able to deliver high scalability.     

一个网络文件存储系统TNS关键技术

基于多服务器架构、为多用户服务的网络文件存储系统普遍存在资源分配不均,重复文件多,存储空间浪费严重的问题。设计并实现了TNS网络文件存储系统,该系统基于多服务器存储架构,分别由用户服务器、索引服务器、数据服务器、共享服务器、管理服务器和登录服务器组成,为多用户服务,采用一致性Hash实现负载均衡,支持在客户端进行文件粒度的重复数据删除。经过实际生产环境运行测试,具有良好的负载均衡能力和重复数据删除功能,可以有效节省存储空间,提高存储设备利用率。     

VOD视频服务器上节目的存储与调用

在VOD系统中，为了满足多用户在不同时刻点播同一个视频文件，视频节目的存储需要特殊的方法。采用文件分块存储的方法来解决这一问题，分析了磁盘个数、带宽、用户数、视频流数与文件块的大小之间的关系：同时给出了视频文件分块后的存储方法以及调用视频文件时缓冲区的设计、视频文件的并发读取与重组，从而实现在不同时刻发送同一个视频节目到多个客户端。     

基于柯西码的HDFS存储优化策略

随着大数据时代的到来,数据存储正接受着严峻的考验。为了改进传统Hadoop分布式文件系统HDFS存在的冗余度高、负载均衡能力不足等问题,提出了一种基于柯西码的动态分散式存储优化策略CDDS。对于系统中的数据块,在保证数据可用性的基础上,依据其热度的不同生成相应的存储方案。对于系统中的冷数据与热数据,分别采用基于柯西码的纠删码技术进行单副本与多副本存储,既保证了数据的可靠性又保证了系统的I/O能力。经测试,运用该策略存储数据所需要的存储空间减小为原来的75%,系统的可靠性与负载均衡能力也得到了增强。     

分布式文件系统的动态负载均衡算法

为了解决分布式文件系统的负载均衡问题,研究了多种负载均衡算法,分析各种算法的优缺点.综合了静态权重轮询算法和动态负载均衡算法两类算法的优点,提出一种自适应的综合动态负载均衡算法,它实现简单、降低了获取反馈信息的开销且不失实时性.经过试验比较,该算法能有效地降低平均响应时间和提高吞吐量,负载的分配更为均衡.     

用遗传算法解决基于分条技术的磁盘负载均衡问题

如何提高存储子系统的I／O性能一直以来都是计算机领域的一个研究热点，而目前提高存储子系统的I／O性能的一个最大障碍就是负载不均衡．文章通过研究磁盘负载均衡问题，提出了一种采用遗传算法来实现基于分条技术的磁盘动态负载均衡算法．该方法包括基于分条技术的文件划分算法和为实现负载均衡的文件分配算法．根据遗传算法对种群进行编码、选择、杂交操作和变异操作，从而产生出满足负载均衡条件的映射方案．最后通过实验仿真证明该算法止确有效．     

GEP在磁盘负载均衡方面的应用研究

如何提高存储子系统的 I/O性能一直以来都是计算机领域的一个研究热点 ,而目前提高存储子系统的 I/O性能的一个最大障碍就是负载不均衡。提出了一种采用基因表达式编程 ( GEP)来实现基于分条技术的磁盘动态负载均衡的算法。该方法包括基于分条技术的文件划分算法和为实现负载均衡的文件分配算法。该算法采用多基因家族结构的染色体编码来表示物理磁盘组与逻辑磁盘的映射关系。在操作上 ,采用选择复制、倒置和交换等特殊的搜索算子。     

基于HDFS的海量视频数据重分布算法

基于视频数据的分布式计算与基于文本类型数据的分布式计算存在很大的差异。视频数据本身是非结构化的,并且对于同样大小的视频,若其内容不同会导致任务执行消耗的时间也不同。对于简单的结构化数据,HDFS默认的负载均衡器能够解决负载均衡的问题。但是视频文件存在热点访问以及复杂度不一致的问题。使用HDFS默认的数据分布机制不能很好地解决计算负载均衡问题。因此提出了一种基于HDFS的海量视频数据重分布算法。首先对视频文件的访问次数以及历史视频分析对视频文件的访问时间进行记录;然后对数据进行量化之后将其加权作为该视频文件的负载度;最后使用文件置换手段将负载高的视频与低的视频进行置换,直到每个节点的负载达到均衡为止。实验结果表明,使用提出的数据重分布算法可以减少海量视频数据的处理时间。