An approximation-based load-balancing algorithm with admission control for cluster web servers with dynamic workloads

The growth of web-based applications in business and e-commerce is building up demands for high performance web servers for better throughputs and lower user-perceived latency. These demands are leading to a widespread substitution of powerful single servers by robust newcomers, cluster web servers, in many enterprise companies. In this respect the load-balancing algorithms play an important role in boosting the performance of cluster servers. The previous load-balancing algorithms which were designed for the handling of static contents in web services suffer from significant performance degradation under dynamic and database-driven workloads. Regarding this, we propose an approximation-based load-balancing algorithm with admission control for cluster-based web servers in this study. Since it is difficult to accurately determine the loads of web servers through feedbacks from distributed agents in web servers, we propose an analytical model of a web server to estimate the web servers’ loads. To achieve this, the algorithm classifies requests based on their service times and track numbers of outstanding requests for each class of each web server node and also based on their resource demands to dynamically estimate the loads of each node. For the error handling of the model a proportional integral (PI) controller from control theory is used. Then the estimated available capacity of each web server is used for load balancing and admission control decisions. The implementation results with a standard benchmark confirm the effectiveness of the proposed scheme, which improves both the mean response time and the throughput of the cluster compared to rival load-balancing algorithms, and also avoids situations in which the cluster is overloaded, even when the request rates are beyond the cluster capacity.     

A predictive and probabilistic load-balancing algorithm for cluster-based web servers

The exponential demands for high performance web servers led to use of cluster-based web servers. This increasing trend continues as dynamic contents are changing traditional web environments. Increasing utilization of cluster web servers through effective and fair load balancing is a crucial task specifically when it comes to advent of dynamic contents and database-driven applications on the internet. The proposed load-balancing algorithm classifies requests into different classes. The algorithm dynamically selects a request from a class and assigns the request to a server. For both the scheduling and dispatching, new probabilistic algorithms are proposed. To avoid using unreliable measured utilization in the face of fluctuating loads the proposed load-balancing algorithm benefits from a queuing model to predict the utilization of each server. We also used a control loop feedback to adjust the predicted values periodically based on soft computing techniques. The implementation results, using standard benchmarks confirms the effectiveness of proposed load-balancing algorithm. The algorithm significantly improves both the throughput and mean response time in contrast to two existing load-balancing algorithms.     

LVS负载均衡调度算法的改进及实现

采用服务器集群架构提供服务成为互联网服务业中普遍采用的策略,目前使用得比较广泛的网络负载均衡集群是Linux虚拟服务器集群。优秀的负载均衡算法可以将用户请求合理地分配到集群中的真实服务器中．提高集群中服务器的利用率和集群系统的吞吐量。针对LVS默认算法WLC算法的不足之处,对WLC算法进行改进．设计并实现一种基于反馈式的负载均衡算法。实验证明,改进算法能够增大集群的吞吐量,提升集群的整体性能。     

基于集群的Web服务器负载平衡算法研究

随着互联网访问量的激增,基于集群的Web服务器成为发展趋势,有效、公平的负载平衡直接决定系统的整体性能。建立BCMP排队预测模型,通过控制回路反馈动态调整预测因子,最终利用基于概率预测的PPLB算法平衡分配请求。仿真结果表明,该算法较传统负载平衡算法具有更高的效率和实用性。     

基于粗糙集的负载均衡算法研究

在负载均衡服务器集群中,负载均衡算法是一个关键部分。针对目前服务器集群使用的负载均衡算法所存在的缺陷:服务器可能出现较大倾斜,本文提出了一种基于粗糙集理论的动静结合的负载均衡算法。该算法避免了服务器间负载的不均衡,能有效地防止服务器倾斜的发生,提高了集群系统的整体性能。     

Web集群系统负载均衡策略分析与研究

Web集群技术是解决Web服务器系统容量和伸缩能力的重要方法。该文分析了影响Web集群系统性能的主要因素,并提出了一种基于内容的负载均衡算法。该算法以加权负载量来评估服务器负载状态,并通过保证负载局部性来提高cache命中率,从而获得好的负载均衡效果。仿真实验证明,该算法具有较好的适应能力和伸缩性。     

基于HLS流媒体集群动态反馈负载均衡算法

面对移动视频用户大量的并发视频请求,为了解决流媒体集群节点负载反馈不及时、节点选择不精确、节点负载过重而导致用户满意度下降的问题,提出一种改进的动态反馈负载均衡算法。综合考虑静态和动态负载因子衡量各节点服务性能和当前负载,使用层析分析法计算负载权值向量;同时计算负载权值和引入容余负载,并对容余负载进行修正,使其更加精确地描述集群负载情况,改善了传统动态反馈负载均衡算法中请求数突增造成的负载倾斜。实验结果表明,算法实现了多节点负载动态平衡,提高了节点的利用效率。     

Design and implementation of an efficient web cluster with content-based request distribution and file caching

We have implemented an efficient and scalable web cluster named LVS-CAD/FC (i.e. LVS with Content-Aware Dispatching and File Caching). In LVS-CAD/FC, a kernel-level one-way content-aware web switch based on TCP Rebuilding is implemented to examine and distribute the HTTP requests from clients to web servers, and the fast Multiple TCP Rebuilding is implemented to efficiently support persistent connection. Besides, a file-based web cache stores a small set of the most frequently accessed web files in server RAM to reduce disk I/Os and a light-weight redirect method is developed to efficiently redirect requests to this cache. In this paper, we have further proposed new policies related to content-based workload-aware request distribution, in which the web switch considers the content of requests and workload characterization in request dispatching. In particular, web files with more access frequencies would be duplicated in more servers’ file-based caches, such that hot web files can be served by more servers. Our goals are to improve cluster performance by obtaining better memory utilization and increasing the cache hit rates while achieving load balancing among servers. Experimental results of practical implementation on Linux show that LVS-CAD/FC is efficient and scales well. Besides, LVS-CAD/FC with the proposed policies can achieve 66.89% better performance than the Linux Virtual Server with a content-blind web switch.     

集群服务器负载均衡技术研究

负载均衡服务器集群中,负载均衡是一个关键部分,它是集群系统中任务分配的核心环节。本文提出了一种基于动态反馈的负载均衡方法,其避免了服务器间的负载不平衡,能较好地避免服务器的倾斜,提高系统的资源使用效率以及系统的吞吐率,有效地解决负载迁移的抖动问题,提高了平衡系统的性能。     

基于URL索引划分的Web内容自适应算法

Web集群服务的请求分配算法大多使用Hash方法对请求URL进行散列,并按一定规则对请求内容进行负载均衡调度.提出了一种基于URL词典排序及全部URL按其词典序列分为k*n个集合的URLALLOC算法.该算法通过对URL进行词典序排序并将全部URL按其词典序列分为k*n个集合,依访问流量排序及分段互补等一系列方法将Web负载尽可能均匀地分布到多个后端服务器中.仿真实验结果表明:URLALLOC算法比现有的URL散列方法具有更好的负载均衡能力.     

基于内容的网络集群负载平衡算法模型

在论述网络集群负载平衡算法的基础上,基于内容分类的方法,给出基于内容的网络集群负载平衡算法三元组模型。请求分类有利于提高缓存命中率,调度机制说明如何适当地转发请求,动态反馈避免将请求分配到重载的服务器,进而分析了调度机制的八种调度策略和六种基于内容的调度转发技术。该模型利用缓存内容来提高集群的吞吐量和响应时间,可部署多种服务类型。     

基于JCF中间件的负载预测与过载迁移的融合算法

针对多种负载预测方法的适用场景进行了研究,提出了一种负载预测与过载迁移的融合算法。该算法提前对周期内无法提取到的负载情况进行预测且对超过负载阈值的服务器进行告警,关闭该进程将服务请求分发给轻负载服务器。通过提前预测与负载迁移的有机结合,解决了一个周期内无法获取各个节点的实际负载的问题,负载预测不准确的问题,以及可能出现的部分服务器过载、甚至崩溃的问题,最终达到了系统的负载均衡。在JCF（Java Component Framework）中间件平台上的实验结果表明本文算法优于静态加权轮询算法和动态加权轮询算法,在提高均衡效率、增加集群系统的吞吐量、降低服务请求响应时间多方面有着显著效果,在实际应用中有较大的价值。     

分布式数据流处理系统的动态负载平衡技术

设计了一种新的大规模分布式数据流处理系统的体系结构。系统由一组异构的服务器集群组成，负载在每个服务器集群内部多台同构的服务器之间获得平衡，从而达到整个系统的负载平衡。集群设计的主要目标之一是以资源换性能，服务器集群中服务器的最大数目足够保证系统不再发生过载现象，不再需要会降低性能的卸载技术。而且投入运行的服务器的数目根据实际的系统负载来决定，负载较轻时，一部分服务器可以进入休眠状态来减少能源的消耗。根据系统动态增减服务器的特点，设计了全新的初始化算法、动态负载平衡算法。与以前的分布式数据流处理系统相比，由于单个集群的服务器的数目大大减少，算法复杂性降低、速度加快、优化的空间增大。     

基于Nginx的DRC集群动态负载均衡策略

面向数据的体系架构（DOA）为海量异构数据流通共享提供了新的有效解决方案。而数据注册中心（DRC）作为DOA的核心部件,它的访问性能尤为关键。针对高并发访问带来的DRC集群服务过载问题,采用Nginx反向代理负载均衡技术处理高并发访问。对Nginx的负载策略进行分析优化,提出一种由动态配置、负载收集、算法调度组成的动态负载均衡策略,并在负载调度模块对Nginx加权最小连接调度算法（WLC）进行改进,通过自适应权值不断调度下一个周期内性能最优的节点来处理请求。通过高并发性能测试验证了所提出的负载均衡策略在DRC集群中能更有效处理大流量的访问需求,提高集群的资源利用率和缩短请求响应时间。     

在线多任务异构云服务器负载均衡算法研究

针对由于云服务器之间软件环境存在异构性及数据分布不均匀等特点而导致云服务器集群在处理大量任务时往往出现节点负载不均衡的情况,提出了解决在线多任务异构云服务器集群负载均衡的方法与相关算法。首先统计集群提供的各类服务的平均资源消耗,结合任务在服务器上已运行时长和资源占用情况,预测评估某一时刻服务器上任务剩余负载总量;然后按周期获取节点实际任务负载情况,及时修正任务负载情况;最后综合考虑节点各项性能,计算在待分配任务提交时刻各节点的预测负载评估值,并将任务分配给预测负载最轻的节点。实验结果表明,该算法具有可行性且在多任务异构云服务器集群负载均衡方面具有一定优势。     

基于Nginx负载均衡的动态改进算法

随着过去几十年互联网服务的指数增长,各大网站的访问量急剧上升。海量的用户请求使得热门网站的网络请求率可能在几秒钟内大规模增加。一旦服务器承受不住这样的高并发请求,由此带来的网络拥塞和延迟会极大地影响用户体验。负载均衡是高可用网络基础架构的关键组件,通过在后端引入一个负载均衡器,将工作负载分布到多个服务器来缓解海量并发请求对服务器造成的巨大压力,提高后端服务器和数据库的性能以及可靠性。而Nginx作为一款高性能的HTTP和反向代理服务器,正越来越多地应用到实践中。文中将分析Nginx服务器负载均衡的体系架构,研究默认的加权轮询算法,并提出一种改进后的动态负载均衡算法,实时收集负载信息,重新计算并分配权值。通过实验测试,对比不同算法下的负载均衡性能,改进后的算法能有效提高服务器集群的性能。     

一种适于MMOG的轻载服务器寻找算法及分析

MMOG中常采用多台服务器集群的结构来处理玩家的请求.但是,玩家在游戏中的走动、打斗,常常使某些服务器超载.本文提出了一种介于局部和全局的轻载服务器寻找算法,并对算法进行详细的分析,使超载服务器能在短时间内找到合适的轻载服务器,保证了系统的实时性、一致性.     

基于预测机制的自适应负载均衡算法

工作负载特征对Web服务器集群中负载均衡调度算法的性能有重要影响。针对负载特征在调度算法所起作用的分析和讨论,提出基于预测机制的自适应负载均衡算法（RR_MMMCS-A-P）。通过监测工作负载,预测后续请求到达率和请求大小,快速调整相应参数,实现集群中各服务器之间的负载均衡。实验表明,无论是对计算密集型任务还是数据密集型任务,RR_MMMCS-A-P同基于CPU和CPU-MEM的调度算法相比在缩短平均响应时间方面具有较好的性能。     

一种异构Web服务器集群动态负载均衡算法

针对Web服务器集群系统中负载动态变化特性,提出了一种临界加速递减动态请求负载分配算法．通过负载权值的等效变换更准确地反映集群中单台服务器的当前负载状态;通过临界递减因子来有效抑制服务器可能出现的“拒绝访问”现象;通过随机概率分配方式替代固定转发分配方式,使访问负载的分布更均匀;通过实际测试获取算法中所需的计算参数,使配置操作更为简单．实验结果表明,该算法对较大负载的文件集的大密度访问情况效果明显。     

基于协同机制的Web服务器集群负载均衡技术

网站为了满足因特网的大量访问以及更好的QoS保障，目前通用的方案是多台Web服务器构成一个集群，共同分担用户对站点的请求负荷，这就需要解决负荷在各服务器之间的平衡（即负载均衡）问题。简要分析当前常用的Web服务器集群负载均衡方案，提出了以在线‘量为负载参考点，同时兼顾不同性能Web服务器的负载能力，建立一种集群服务器之间的协同工作机制，以实现Web服务器的负载均衡。