Web服务器中基于自适应控制的成比例延迟区分服务

Internet上Web应用日益广泛的使用,使得Web服务器需要在高负载下提供性能保证与区分服务,以满足用户的不同需求。响应延迟是评价Web服务器的一项关键性能指标,而成比例延迟区分服务是一种重要的区分服务模型。针对Apache Web服务器,提出并实现了基于自适应控制的成比例延迟区分服务。在每个采样周期,自适应控制器根据预设的延迟区分参数,通过动态计算并调节各个客户类别的服务线程数目,可保证Apache Web服务器上高优先级客户具有较低的平均连接延迟,而各个客户类别的平均延迟比保持不变。仿真结果表明,在动态变化的负载、参考输入以及不同的系统配置之下,控制器作用下的Apache Web服务器都能可靠地提供成比例延迟区分服务。     

Apache Web服务器中基于LTI模型的多服务类别比例延迟控制

通过系统辨识建立了Apache Web服务器的线性时不变(LTI>模型,用于描述两类Web客户连接的连接延迟比与服务线程比间的关系,并针对此L"I'I模型,设计了一个控制器。此控制器通过动态分配服务于不同类别连接的服务线程的数量,可实现Wcb服务器端的比例延迟保证,并进一步将此区分服务的控制模型扩展到了面向多个连接类别,通过多个控制器实现了相部两个客户连接类别的比例延迟保证。仿真表明,即使过载状态下并发客户连接的数目急剧变化,闭环系统中的Wcb服务器也能为多个客户连接类别提供比例延迟保证。     

DTN Web服务器基于自适应控制的成比例延迟区分服务

DTN网络的出现为未来的Internet应用提供了一种全新的平台,在DTN网络上部署支持服务区分服务的Web服务器方面的研究仍为空白。首先设计了一种支持区分服务的DTN Web服务器,并在其上实现了基于自适应控制的成比例延迟区分服务。自适应控制器根据预设的延迟区分参数,通过动态计算并调节各个客户类别的服务线程数目,可保证DTN Web服务器上高优先级客户具有较低的平均连接延迟而各个客户类别的平均延迟比保持不变。仿真结果表明,在动态变化的负载、不同的负载分布以及变化的参考输入之下,控制器作用下的DTN Web服务器都能可靠地提供成比例延迟区分服务。     

基于自校正分散控制的Web服务器比例延迟保证

Apache Web服务器一般采用单变量模型,处理多优先级延迟保证时需多次建模,可扩展性不佳。为此提出一种Web服务器多输入多输出(MIMO)模型,并结合分散控制理论和自校正控制(STC)理论设计分散自校正控制器。该控制器动态调节处理不同优先级请求的工作线程数目,能保证较高优先级请求更快得到处理且维持不同优先级请求的平均延迟比为设定值,模型和控制器参数根据在线辨识结果实时更新。仿真表明,过载情况下即使并发客户连接数目急剧变化,闭环系统中的服务器仍能维持较好的比例延迟保证。     

相对延迟保证在Apache服务器上的实现

基于反馈控制的理论,针对Windows平台下Apache服务器的MPM模型,设计了一个反馈控制器。控制器通过动态调整不同类型客户的服务线程比例,保证了高优先级客户较快得到服务器响应而不同类型客户的延迟比不变,从而实现了Apache服务器的相对延迟保证。测试结果表明,即使在客户数量急剧变化的情况下,改进后的服务器仍然能够达到较好的相对延迟保证。     

基于比例命中率的Web缓存区分服务

基于反馈控制理论,通过系统辨识设计了缓存控制器。动态调整不同类别缓存对象的缓存空间,可保证高优先级Web对象的高命中率,而不同类别的Web对象命中率之比保持不变。在服务器端实现了基于比例命中率的缓存区分服务。经实验验证,在GDSF,LRU,LFU缓存替换算法下,无论是请求命中率还是字节命中率,均有良好的区分效果。     

区分服务在多层Web应用中的实现

通过对三层服务器的构架分析,突破了常用的传递函数方法,建立了基于区分服务的MIMO系统状态空间模型,并在此基础上应用控制理论中的极点配置和状态反馈方法设计控制器,对不同优先级在不同Web层次上进行资源分配,实现其比例延迟保证。实验证明,原系统可近似为一组低阶线性方程,且在所设计的控制器作用下可达到良好的区分效果。     

Web QoS中的预测控制与比例延迟保证

控制理论已被应用于Web服务器中,以改进其QoS性能。但当Web负载剧烈变化时,已有的基于反馈的比例延迟控制的实时性往往不佳。分析了HTTP1.1请求页面中嵌入URL的个数和嵌入文件大小的重尾特征,根据Web服务器的排队特性以及HTTP1.1持续连接的特点,通过不同优先级等待队列的长度来预测排队延迟,从而调整相应的服务线程配额,实现相对比例延迟保证。实验证明,这种方法取得了良好的效果,显著提高了系统的动态性能。     

Web服务器集群系统QoWS研究

请求负载的增加常常导致Web服务器系统性能降低,用户期望的服务质量得不到保证,这是服务级Web系统所面临和必须解决的问题。文章提出了一种Web服务器集群环境下的负载分配策略,通过对用户请求分类、将不同类别的请求进行响应性能隔离、优先为高级别请求提供服务以及请求许可控制等手段,对不同类别的Web请求提供不同质量的服务,保证了服务级用户的服务质量。同时采用最迟分配原则,改善系统的负载均衡能力,缩短系统平均响应时间。最后通过仿真实验,验证了该策略的正确性和有效性。     

基于用户会话的Web服务器应用软件的QoS技术分析

传统的Web服务器应用软件对客户的请求不加识别和区分，接收到一个请求便立即进行处理。因此，这种“一视同仁”的服务无法为高优先级的请求提供Web QOS保证。通过改进应用软件，Web服务器可以为不同的客户或请求提供Web QOS。其主要方法是将客户的HTTP请求进行分类，并且实现优先化调度、接纳控制、资源分配等机制。本文介绍了基于用户会话的Web服务器应用软件的QoS技术，并指出其中存在的缺陷。     

Resource allocation optimization for quantitative service differentiation on server clusters

The goal of service differentiation is to provide different service quality levels to meet changing system configuration and resource availability and to satisfy different requirements and expectations of applications and users. In this paper, we investigate the problem of quantitative service differentiation on cluster-based delay-sensitive servers. The goal is to support a system-wide service quality optimization with respect to resource allocation on a computer system while provisioning proportionality fairness to clients. We first propose and promote a square-root proportional differentiation model. Interestingly, both popular delay factors, queueing delay and slowdown, are reciprocally proportional to the allocated resource usage. We formulate the problem of quantitative service differentiation as a generalized resource allocation optimization towards the minimization of system delay, defined as the sum of weighted delay of client requests. We prove that the optimization-based resource allocation scheme essentially provides square-root proportional service differentiation to clients. We then study the problem of service differentiation provisioning from an important relative performance metric, slowdown. We give a closed-form expression of the expected slowdown of a popular heavy-tailed workload model with respect to resource allocation on a server cluster. We design a two-tier resource management framework, which integrates a dispatcher-based node partitioning scheme and a server-based adaptive process allocation scheme. We evaluate the resource allocation framework with different models via extensive simulations. Results show that the square-root proportional model provides service differentiation at a minimum cost of system delay. The two-tier resource allocation framework can provide fine-grained and predictable service differentiation on cluster-based servers.     

异构Web集群中的比例伸展因子区分服务

Web集群服务器已被广泛用来提高Web服务器的性能。如何保证Web服务的服务质量（QoS）是一个迫切需要解决的问题。区分服务已成为QoS研究领域中的一个焦点。本文分析了Web请求服务时间的数字特性，并使用M／G／1 FCFS排队模型对Web服务器及Web集群服务器进行了建模。在对模型进行分析的基础上，设计并实现了一种异构Web集群服务器中的比例伸展因子区分服务的方案，并提出了基于概率空间的请求调度算法。请求被分成多个类，无论系统的负载如何，系统确保每类请求的平均伸展因子与事先给定的参数成正比。实际测试表明，所设计的方案满足相对区分服务的可预测性和可控制性的要求。     

基于事件驱动和QoS控制的Web服务器体系结构*

Web服务器在满足大量且不断上升的用户需求方面扮演着关键角色,但Web服务器也面临高并发的用户请求、不同的QoS需求和访问控制等众多挑战。针对这些挑战提出了一种采用事件驱动和QoS控制的新型Web服务器体系结构,并依此开发出命名为Epdds的原型服务器。通过对Epdds服务器的性能分析及与其他Web服务器性能对比,进一步验证了此种Web服务器体系结构的可行性和有效性。     

Web content adaptation to improve server overload behavior

This paper presents a study of Web content adaptation to improve server overload performance, as well as an implementation of a Web content adaptation software prototype. When the request rate on a Web server increases beyond server capacity, the server becomes overloaded and unresponsive. The TCP listen queue of the server's socket overflows exhibiting a drop-tail behavior. As a result, clients experience service outages. Since clients typically issue multiple requests over the duration of a session with the server, and since requests are dropped indiscriminately, all clients connecting to the server at overload are likely to experience connection failures, even though there may be enough capacity on the server to deliver all responses properly for a subset of clients. In this paper, we propose to resolve the overload problem by adapting delivered content to load conditions to alleviate overload. The premise is that successful delivery of a less resource intensive content under overload is more desirable to clients than connection rejection or failures.The paper suggests the feasibility of content adaptation from three different viewpoints; (a) potential for automating content adaptation with minimal involvement of the content provider, (b) ability to achieve sufficient savings in resource requirements by adapting present-day Web content while preserving adequate information, and (c) feasibility to apply content adaptation technology on the Web with no modification to existing Web servers, browsers or the HTTP protocol.