一种适用于Docker Swarm集群的调度策略和算法

Swarm是基于Docker容器的集群管理工具。通过分析研究Swarm整体架构和调度策略,针对集群的资源碎片问题和负载均衡问题,提出一种静态平衡和动态预测相结合的容器调度算法。通过测试,该算法能够减少集群的静态资源碎片,提高集群资源的利用率,并能维持集群的负载均衡。     

基于Docker swarm集群的动态加权调度策略

针对目前的Docker swarm内置的调度策略无法很好地实现Docker集群的负载均衡并且对集群资源的使用率不高的问题,提出了一种动态加权调度算法。所提算法对资源设置权重系数,引入参数bias针对不同服务对资源权重进行动态调整,根据各个节点的实际资源利用情况,对节点资源按照权重进行加权计算,用权值反映节点负载,并将此作为调度依据。在和Docker原始调度策略以及无参数调整的加权调度策略的对比实验中,该算法使得集群中各个节点上的各项资源利用率更加均衡;同时,在集群负载比较高的情况下,该算法实现了更快的服务运行速度。     

基于轮转周期的动态反馈负载均衡算法

网络管理系统中管理端逐步采用分布式集群构架,通过负载均衡算法调度客户端请求,并将客户端请求分配给多个事务节点进行并行处理。为进一步提高集群系统服务的性能,文中在研究以往负载均衡算法的基础上,提出了一种基于轮转周期的动态反馈负载均衡算法。该算法设计了一种基于剩余资源动态权值的节点剩余负载能力计算方法的动态反馈机制;并在动态反馈负载均衡算法的一个采样周期内引入轮转周期对客户端请求均衡分配。通过实验比较分析,该算法能获得更好的负载均衡效果。     

Web集群中的动态请求的分类调度策略

现有的请求调度策略应用于动态请求时容易导致集群节点间的负载失衡.针对动态请求,提出了基于分类的请求调度策略,根据URL模式对动态请求分类,同一类的请求具有相同的负载特性,然后用比较简单的轮转策略对各类请求进行调度,因而可以在不估计请求负载的情况下,很好地将负载均衡到了后端节点上.测试结果表明,使用该策略后,集群系统的吞吐量可以提高51.9%.     

云环境中基于LVS集群的负载均衡算法

为了解决传统负载均衡技术应用到云计算环境中引发的新问题,提出一种云环境下基于LVS集群分组负载均衡算法。该算法首先根据硬件性能计算各节点的权值,将性能相同(或近似相同)的服务器分为一组,每组节点数量相等(或近似相等),负载均衡器定期地收集各节点CPU、内存、I/O、网络利用率以及响应时间,动态改变节点的权值,使用改进算法选择该组内最佳节点,并计算节点的综合负载和组负载。最后再次使用改进算法由组负载均衡器选择集群最佳节点,并进行任务请求的合理分配,从而解决因并发量过大而引起的时延等问题。实验结果表明,与加权轮询算法(WRR)和加权最少连接算法(WLC)相比,本算法能够在并发量较大的情况下维持较短的响应时间和较高的吞吐率,使集群负载更加均衡。     

基于内容分类的集群负载均衡算法

集群技术为Web服务带来了新的解决方案,其核心思想是负载均衡策略.在分析已有方法的基础上,提出了一种基于内容分类的集群负载均衡算法.该算法通过对用户请求分类后均匀地分配给各节点服务器,以使每个节点服务器得到的各类请求量大致相同.同时算法引入了一个反馈环节,通过负载权值的等效变换和进入临界状态后的动态权值调整来防止节点负...     

基于主机性能度量的异构集群作业调度算法

传统经典作业度算法在集群应用中实现简单、执行效率高,但在异构集群环境下由于缺乏在线节点运行状态动态反馈能力和负载均衡能力,降低了计算资源利用率和系统吞吐率.为解决上述问题,设计了一种在异构集群环境下基于主机性能度量的作业负载均衡调度算法,该算法通过收集集群中在线节点的状态信息和作业响应时间遴选出可信节点集合,计算出各可信节点的HPM值,利用负载均衡运算规则生成候选的作业分配节点集合,最终按照预先设计的优先原则把不同作业分配至各计算节点,并更新各节点运行状态.实验结果表明,在异构集群环境下调度同类型作业时,该算法在总完成时间和负载均衡性能等指标上均优于传统经典算法.     

基于Nginx的DRC集群动态负载均衡策略

面向数据的体系架构（DOA）为海量异构数据流通共享提供了新的有效解决方案。而数据注册中心（DRC）作为DOA的核心部件,它的访问性能尤为关键。针对高并发访问带来的DRC集群服务过载问题,采用Nginx反向代理负载均衡技术处理高并发访问。对Nginx的负载策略进行分析优化,提出一种由动态配置、负载收集、算法调度组成的动态负载均衡策略,并在负载调度模块对Nginx加权最小连接调度算法（WLC）进行改进,通过自适应权值不断调度下一个周期内性能最优的节点来处理请求。通过高并发性能测试验证了所提出的负载均衡策略在DRC集群中能更有效处理大流量的访问需求,提高集群的资源利用率和缩短请求响应时间。     

A Dynamic-feedback Scheduling Algorithm for Cluster Load Balancing based on Priority Queue

在分析现有面向LVS集群的负载均衡调度算法优缺点的基础上,提出了一种新的调度算法—基于优先级队列的动态反馈调度算法.该算法根据定期采集到的各服务器负载信息动态地调整各服务器的权值,并根据权值建立优先级调度队列借以实现连接的调度.算法可保证良好的负载均衡性,且时间复杂度降低至O(1).     

LVS资源负载策略应用研究

LVS （Linux Virtual Server）是提高云平台资源利用率的方案之一,但是由于LVS负载均衡算法的权值设置不科学以及在分配连接请求时不能实时地平衡任务,导致云环境中的服务器负载失衡,降低了系统对外提供服务的能力.针对以上问题,本文将模拟退火算法和加权最小连接算法相结合,提出一个基于最佳负载因子的负载均衡策略.并通过实验证明,最佳负载因子策略能够使集群中节点负载更加均衡,极大程度上提高了集群资源利用率.     

异构云中面向集群负载均衡的任务调度策略

负载均衡是提高资源利用率和系统稳定性的重要手段。基于改进的自适应变异粒子群算法,提出了一种异构环境下面向集群负载均衡的任务调度策略。在调度策略的设计中,融入了经济学“二八”定律,通过把握用户对集群节点安全性和可靠性的偏好程度并预估任务的负载信息,在保证系统负载尽量均衡的前提下,最小化任务执行时间的同时提高大客户满意度。仿真实验显示,改进的自适应变异粒子群算法比未改进的自适应变异粒子群算法和基本粒子群算法在收敛速度和跳出局部最优两个方面都有更好的表现。结果表明,改进的自适应变异粒子群算法在保证集群负载均衡的同时可以更好地提高云服务提供商的利润空间。     

基于CoreOS面向负载整合的集群调度研究

CoreOS是基于Docker的新型容器化集群服务器操作系统,发展迅速,已经得到OpenStack、Kubernetes、Salesforce、Ebay等主流云服务商的支持,云环境中负载是动态的,相应的其资源需求是动态变化的,这给集群资源高效利用带来了挑战,静态预分配峰值资源的策略带来云端资源的巨大浪费,同时空转的计算浪费大量能耗.本文提出的面向负载整合的集群调度系统（简称LICSS）实时监控集群负载分布情况,调度时使用紧凑式调度策略分配计算节点,运行时利用任务迁移技术对负载进行动态整合,实现及时收集释放空转资源降低资源能耗浪费的目的.LICSS系统设计实现了节点负载度量、任务度量、负载整合算法,并测算出节点自适应负载阈值.实验表明,LICSS系统能够根据不同时段集群负载动态变化情况对负载进行有效整合,提高了12.2%的平均资源利用率,并且基于任务整合在低负载时段触发富余节点休眠降低集群能耗.     

基于遗传算法的Kubernetes资源调度算法

Kubernetes在优选阶段仅根据节点CPU和内存的利用率来决定节点的分值,这只能保证单节点的资源利用率,无法保证集群资源的负载均衡.针对该问题,提出一种基于遗传算法的Kubernetes资源调度算法,该算法加入了网络带宽和磁盘IO两项评价指标,同时为评价指标赋予不同权重值,并且引入校验字典校验并修复遗传算法生成的新种群中不符合配置的个体.实验结果表明,与Kubernetes默认资源调度策略相比,该算法考虑了集群中的所有节点的资源利用率,在保证集群负载均衡方面有着更好的效果.     

基于负载权值的负载均衡算法

为解决服务器集群负载分配不均的问题,综合考虑节点负载和节点性能信息,提出了基于负载权值的动态反馈负载均衡算法。利用负载权值选择分配负载的节点集合,保证性能高的节点分配到较多的负载;引入负载差值计算节点分配负载的概率,使得负载的分布更加均匀;通过负载增量及负载修正保持系统的稳定性。使用OPNET仿真软件进行测试,结果表明该算法能有效提高负载均衡效率,有较好的负载均衡效果。     

Hadoop平台公平调度算法研究与优化

Hadoop Map Reduce框架的公平调度算法以统一的固定配置文件管理计算节点上计算槽的数量,这不能保障集群负载均衡,亦不能满足不同用户的资源需求。针对公平调度算法配置方式的不足,提出一种动态反馈的调度算法。该算法结合公平调度算法预先分配的特性,能够对计算节点上的计算槽进行动态调整。实验结果表明,基于动态反馈的改进算法有效地提高了集群的执行效率。     

基于改进秃鹰搜索算法的Kubernetes资源调度应用

Kubernetes是一个管理容器化应用的开源平台,其默认的调度算法在优选阶段仅把CPU和内存两种资源来作为计算节点的评分指标,同时还忽略了不同类型的Pod对节点资源的占用比例是不同的,容易导致某一资源达到性能瓶颈,从而造成节点对资源使用失衡.针对上述问题,本文在Kubernetes原有的资源指标基础上增加了带宽和磁盘容量,考虑到CPU、内存、带宽和磁盘容量这4类资源在节点上的占用比例对节点的性能的影响,可能造成Pod中应用的非正常运行,甚至杀死Pod,从而影响集群整体的高可靠性.本文将等待创建的Pod区分为可压缩消耗型、不可压缩消耗型以及均衡型,并为每种类型的Pod设置相应的权重,最后通过改进的秃鹰搜索算法(TBESK)来寻找出最优节点进行调度.实验结果表明,随着集群中Pod的数量在不断增加,在集群负载较大的情况下, TBESK算法的综合负载标准差和默认的调度算法相比提升了24%.     

新型分布式计算系统中的异构任务调度框架

随着大数据和机器学习的火热发展,面向机器学习的分布式大数据计算引擎随之兴起.这些系统既可以支持批量的分布式学习,也可以支持流式的增量学习和验证,具有低延迟、高性能的特点.然而,当前的一些主流系统采用了随机的任务调度策略,忽略了节点的性能差异,因此容易导致负载不均和性能下降.同时,对于某些任务,如果资源要求不满足,则会导致调度失败.针对这些问题,提出了一种异构任务调度框架,能够保证任务的高效执行和被执行.具体来讲,该框架针对任务调度模块,围绕节点的异构计算资源,提出了概率随机的调度策略resource-Pick＿kx和确定的平滑加权轮询算法.Resource-Pick＿kx算法根据节点性能计算概率,进行概率随机调度,性能高的节点概率越大,任务调度到此节点的可能性就越高.平滑加权轮询算法在初始时根据节点性能设置权重,调度过程中平滑加权,使任务调度到当下性能最高的节点上.此外,对于资源不满足要求的任务场景,提出了基于容器的纵向扩容机制,自定义任务资源,创建节点加入集群,重新完成任务的调度.通过实验在benchmark和公开数据集上测试了框架的性能,相比于原有策略,该框架性能提升了10%-20...     

基于异构Flink集群的节点优先级调度策略

Flink流处理系统默认的任务调度策略在一定程度上忽略了集群异构和节点可用资源,导致集群整体负载不均衡。研究分布式节点的实时性能和集群作业环境,根据实际作业环境的异构分布情况,设计结合异构Flink集群的节点优先级调整方法,以基于Ganglia可扩展分布式集群资源监控系统的集群信息为依据,动态调整适应当前作业环境的节点优先级指数。基于此提出Flink节点动态自适应调度策略,通过实时监测节点的异构状况,并在任务执行过程中根据实时作业环境更新节点优先级指数,为系统任务找到最佳的执行节点完成任务分配。实验结果表明,相比于Flink默认的任务调度策略,基于节点优先级调整方法的自适应调度策略在WorldCount基准测试中的运行时间约平均减少6%,可使异构Flink集群在保持集群低延迟的同时,节点资源利用率和任务执行效率更高。