基于Docker Swarm集群的调度策略优化算法

Swarm是一种对集群中Docker镜像和容器进行管理的工具,其在计算节点权值时可能会得到若干个相同权值的节点.现有的Swarm调度策略只是将这些节点随机分配,由于相同权值节点的资源负载情况并不相同,所以将会造成节点负载不均衡.针对上述问题,本文提出一种动态调度算法对Swarm调度策略进行优化.通过实验,证明增加动态调度算法能够使集群中节点负载更加均衡,同时提高集群的整体资源利用率.     

基于主机性能度量的异构集群作业调度算法

传统经典作业度算法在集群应用中实现简单、执行效率高,但在异构集群环境下由于缺乏在线节点运行状态动态反馈能力和负载均衡能力,降低了计算资源利用率和系统吞吐率.为解决上述问题,设计了一种在异构集群环境下基于主机性能度量的作业负载均衡调度算法,该算法通过收集集群中在线节点的状态信息和作业响应时间遴选出可信节点集合,计算出各可信节点的HPM值,利用负载均衡运算规则生成候选的作业分配节点集合,最终按照预先设计的优先原则把不同作业分配至各计算节点,并更新各节点运行状态.实验结果表明,在异构集群环境下调度同类型作业时,该算法在总完成时间和负载均衡性能等指标上均优于传统经典算法.     

异构GPU集群的任务调度方法研究及实现

GPU集群已经成为高性能计算的重要方式,特别对于计算密集型应用,具有成本低、性能高、功耗小的优势.为了解决GPU集群系统运行中的任务负载均衡问题,文中提出了一种面向计算密集型应用的异构GPU集群调度方法,该方法可以自动发现计算节点,并动态估计计算节点的计算能力,并根据计算能力、任务的计算强度和优先级在异构GPU集群上合理分配计算资源.同时,该系统还具有容错能力,能够处理计算节点的意外退出,可恢复意外退出计算节点的计算任务,并动态适应系统的计算规模.通过实验表明,文中采用的策略达到了预期目的     

异构Hadoop集群下的负载自适应反馈调度策略

随着基于Hadoop平台的大数据技术的不断发展和实践的深入,Hadoop YARN资源调度策略在异构集群中的不适用性越发明显。一方面,节点资源无法动态分配,导致优势节点的计算资源浪费、系统性能没有充分发挥;另一方面,现有的静态资源分配策略未考虑作业在不同执行阶段的差异,易产生大量资源碎片。基于以上问题,提出了一种负载自适应调度策略。监控集群执行节点和提交作业的性能信息,利用实时监控数据建模、量化节点的综合计算能力,结合节点和作业的性能信息在调度器上启动基于相似度评估的动态资源调度方案。优化后的系统能够有效识别集群节点的执行能力差异,并根据作业任务的实时需求进行细粒度的动态资源调度,在完善YARN现有调度语义的同时,可作为子级资源调度方案架构在上层调度器下。在Hadoop 2.0上实现并测试该策略,实验结果表明,作业的自适应资源调度策略显著提高了资源利用率,集群并发度提高了2到3倍,时间性能提升了近10%。     

LVS资源负载策略应用研究

LVS （Linux Virtual Server）是提高云平台资源利用率的方案之一,但是由于LVS负载均衡算法的权值设置不科学以及在分配连接请求时不能实时地平衡任务,导致云环境中的服务器负载失衡,降低了系统对外提供服务的能力.针对以上问题,本文将模拟退火算法和加权最小连接算法相结合,提出一个基于最佳负载因子的负载均衡策略.并通过实验证明,最佳负载因子策略能够使集群中节点负载更加均衡,极大程度上提高了集群资源利用率.     

基于异构Flink集群的节点优先级调度策略

Flink流处理系统默认的任务调度策略在一定程度上忽略了集群异构和节点可用资源,导致集群整体负载不均衡。研究分布式节点的实时性能和集群作业环境,根据实际作业环境的异构分布情况,设计结合异构Flink集群的节点优先级调整方法,以基于Ganglia可扩展分布式集群资源监控系统的集群信息为依据,动态调整适应当前作业环境的节点优先级指数。基于此提出Flink节点动态自适应调度策略,通过实时监测节点的异构状况,并在任务执行过程中根据实时作业环境更新节点优先级指数,为系统任务找到最佳的执行节点完成任务分配。实验结果表明,相比于Flink默认的任务调度策略,基于节点优先级调整方法的自适应调度策略在WorldCount基准测试中的运行时间约平均减少6%,可使异构Flink集群在保持集群低延迟的同时,节点资源利用率和任务执行效率更高。     

Storm集群下基于性能感知的负载均衡策略

Storm计算框架具有为多源异构大数据提供高效、快速、实时处理的能力.然而因Storm默认的调度策略使用了简单的轮询方法,无法根据集群动态的负载状态调整其任务的分配.针对该问题,提出了基于性能感知的负载均衡策略,根据节点的处理效率计算其性能感知值,并通过贪心调度保证节点的任务量与节点处理能力相匹配,以达到负载均衡的目的.通过与默认调度算法实验比较,结果表明该算法能够有效降低Storm处理时延,提高吞吐量和实现集群负载均衡.     

一种自适应的网络代理集群负载均衡策略

现有动态负载均衡策略难以有效应用于任务资源需求特征动态多变、资源需求信息难以准确获取的网络代理集群中,为解决该问题,提出一种适用于网络代理集群的自适应负载均衡策略。该策略的负载模型可以随任务资源需求特征的变化自适应地调整,能够更准确地表征系统的负载状态和节点间的负载差异。实验结果表明,使用该自适应负载均衡策略的网络代理集群的平均响应时间比其他负载均衡策略低15%~20%。     

一种自适应的网络代理集群负载均衡策略

现有动态负载均衡策略难以有效应用于任务资源需求特征动态多变、资源需求信息难以准确获取的网络代理集群中,为解决该问题,提出一种适用于网络代理集群的自适应负载均衡策略。该策略的负载模型可以随任务资源需求特征的变化自适应地调整,能够更准确地表征系统的负载状态和节点问的负载差异。实验结果表明,使用该自适应负载均衡策略的网络代理集群的平均响应时间比其他负载均衡策略低15％～20％。     

集群系统中的动态反馈负载均衡策略

针对Web服务器集群系统中负载动态变化的特点,为了高效地实现任务均衡分配,提出一种新的负载均衡算法。该算法结合动态反馈原理,周期地根据服务器节点真实负载的状态变化情况,改变其相应节点的权值,避免服务器间的负载失衡。实验表明,该方法能有效降低系统平均服务延迟时间和提高吞吐量,提升集群系统的整体性能。     

随机任务在云计算平台中能耗的优化管理方法

针对云计算系统在运行过程中由于计算节点空闲而产生大量空闲能耗,以及由于不匹配任务调度而产生大量“奢侈”能耗的能耗浪费问题,提出一种通过任务调度方式的能耗优化管理方法.首先,用排队模型对云计算系统进行建模,分析云计算系统的平均响应时间和平均功率,建立云计算系统的能耗模型.然后提出基于大服务强度和小执行能耗的任务调度策略,分别针对空闲能耗和“奢侈”能耗进行优化控制.基于该调度策略,设计满足性能约束的最小期望执行能耗调度算法ME3PC(minimum expectation execution energy with performance constraints).实验结果表明,该算法在保证执行性能的前提下,可大幅度降低云计算系统的能耗开销.     

基于动态能量感知的云计算任务调度模型

针对传统云计算任务调度模型出现的计算量大、能耗高、效率低、调配精度差等问题,基于动态能量感知设计了一种新的云计算任务调度模型;以动态能量感知为基础,选取资源分配服务器的中央处理器的使用率、存储器的占用率、控制器的负载率等3个参数,构建三维云计算任务节点投影空间,将上述参数向量投影到空间中;引入动态能量感知建立云计算任务调度模型,采用虚拟技术将多个服务器合并成一台服务器,对调度任务进行需求分析和分类,采用能量感知算法将待调度任务分配给满足调度需求的虚拟资源,将任务调度到服务器资源上,实现任务调度;实验结果表明,基于动态能量感知的云计算任务调度模型在从小任务集和大任务集两个角度都能给有效缩短调度时间,降低调度能耗。     

面向云环境的Flink负载均衡策略

作为新一代的大数据计算引擎,Flink得到了广泛应用。Flink在云环境下进行容器化部署时,其默认任务调度算法不能感知节点的资源信息,导致即时调整负载和自主均衡能力较差,而主流的容器编排工具虽然提供了管理容器的可能性,却也未能结合Flink特点解决平衡资源利用的同时降低容器组内的通信开销问题。针对以上问题开展研究,提出了一种面向云环境的Flink负载均衡策略FLBS,综合考虑了Flink集群中算子的分布特点和容器间通信机制,以节点间通信开销和均衡负载作为评估标准。实验结果表明,与Flink默认调度策略相比,FLBS能够有效提高计算效率,提升系统性能。     

基于Docker swarm集群的动态加权调度策略

针对目前的Docker swarm内置的调度策略无法很好地实现Docker集群的负载均衡并且对集群资源的使用率不高的问题,提出了一种动态加权调度算法。所提算法对资源设置权重系数,引入参数bias针对不同服务对资源权重进行动态调整,根据各个节点的实际资源利用情况,对节点资源按照权重进行加权计算,用权值反映节点负载,并将此作为调度依据。在和Docker原始调度策略以及无参数调整的加权调度策略的对比实验中,该算法使得集群中各个节点上的各项资源利用率更加均衡;同时,在集群负载比较高的情况下,该算法实现了更快的服务运行速度。     

云计算虚拟资源的熵优化和动态加权评估模型

云资源的动态变化和不确定性给资源管理及任务调度带来了很大的困难.为了准确地掌握资源动态负载和可用能力信息,提出一种基于熵优化和动态加权的资源评估模型,其中,熵优化模型利用最大熵和熵增原理的目标函数及约束条件,筛选出满足用户 QoS 和系统最大化的资源,实现最优调度,保障用户 QoS.对筛选后的资源再进行动态加权负载评估,对负载过重及长期不可用资源进行迁移、释放等,可减少能耗,实现负载均衡和提高系统利用率.设计了仿真实验,以验证所提评估模型的性能.实验结果表明,熵优化模型对用户 QoS 和系统最大化有很好的效果,动态加权负载评估有利于均衡负载,提高系统利用率.该评估模型实现了用户QoS保障、减少能耗、负载均衡以及提高系统利用率等多目标的优化.     

异构云中面向集群负载均衡的任务调度策略

负载均衡是提高资源利用率和系统稳定性的重要手段。基于改进的自适应变异粒子群算法,提出了一种异构环境下面向集群负载均衡的任务调度策略。在调度策略的设计中,融入了经济学“二八”定律,通过把握用户对集群节点安全性和可靠性的偏好程度并预估任务的负载信息,在保证系统负载尽量均衡的前提下,最小化任务执行时间的同时提高大客户满意度。仿真实验显示,改进的自适应变异粒子群算法比未改进的自适应变异粒子群算法和基本粒子群算法在收敛速度和跳出局部最优两个方面都有更好的表现。结果表明,改进的自适应变异粒子群算法在保证集群负载均衡的同时可以更好地提高云服务提供商的利润空间。     

基于任务负载监测的高性能集群节点启停机制*

对高性能计算集群在运行过程中如何通过关闭闲置节点来实现有效节能的问题进行了研究和探讨,设计和实现了基于任务负载量统计监测的节点启停机制.根据对系统中作业运行和排队情况的记录和分析,通过参数估计设计了反映队列任务情况的负载因子,并围绕负载因子制定具体策略,结合作业系统的队列设置和资源分配规则,对集群中的空闲节点进行自动启停控制.模拟实验表明,基于任务负载监测的节点启停机制能够有效地自动启停系统中闲置的节点,从而降低系统功耗,并且对系统中作业的整体完成时间基本不造成影响.