资源不均衡Spark环境任务调度优化算法研究

由于硬件资源的更新换代,集群中各个节点的计算能力会变得不一致。集群异构的出现导致集群计算资源不均衡。目前Spark大数据平台在任务调度时未考虑集群的异构性以及节点资源的利用情况,影响了系统性能的发挥。构建了集群节点的评价指标体系,提出利用节点的优先级来表示其计算能力。提出的节点优先级调整算法能够根据任务执行过程中节点的状态动态调整各个节点的优先级。基于节点优先级的Spark动态自适应调度算法(SDASA)则根据实时的节点优先级值完成任务的分配。实验表明,SDASA能够缩短任务在集群中的执行时间,从而提升集群整体计算性能。     

基于异构Flink集群的节点优先级调度策略

Flink流处理系统默认的任务调度策略在一定程度上忽略了集群异构和节点可用资源,导致集群整体负载不均衡。研究分布式节点的实时性能和集群作业环境,根据实际作业环境的异构分布情况,设计结合异构Flink集群的节点优先级调整方法,以基于Ganglia可扩展分布式集群资源监控系统的集群信息为依据,动态调整适应当前作业环境的节点优先级指数。基于此提出Flink节点动态自适应调度策略,通过实时监测节点的异构状况,并在任务执行过程中根据实时作业环境更新节点优先级指数,为系统任务找到最佳的执行节点完成任务分配。实验结果表明,相比于Flink默认的任务调度策略,基于节点优先级调整方法的自适应调度策略在WorldCount基准测试中的运行时间约平均减少6%,可使异构Flink集群在保持集群低延迟的同时,节点资源利用率和任务执行效率更高。     

云计算环境中基于朴素贝叶斯算法的负载均衡技术

针对云计算环境中任务调度算法复杂度高、任务分配不够合理等问题,提出一种基于朴素贝叶斯分类的负载均衡技术。该技术利用云计算环境的心跳机制全面地收集各节点负载信息,并采用朴素贝叶斯算法对各节点负载状态进行分类;然后,根据节点状态分类结果,实现任务和资源分配的合理调度。实验结果表明,基于朴素贝叶斯算法的负载均衡技术能提高任务的分配效率,避免任务在各节点间频繁迁移,快速有效地实现云计算环境中各节点间的负载均衡。     

云计算环境中基于朴素贝叶斯算法的负载均衡技术

针对云计算环境中任务调度算法复杂度高、任务分配不够合理等问题,提出一种基于朴素贝叶斯分类的负载均衡技术。该技术利用云计算环境的心跳机制全面地收集各节点负载信息,并采用朴素贝叶斯算法对各节点负载状态进行分类;然后,根据节点状态分类结果,实现任务和资源分配的合理调度。实验结果表明,基于朴素贝叶斯算法的负载均衡技术能提高任务的分配效率,避免任务在各节点间频繁迁移,快速有效地实现云计算环境中各节点间的负载均衡。     

带宽和时延受限的流媒体服务器集群负载均衡机制

流媒体服务器集群的整体负载能力很大程度上受其服务时延和带宽负载均衡程度的影响.因此如何提高服务实时性和均衡带宽负载是提升流媒体服务器集群服务能力的关键.为此,提出了一种带宽和时延受限的流媒体服务器集群负载均衡机制.该机制通过将服务器带宽和任务带宽的离散化、区间化,构建服务器与任务状态集,再利用遗传算法离线计算并存储各个状态下的最佳分配方案,使得在有效地将不同带宽需求的任务分配到各个服务器上优化集群负载的同时,加快在线任务分配方案的计算速度,提高时效性.仿真结果显示,该机制能够在拥有与轮询算法、最小连接数算法相似的计算时延的基础上,有效均衡带宽负载,降低失败任务数,从而提升整体服务质量和能力.     

基于动态反馈的负载均衡算法

负载均衡服务器集群中,负载均衡算法是一个关键的部分,它是集群系统中任务分配的核心环节。任务分配的主要因素包括服务节点的处理能力与服务节点实际负载两个部分。本文所讨论的负载均衡算法综合了这两方面的影响,引入了节点负载增量对服务节点实际负载进行预测,以求更精确地表示服务节点的负载情况;同时通过动态反馈机制实时修正,保证了系统在长时间运行时,负载不会发生倾斜。     

基于数据库集群的动态负载均衡研究与实现

针对数据库集群负载问题,提出了一种动态负载均衡方法,并进一步设计、实现了包括CPU使用率、磁盘存储量、磁盘响应效率、网络延时、内存使用率等在内的多指标的节点负载测量和实时监控。该算法根据各节点的负载反馈信息进行任务分配,实现了负载均衡。性能分析和实验表明,该算法具有较高的负载均衡度和较低的系统开销。     

一种改进的基于动态反馈的负载均衡算法

负载均衡是集群系统研究的一个重要问题,负载均衡算法是集群任务分配的核心,介绍了LVS中的负载均衡算法,讨论了常用算法的不足,在分析这些算法各自优缺点的基础上,提出了一种改进的基于反馈的负载均衡算法,算法引入一个负载容余参数以更准确地描述集群节点的负载状况,在考虑服务节点真实负载,处理能力的基础上,尽量简化负载均衡器的任务分配算法.测试结果显示该算法优于静态算法.     

Hadoop异构集群中数据负载均衡的研究

Hadoop平台下,数据的负载均衡对平台性能的发挥有着深远的影响。首先分析默认数据负载均衡的局限性,针对现有默认HDFS(Hadoop Distributed File System)数据负载均衡算法只考虑存储空间利用率,而未考虑节点间异构性的问题,提出一种量化异构集群数据负载均衡的数学模型。该模型根据节点的存储空间及节点性能计算得到各个节点的理论空间利用率,并根据当前集群存储空间利用率动态调整节点最大负载。实验结果表明,提出的数据负载均衡策略能够让异构集群达到更合理的均衡状态,提高集群的效率,并有效减少作业的执行时间。     

在线多任务异构云服务器负载均衡算法研究

针对由于云服务器之间软件环境存在异构性及数据分布不均匀等特点而导致云服务器集群在处理大量任务时往往出现节点负载不均衡的情况,提出了解决在线多任务异构云服务器集群负载均衡的方法与相关算法。首先统计集群提供的各类服务的平均资源消耗,结合任务在服务器上已运行时长和资源占用情况,预测评估某一时刻服务器上任务剩余负载总量;然后按周期获取节点实际任务负载情况,及时修正任务负载情况;最后综合考虑节点各项性能,计算在待分配任务提交时刻各节点的预测负载评估值,并将任务分配给预测负载最轻的节点。实验结果表明,该算法具有可行性且在多任务异构云服务器集群负载均衡方面具有一定优势。     

面向容器环境的Flink的任务调度优化研究

随着互联网技术的飞速发展,人类正在走向大数据时代与云计算时代。Flink作为最新一代的大数据计算引擎,具有低延迟、高吞吐等优势,受到学术界与工业界的青睐。Flink在云环境下部署时,其默认任务调度由于无法获取容器部署分布信息,会导致负载分配不均衡。针对这一问题,提出一种面向容器环境的Flink任务调度算法FSACE,获取每个结点性能信息与容器在结点上的分布信息,优先选择 空闲资源较多的结点的容器,同时可以避免容器被频繁选中造成负载不均。使用云主机与合成数据集对算法进行评测,评测结果表明,在容器环境下部署时,所提出的算法能更均衡地分配任务,可以提高资源使用率和计算速度。     

无线传感器网络中基于节点对链路质量的任务分配

为了提高无线传感器网络中的资源使用效率,提出了一种新颖的算法,即基于节点之间的链路质量将任务分配给一对协同工作的传感器节点。具体来说,算法基于两个相邻节点之间的链接质量来获得这两个节点组成的节点对的能力等级,然后为每个节点对分配一个任务等级(如通过计算强度衡量)可以与此节点对的能力等级相匹配的任务,以便每个节点对可以协同高效地执行每个任务。考虑到一个节点可能会与多个节点组成不同节点对,而这些节点对被分配到的任务可能出现冗余(具有相同任务等级的任务),所以需要调整这些任务以避免执行冗余任务。仿真结果表明,该算法不仅可以提高任务分配效率,而且可以平衡网络能耗。     

基于动态预测和任务流整形的网格调度算法

针对网格环境下计算节点的自治性、异构性、分布性等特征,提出一种基于任务响应时间的动态修正预测和任务流整形的网格调度算法,该调度方法依据历史数据和最近访问过计算节点的任务请求提交时间、任务完成时间、网络通信延迟等信息,预测计算节点的将来任务响应时间,将任务提交给预测的轻负载或性能较优的计算节点完成。通过使用动态修正算法和任务流整形算法降低预测误差,提高资源利用率。实验结果表明,该方法在任务响应时间、任务的吞吐率等方面优于随机调度等传统算法,具有较好的综合性能。     

物联网环境下具有顺序约束关系的静态任务表调度算法

针对物联网异构调度环境下并行计算的静态任务调度问题,提出了一种基于最早完成时间策略改变调度顺序的表调度算法HDPTS。该算法针对现有表调度算法在调度前不能准确地确定调度顺序的问题,在IHEFT算法的基础上添加了一个动态优先级调度策略,当节点的前驱任务都已经完成调度任务时,就改变该节点的调度优先级。任务优先级的计算在所有前驱任务到达这个任务的最晚完成时间与所有资源上最大可以使用时间之间取最大值的基础上,同时考虑到分配到各个资源上的任务对后继任务的影响和资源上的负载情况,以及上行权重的计算值和对出口任务的影响,使得优先级计算更加合理,能够根据任务分配动态合理改变任务调度顺序。通过随机生成一个算例进行测试,结果表明HDPTS比IHEFT、HEFT在调度长度方面减少14.29%;对大量随机产生的特定结构的有向无环图(DAG)进行测试,测试结果显示HDPTS算法比IHEFT、HEFT和LDCP算法更有效。     

智能建筑室内环境分布式可计算WSN任务调度研究

针对智能建筑室内环境下并行计算的动态任务调度问题,构建了基于分布式CPS思想的无线传感器网络(WSN)模型,并分别设计了基于可计算复杂性的任务分配策略和基于动态调度算法的任务调度策略。通过先将任务分配成若干个子任务,采用多带图灵机输入任务,由合适的计算节点进行计算,形成有向无环图,再按调度优先级排列任务,形成任务调度序列表,依序处理任务,从而达到了将任务分配、调度和执行相结合的目的。实验结果表明该策略可有效减少智能建筑室内环境分布式可计算WSN分布运行时任务之间的通讯时间和等待时间,同时提高了任务调度的成功率,最终优化系统的运行效率。     

移动边缘计算不确定性任务持续卸载及资源分配方法

移动边缘计算场景中任务的不确定性增加了任务卸载及资源分配的复杂性和难度.鉴于此,提出一种移动边缘计算不确定性任务持续卸载及资源分配方法.首先,构建一种移动边缘计算不确定性任务持续卸载模型,通过基于持续时间片划分的任务多批次处理技术应对任务的不确定性,并设计多设备计算资源协同机制提升对计算密集型任务的承载能力.其次,提出一种基于负载均衡的自适应策略选择算法,避免计算资源过度分配导致信道拥堵进而产生额外能耗.最后,基于泊松分布实现了对不确定任务场景模型的仿真,大量实验结果表明时间片长度减小能够降低系统总能耗.此外,所提算法能够更有效地实现任务卸载及资源分配,相较于对比算法,最大可降低能耗11.8%.     

用可分负载理论分析无线传感器网络任务调度

针对无线传感器网络的任务如何在最短时间内完成且充分利用网络资源的问题,提出了一种基于可分负载理论的无线传感器网络任务调度算法（WDTA）.该算法根据网络中各个节点的处理能力和节点间的通信能力,将总任务从SINK节点下发至网络中.通过去除节点间的通信干扰来提高资源利用率和减少总任务完成时间.算法在两种分群结构的异构网络环境下进行了分析,得到了在各个节点上最合理的任务分配方案,以及最短的任务完成所需时间.理论分析了基于可分负载理论的无线传感器网络任务调度的极限情况.实验结果表明WDTA算法能够通过合理分配任务,而减少任务完成时间及节点能耗.该方案可以作为设计大规模无线传感器网络的原则.     

异构Beowulf系统负载均衡技术的研究与实现

负载均衡技术是并行计算系统的关键技术之一,其主要思想是将计算任务合理分配到各节点,以避免由于某个节点的计算速度慢而导致的整个系统的性能瓶颈。为了使系统达到更优的结果,提出了一种基于MPICH的负载均衡模型,构建了一个异构Beawulf并行计算系统,并且用一个适合异构环境的矩阵分块相乘算法进行了性能测试。实验结果表明,此算法比使用传统的矩阵相乘算法执行效率更高。从而证明了系统能够把计算任务高效合理地分配到各个节点。