面向容器环境的Flink的任务调度优化研究

随着互联网技术的飞速发展,人类正在走向大数据时代与云计算时代.Flink作为最新一代的大数据计算引擎,具有低延迟、高吞吐等优势,受到学术界与工业界的青睐.Flink在云环境下部署时,其默认任务调度由于无法获取容器部署分布信息,会导致负载分配不均衡.针对这一问题,提出一种面向容器环境的Flink任务调度算法FSACE,获...     

面向云环境的Flink负载均衡策略

作为新一代的大数据计算引擎,Flink得到了广泛应用。Flink在云环境下进行容器化部署时,其默认任务调度算法不能感知节点的资源信息,导致即时调整负载和自主均衡能力较差,而主流的容器编排工具虽然提供了管理容器的可能性,却也未能结合Flink特点解决平衡资源利用的同时降低容器组内的通信开销问题。针对以上问题开展研究,提出了一种面向云环境的Flink负载均衡策略FLBS,综合考虑了Flink集群中算子的分布特点和容器间通信机制,以节点间通信开销和均衡负载作为评估标准。实验结果表明,与Flink默认调度策略相比,FLBS能够有效提高计算效率,提升系统性能。     

均衡负载实时反馈算法的实现

随着网络越来越广泛的普及,很多网络服务都无法承受访问次数的爆炸式增长,不能及时处理来自用户的请求而降低了服务质量.针对这种情况,作者考虑到请求的服务时间变化很大的实际情况,给出了一个均衡负载实时反馈算法.结合负载处理器中的加权连接调度算法,根据动态反馈回来的负载信息来调整服务器的权值,从而实现了服务器集群的高可用性及自我管理.     

基于优先级的任务调度与负载均衡模型研究

在分布式计算环境下，为了有效地利用计算资源、快速完成协同计算任务，提出了基于优先级的任务调度与负载均衡模型．首先根据就绪任务队列和任务调度器所处的位置以及两者之间的关系，将任务调度划分为集中式任务调度和非集中式任务调度两种方式，在此基础上，利用时间Petri网建模技术，分别给出了采用这两种任务调度方式的、基于优先级的任务调度与负载均衡模型，并对各种模型的特点进行了详细分析．以此模型为基础，可以利用现有的时间Petri分析技术，对采用上述任务调度方式的任务调度算法进行模拟和分析，以便找出满足给定条件的最优的任务调度算法．     

一种负载均衡的网格任务调度算法

在分析网格计算中经典的Min-Min和Max-Min任务调度算法的基础上,针对Min-Min算法存在的负栽不均衡的缺陷,本文提出了一种负载均衡的网格任务调度算法LBGTSA,以有效地均衡负载;给出了LBGTSA算法的设计原理和实现过程,而且采用GridSim模拟工具对LBGTSA和Min-Min算法进行了模拟实验,实验结果分析表明,LB（汀SA比Min-Min能获得更小的Makespan,而且能有效地均衡负载。     

基于负载均衡的云计算任务调度算法的研究

本文针对当前云计算系统负载不均衡和任务完成效率有待提高的问题,提出了一种基于系统整体负载均衡与最小完成时间LB—ECT算法。根据云计算环境下资源需求动态变化,利用任务在虚拟机上执行时间的预测进行任务到虚拟机上的分配、调度。优化系统的整体效率。采用云计算仿真平台CloudSim对本算法进行仿真实验与分析,实验仿真结果表明,LB—ECT算法能够有效提高系统的整体负载均衡能力．明显缩短任务的总完成时间．     

基于公平性和负载均衡的云计算任务调度算法

任务调度是云计算的关键技术之一,其主要目标是能更有效地满足系统资源和任务的公平性,同时尽可能实现系统资源的负载均衡。结合遗传算法的优点,提出一种公平均衡遗传调度算法FBGSA(Fair Balanced Genetic Scheduling Algorithm)。该算法充分考虑到任务调度过程中资源和任务的公平性问题,以及资源的负载均衡等因素。实验结果显示该算法不仅可以有效减少任务总完成时间,而且可以满足系统资源和任务的公平性,有效实现资源负载均衡。     

基于时间负载均衡蚁群算法的云任务调度优化

针对云渲染系统中渲染节点与任务不匹配调度而带来的时间负载不均衡和耗时长的问题,提出一种基于时间负载均衡的任务调度方式来优化系统耗时的策略.该算法采用Min-min与Max-min相结合的思想,建立时间负载均衡模型进行前期迭代,将迭代结果作为蚁群算法的初始序列,并按照适应度规则计算出相应的初始信息素,同时通过单一变量法确定合理的参数,蚁群算法采用已有的初始资源和参数值进行后期迭代,根据标准量度自定义函数进行高效寻优,进而求得最终的任务调度序列.仿真结果表明,本策略既具有较高的搜索效率和较强的全局寻优能力,又能有效降低任务完成时间,且在时间负载均衡和寻优速度方面均显著优于蚁群算法和蚁群退火算法.     

基于负载感知的数据流动态负载均衡策略

针对大数据流式计算平台中存在节点间负载不均衡、节点性能评估不全面的问题,提出基于负载感知算法的动态负载均衡策略,并将算法应用于Flink数据流计算平台中。首先通过有向无环图的深度优先搜索算法获取节点的计算延迟时间作为评估节点性能的依据,并制定负载均衡策略;然后基于数据分块管理策略实现流式数据的节点间负载迁移技术,通过反馈实现全局和局部的负载调优;最后通过实验评估时空代价论证算法的可行性,并讨论重要参数对算法执行效果的影响。经实验验证算法通过优化流式计算任务的负载分配提高了任务的执行效率,与采用Flink平台现有的负载均衡策略相比,任务执行时间平均缩短6.51%。     

异构云中面向集群负载均衡的任务调度策略

负载均衡是提高资源利用率和系统稳定性的重要手段。基于改进的自适应变异粒子群算法,提出了一种异构环境下面向集群负载均衡的任务调度策略。在调度策略的设计中,融入了经济学“二八”定律,通过把握用户对集群节点安全性和可靠性的偏好程度并预估任务的负载信息,在保证系统负载尽量均衡的前提下,最小化任务执行时间的同时提高大客户满意度。仿真实验显示,改进的自适应变异粒子群算法比未改进的自适应变异粒子群算法和基本粒子群算法在收敛速度和跳出局部最优两个方面都有更好的表现。结果表明,改进的自适应变异粒子群算法在保证集群负载均衡的同时可以更好地提高云服务提供商的利润空间。     

网格环境下资源负载均衡和优化调度研究

为了有效解决网格环境下资源的负载均衡问题,结合克隆算法,模拟退火算法和遗传算法的优点,提出了一种基于遗传模拟退火克隆算法的任务调度优化方法。仿真实验结果表明,该算法全局寻优能力强,能有效地实现资源的负载均衡,同时克服了遗传算法容易陷入局部最优的缺点,可以成功地应用于网格任务调度中。     

一种基于统计思想的网格负载平衡调度算法

针对层次化网格模型结构,运用统计思想提出了一种新的资源分配与任务调度算法,不仅能够提高资源的利用率和系统的吞吐率,而且能够实现网格系统内部的负载平衡。算法主要包含三个功能模块,即负载跟踪模块、作业分配模块和负载监视模块。在解释了方案中各功能部件的作用及其相互之间关系的基础上,给出了相应的算法伪码。仿真实验表明,该算法是有效的。     

Resource scheduling algorithm with load balancing for cloud service provisioning

Cloud computing uses scheduling and load balancing for virtualized file sharing in cloud infrastructure. These two have to be performed in an optimized manner in cloud computing environment to achieve optimal file sharing. Recently, Scalable traffic management has been developed in cloud data centers for traffic load balancing and quality of service provisioning. However, latency reducing during multidimensional resource allocation still remains a challenge. Hence, there necessitates efficient resource scheduling for ensuring load optimization in cloud. The objective of this work is to introduce an integrated resource scheduling and load balancing algorithm for efficient cloud service provisioning. The method constructs a Fuzzy-based Multidimensional Resource Scheduling model to obtain resource scheduling efficiency in cloud infrastructure. Increasing utilization of Virtual Machines through effective and fair load balancing is then achieved by dynamically selecting a request from a class using Multidimensional Queuing Load Optimization algorithm. A load balancing algorithm is then implemented to avoid underutilization and overutilization of resources, improving latency time for each class of request. Simulations were conducted to evaluate the effectiveness using Cloudsim simulator in cloud data centers and results shows that the proposed method achieves better performance in terms of average success rate, resource scheduling efficiency and response time. Simulation analysis shows that the method improves the resource scheduling efficiency by 7% and also reduces the response time by 35.5 % when compared to the state-of-the-art works.     

可信禁忌粒子群优化网格任务调度算法

网格任务调度是典型的NP（Non-Polynomial）难题,基于粒子群优化智能算法,提出一种新的任务调度算法,目标是使所有任务整体完成时间最小。算法首先随机产生一群粒子,然后对粒子的位置和速度不断迭代,获得可以接受的任务调度方案,并从中选择一组信任度最高的作为较优解,再利用禁忌搜索算法由较优解获得最优解。仿真实验结果表明,与遗传算法相比更适合于求解规模较大的网格任务调度问题。     

基于粒子群优化算法的多核处理器任务调度研究

针对多核处理器在调度多个任务时效率不高的问题,提出了一种基于粒子群优化算法的嵌入式多核多线程系统任务调度算法,用来找寻任务调度过程中的最优解,以求取任务的最短完成时间。在算法中通过针对多核多线程任务模型而选择粒子群算法的适应度函数,综合利用局部最优极值和全局最优极值的优势,优化了粒子群算法中存在的过早收敛问题,使算法具有较高的收敛效率。实验结果表明,与基于遗传算法的多核多线程任务调度算法相比,该算法能更快的找到最优解。     

粒子群算法在分布式ETL任务调度中的应用

随着分布式数据环境越来越复杂,ETL工具要面临数据源多、分布地域广和海量数据等因素带来的挑战。原有的集中式ETL工作流优化理论不能满足现在复杂数据环境的要求。介绍了如何将基于置换的离散型粒子群算法应用到分布式ETL任务优化调度问题上,主要工作围绕ETL工作调度模型、算法编码设计、目标函数选择等内容来展开,给出了分布式ETL工作调度策略的实现过程和伪代码。理论分析和实验证明了实际应用的有效可行性。     

设备网格中的任务调度算法

基于设备网格环境中仪器设备的利用率和提交任务的QoS需求来考虑,结合任务调度算法Min-min,提出了一种设备网格中的Qos-Balance任务调度算法.该算法既保证了负载均衡性和又可满足提交任务的QoS需求.实验结果表明,该算法是一种可行的设备网格任务调度算法.最后介绍了算法实验的结果分析.     

协同任务调度构架模型及关键算法研究

为提高协同工作平台服务系统的协同任务调度的柔性及系统的平台伸缩性,需要从调度过程,软件结构和调度算法等方面进行研究.首先提出协同任务调度软件构架模型,采用多种软件优化方法对构架模型进行优化.然后提出驱动协 同任务调度的过程元模型.最后,研究协同任务调度中的成员指派过程的关键算法,给出算法的形式化描述,并对算法效果进行验证.该软件构架和算法在实际应用中取得良好效果.     

Coalition theory based task scheduling algorithm using DLFC-NN model

Resource management and job scheduling are essential in today's cloud computing world. Due to task scheduling and users' diverse submission of large-scale requests, co-located VM instances negatively impacted the performance of leased VM instances. This workload further led to resource rivalry across co-located VMs. In order to address the aforementioned problems, numerous strategies have been presented, however, they fail to take the asynchronous nature of the cloud environment into account. To address this issue, a novel “CTA using DLFC-NN model” is proposed. This proposed approach combines the coalition theory and DLFC-NN techniques by including IRT-OPTICS for task size clustering, digital metrology based on ionized information (DMBII) for defect detection in virtue machines (VM), and the dynamic levy flight hamster optimization algorithm for processing time optimization of the clusters. However, the implementation of task scheduling in an online environment is limited by a number of presumptions or oversimplifications made by current scheduling systems. As a result, a unique coalition theory is applied to efficiently schedule activities. In addition, the DLFC-NN model is used to reduce resource consumption, span time, and be highly accurate and energy-efficient when working on both online and offline jobs. Nevertheless, while optimizing the clusters' overall execution time, earlier approaches only decreased the make-span time for task scheduling. However, the DLFC-NN model solves the computation problem by using a fully weighted bipartite graph and the pseudo method to determine the fitness of the least makespan time. The enhanced methodology used in this study reduces the scheduling cost and minimizes job completion times according to different task counts when compared to the existing techniques.     

一个调度Out-Tree任务图的启发式算法

任务调度问题是并行分布式计算中的挑战性问题之一。大多数实际的调度算法是启发式的因而常常具有改进的余地。针对Out-Tree任务图这一基本结构提出一个基于任务复制的启发式调度算法,该算法在确保最短调度长度的同时,注重处理器的负载平衡,以达到节约处理器的目的。比较性实验的结果表明,该算法确保了最短调度长度且使用的处理器最少。因而,该算法提高了系统的利用率,避免消耗过多的资源,实际应用性更好。