基于异构Flink集群的节点优先级调度策略

Flink流处理系统默认的任务调度策略在一定程度上忽略了集群异构和节点可用资源,导致集群整体负载不均衡。研究分布式节点的实时性能和集群作业环境,根据实际作业环境的异构分布情况,设计结合异构Flink集群的节点优先级调整方法,以基于Ganglia可扩展分布式集群资源监控系统的集群信息为依据,动态调整适应当前作业环境的节点优先级指数。基于此提出Flink节点动态自适应调度策略,通过实时监测节点的异构状况,并在任务执行过程中根据实时作业环境更新节点优先级指数,为系统任务找到最佳的执行节点完成任务分配。实验结果表明,相比于Flink默认的任务调度策略,基于节点优先级调整方法的自适应调度策略在WorldCount基准测试中的运行时间约平均减少6%,可使异构Flink集群在保持集群低延迟的同时,节点资源利用率和任务执行效率更高。     

基于节点能力的Hadoop集群任务自适应调度方法

针对当前Hadoop集群固有的任务级调度分配方法在运行中存在的负载分布不均的现象,着重对集群节点的执行能力进行了分析与研究.提出了一种基于节点能力的任务自适应调度分配方法.该方法根据节点历史和当前的负载状态,以节点性能、任务特征、节点失效率等作为节点任务量调度分配的依据,并使各节点能自适应地对运行的任务量进行调整.实验结果表明集群的总任务完成时间明显地缩减,各节点的负载更加均衡,节点资源的利用更为合理.     

异构Hadoop集群下的负载自适应反馈调度策略

随着基于Hadoop平台的大数据技术的不断发展和实践的深入,Hadoop YARN资源调度策略在异构集群中的不适用性越发明显。一方面,节点资源无法动态分配,导致优势节点的计算资源浪费、系统性能没有充分发挥;另一方面,现有的静态资源分配策略未考虑作业在不同执行阶段的差异,易产生大量资源碎片。基于以上问题,提出了一种负载自适应调度策略。监控集群执行节点和提交作业的性能信息,利用实时监控数据建模、量化节点的综合计算能力,结合节点和作业的性能信息在调度器上启动基于相似度评估的动态资源调度方案。优化后的系统能够有效识别集群节点的执行能力差异,并根据作业任务的实时需求进行细粒度的动态资源调度,在完善YARN现有调度语义的同时,可作为子级资源调度方案架构在上层调度器下。在Hadoop 2.0上实现并测试该策略,实验结果表明,作业的自适应资源调度策略显著提高了资源利用率,集群并发度提高了2到3倍,时间性能提升了近10%。     

Web集群中的动态请求的分类调度策略

现有的请求调度策略应用于动态请求时容易导致集群节点间的负载失衡.针对动态请求,提出了基于分类的请求调度策略,根据URL模式对动态请求分类,同一类的请求具有相同的负载特性,然后用比较简单的轮转策略对各类请求进行调度,因而可以在不估计请求负载的情况下,很好地将负载均衡到了后端节点上.测试结果表明,使用该策略后,集群系统的吞吐量可以提高51.9%.     

基于Docker swarm集群的动态加权调度策略

针对目前的Docker swarm内置的调度策略无法很好地实现Docker集群的负载均衡并且对集群资源的使用率不高的问题,提出了一种动态加权调度算法。所提算法对资源设置权重系数,引入参数bias针对不同服务对资源权重进行动态调整,根据各个节点的实际资源利用情况,对节点资源按照权重进行加权计算,用权值反映节点负载,并将此作为调度依据。在和Docker原始调度策略以及无参数调整的加权调度策略的对比实验中,该算法使得集群中各个节点上的各项资源利用率更加均衡;同时,在集群负载比较高的情况下,该算法实现了更快的服务运行速度。     

基于LT-backfilling算法的集群作业调度系统

在胖节点集群系统中，目前的reservations, backfilling等主流调度算法未能充分考虑单节点过载情况。该文在传统backfilling算法基础上，充分考虑节点当前负载，将预约、回填策略相结合，提出了一种新的LT-backfilling调度算法。设计了基于XML业务流程模板的二层作业调度系统，用户不仅可以提交单个作业，而且可以提交一组具有数据相关性的作业流，使得作业调度系统更加实用化。 LT-backfilling；负载均衡；作业调度；XML；作业流     

基于蚁群优化算法的MapReduce集群调度策略

在云计算环境中,MapReduce集群已成为强大的大规模数据集处理平台。针对其在任务调度过程中存在用户QoS、集群资源利用率等方面的缺陷,提出了一种基于蚁群优化算法的调度策略(ACO-SS)。该调度策略同时考虑了优先级计算模型和任务调度过程,能有效地满足用户QoS,平衡集群节点负载,使分布在节点上的任务利用资源更加合理,提高了系统的调度性能。最后,通过CloudSim仿真实验表明,该调度策略在作业完成总体时间﹑资源利用率等重要指标上都具有明显优势。     

集群系统中实现软实时服务机制的研究与评估

研究了集群架构服务器的三种实时调度策略,即集中式策略、分布式策略和主动型全分布策略。与调度功能主要集中在前端机的集中式策略比较,分布式策略将调度功能部分离散至后端节点,改善了系统的可扩展性。而主动型全分布式调度则进一步实现了调度分派功能的完全离散化,通过后端机的主动拉取事件和频率调控实现了负载平衡的自调节,极大地改善了系统的扩展性和服务效率。通过试验研究和试验表明,这三种都有效地降低了集群的响应服务请求的时间,还保证了系统的输出最大化。     

一种自适应的网络代理集群负载均衡策略

现有动态负载均衡策略难以有效应用于任务资源需求特征动态多变、资源需求信息难以准确获取的网络代理集群中,为解决该问题,提出一种适用于网络代理集群的自适应负载均衡策略。该策略的负载模型可以随任务资源需求特征的变化自适应地调整,能够更准确地表征系统的负载状态和节点问的负载差异。实验结果表明,使用该自适应负载均衡策略的网络代理集群的平均响应时间比其他负载均衡策略低15％～20％。     

一种自适应的网络代理集群负载均衡策略

现有动态负载均衡策略难以有效应用于任务资源需求特征动态多变、资源需求信息难以准确获取的网络代理集群中,为解决该问题,提出一种适用于网络代理集群的自适应负载均衡策略。该策略的负载模型可以随任务资源需求特征的变化自适应地调整,能够更准确地表征系统的负载状态和节点间的负载差异。实验结果表明,使用该自适应负载均衡策略的网络代理集群的平均响应时间比其他负载均衡策略低15%~20%。     

基于剩余计算能力的动态负载均衡系统

基于剩余计算能力的动态负载均衡系统是一种基于新型负载向量的动态负载均衡系统。该系统使用一种新的负载评价指标：剩余计算能力,它兼顾节点的资源使用情况及节点本身的性能特征两个方面,更好地体现了集群系统的处理能力和系统正在处理的负载情况,比常用的其它负载向量更加灵活、准确。系统还将任务调度和进程迁移结合起来,以达到更有效的系统负载均衡,同时,也减小系统负载均衡带来的额外开销。     

Multiple query scheduling for distributed semantic caches

In distributed query processing systems, load balancing plays an important role in maximizing system throughput. When queries can leverage cached intermediate results, improving the cache hit ratio becomes as important as load balancing in query scheduling, especially when dealing with computationally expensive queries. The scheduling policies must be designed to take into consideration the dynamic contents of the distributed caching infrastructure. In this paper, we propose and discuss several distributed query scheduling policies that directly consider the available cache contents by employing distributed multidimensional indexing structures and an exponential moving average approach to predicting cache contents. These approaches are shown to produce better query plans and faster query response times than traditional scheduling policies that do not predict dynamic contents in distributed caches. We experimentally demonstrate the utility of the scheduling policies using MQO, which is a distributed, Grid-enabled, multiple query processing middleware system we developed to optimize query processing for data analysis and visualization applications.     

分布式数据库系统的动态负载平衡策略及算法设计

随着网络中数据库应用的发展，使得分布式数据库系统的负载平衡问题突显出来。目前大多数分布式数据库管理系统没有负责平衡功能，其负载平衡依赖于操作系统的负载平衡机制来解决，这样带来的问题是系统负载的评价粒度细小和负载转移的开销增加。讨论了动态负载平衡策略的要素，针对分布式数据库系统的负载平衡问题，提出了以事务队列长度作为负载评价标准，并给出了一个动态负载平衡策略及算法。     

A Dynamic Load Balancing Mechanism for Distributed Systems

It is desirable in a distributed system to have the system load balanced evenly among the nodes so that the mean job response time is minimized.In this paper,we present a dynamic load balancing mechanism(DLB).It adopts a cntralized approach and is network topology independent.The DLB mechanism employs a set of threscholds which are automatically adjusted as the system load changes.It also provides a simple mechanism for the system to switch between periodic and instantaneous load balancing policies with ease.The performance of the proposed algorithm is evaluated by intensive simulations for various parameters.Te simulation results show that the mean job response time in a system implementing DLB algorithm is significantly lower than the same system without load balancings.Furthermore,compared with a previously proposed algorithm,DLB algorithm demonstrates improved performance,especially when the system is heavily loaded and the load is unevenly distributed.     

一种支持分布式进程迁移的动态负载平衡征募算法的研究

负载平衡是分布式系统必须考虑的问题,本文介绍的征募算法独立于网络拓扑结构,其思想可以应用到分布式系统中,征募算法的设计思想向传统负载平衡算法提出了挑战,它不但克服了投标算法的缺点,而且在减小通讯开销和提高处理机利用率两方面作了很多努力,使其成为一种高效的分布式进程迁移和动态负载平衡策略。我们在分布式ＵＮＩＸ系统上实现并验证了征募算法的高效性。     

Towards a hybrid load balancing policy in grid computing system

Grid computing has become conventional in distributed systems due to technological advancements and network popularity. Grid computing facilitates distributed applications by integrating available idle network computing resources into formidable computing power. As a result, by using efficient integration and sharing of resources, this enables abundant computing resources to solve complicated problems that a single machine cannot manage. However, grid computing mines resources from accessible idle nodes and node accessibility varies with time. A node that is currently idle, may become occupied within a second of time and then be unavailable to provide resources. Accordingly, node selection must provide effective and sufficient resources over a long period to allow load assignment. This study proposes a hybrid load balancing policy to integrate static and dynamic load balancing technologies. Essentially, a static load balancing policy is applied to select effective and suitable node sets. This will lower the unbalanced load probability caused by assigning tasks to ineffective nodes. When a node reveals the possible inability to continue providing resources, the dynamic load balancing policy will determine whether the node in question is ineffective to provide load assignment. The system will then obtain a new replacement node within a short time, to maintain system execution performance.     

一种多集群网格的负载均衡算法

网格环境由于其可扩展性、异构性以及大量的传输延迟,使得网格环境下的负载均衡不同于传统的分布式系统。提出了一种动态的分布式负载均衡算法,该算法综合考虑网格站点的处理能力和站点之间的传输延迟,采用即时分配策略来降低作业的执行成本,目标是使系统平均作业响应时间最小化。仿真结果显示该算法显著减少了作业的平均响应时间。     

分布式动态负载平衡调度的一个通用模型

在大规模并行分布处理系统，特别是网络工作站机群（ＮＯＷ）系统中，各结点机之间的负载平衡调度是最为常见的关键性问题之一．本文在简单分析了动态负载平衡调度中接收者驱动和发送者驱动这两个常用策略基础上，提出了一个通用的基于混合驱动策略的动态负载平衡调度模型，并给出了曙光１０００并行机上的部分实验结果.     

动态负载均衡策略及相关模型研究

为了提高分布式计算机环境中负载均衡的效率,提出一种基于启动者动态改变和阈值自适应的高效动态负载均衡策略。该策略根据分布式环境中各计算机的负载状态以及接受者启动策略和发送者启动策略的优缺点,动态改变负载阈值和启动者策略。研究了四个关键问题,即负载的分配、负载探测、负载状态的定义以及均衡策略,给出适合该策略的问题解决办法和结构模型。理论分析和实验结果表明,该策略能够有效地均衡负载,减小系统内部通信量,同时能够有效地抑制系统负载抖动。     

基于GNP算法的分布式爬虫调度策略*

针对分布式搜索引擎的任务调度及负载均衡问题,提出了基于GNP算法的分布式爬虫调度策略和负载均衡的方法。利用网络距离预估取代大规模的网络距离测量,不仅提高了系统的响应速度,还减少了系统对广域网造成的压力。通过在广域网上部署爬虫节点,构建分布式搜索引擎,应用该调度策略进行实验,验证了系统性能有较大提高。