树型网格计算环境下的独立任务调度

任务调度是实现高性能网格计算的一个基本问题,然而,设计和实现高效的调度算法是非常具有挑战性的.讨论了在网格资源计算能力和网络通信速度异构的树型计算网格环境下,独立任务的调度问题.与实现最小化任务总的执行时间不同(该问题已被证明是NP难题),为该任务调度问题建立了整数线性规划模型,并从该线性规划模型中得到最优任务分配方案??各计算节点最优任务分配数.然后,基于最优任务分配方案,构造了两种动态的需求驱动的任务分配启发式算法:OPCHATA(optimization-based priority-computation heuristic algorithm for task allocation)和OPBHATA(optimization-basedpriority-bandwidth heuristic algorithm for task allocation).实验结果表明:在异构的树型计算网格环境下实现大量独立任务调度时,该算法的性能明显优于其他算法.     

基于层次化的网格资源三层调度模型

在分析现有的资源调度方案及模型的基础上,提出了基于层次化的网格资源三层调度模型．它由主调度器、次级调度器和计算节点组成。主调度器根据任务的性质和需求,并参考下层次级调度器的执行情况,将部分任务分发到各次级调度器上,实现了主调度器与次级调度器之间的并行工作。基于该模型提出轮循任务分发策略。通过分析和模拟．该资源调度模型及任务分发策略在调度性能上明显优于集中式调度方案。     

基于层次化的网格资源三层调度模型

在分析现有的资源调度方案及模型的基础上,提出了基于层次化的网格资源三层调度模型,它由主调度器、次级调度器和计算节点组成.主凋度器根据任务的性质和需求,并参考下层次级调度器的执行情况,将部分任务分发到各次级调度器上,实现了主调度器与次级调度器之间的并行工作.基于该模型提出轮循任务分发策略.通过分析和模拟,该资源调度模型及任务分发策略在调度性能上明显优于集中式调度方案.     

基于云计算任务分配的供电资源快速响应与调度方法

为实现电网系统快速运维,提出基于云计算任务分配的供电资源快速响应与调度方法。从工商用户与居民用户角度划分需求响应资源种类,建立标准匈牙利算法下云计算任务分配模型,同时对模型做降阶处理,优化其运行效率、降低零位出现几率。综合考虑任务的有效价值与时间特性,确定快速响应的优先级。利用改进蜂群算法,衡量不同区域负载平衡度,选择最优调度任务节点与区域。结合响应顺序,通过任务分配模型对电力资源做动态分配,实现合理调度。仿真结果表明,该方法对重要任务的完成率高、响应速度最快,且能源消耗量最小。     

基于网格的远程优化下料系统研究

结合分析传统优化下料技术存在的问题,提出基于网格的远程优化下料方法,把优化下料算法资源定义为网格服务资源,分布在广域网的计算机中,并以网格服务节点的形式表现,通过对各网格服务节点的调度,并行完成优化下料任务,进行选优。构建了远程优化下料系统,给出了该系统的体系结构和工作原理,对网格服务节点的实现方法进行了研究;开发了原型系统,实验表明,在提高优化下料的总体优化性能方面,系统效果明显。     

计算网格中作业调度系统GridPBS的设计与实现

通过对目前流行的集群调度系统PBS进行封装和扩展,设计并实现了一个计算网格作业调度系统GridPBS。该系统可使PBS系统的应用拓展到整个计算网格环境,克服了现有PBS系统只能在单个集群节点上运行的局限性。根据计算网格中的集群资源运行情况对用户作业进行凋度分配,从而有效地整合和利用计算网格各节点的计算能力。     

基于任务-资源分配图优化选取的网格依赖任务调度

任务调度是网格应用系统获得高性能的关键.网格计算中一个大型的应用程序往往被分解为具有依赖关系的多个任务.在资源个体差异较大、广域互连的网格环境下任务间的依赖关系对传统的调度策略提出了新的挑战.任务调度的主要工作是为任务分配资源以及确定任务的执行次序,将依赖任务的可能的资源分配方案表示为任务-资源分配图（T-RAG）,在该图的基础上提出了基于T-RAG优化选取的依赖任务调度模型,将依赖任务调度问题转化为图的优化选取问题,解析最优任务-资源分配图可以同时确定资源分配方案和任务的执行次序即为最优调度方案.最后,实现了基于该模型的任务调度算法,该算法与ILHA算法的对比分析表明,在资源差异较大及任务间存在大量数据传输的情况下所提出的算法更优.     

一种基于节点博弈的分层式数据网格资源调度优化策略

传统数据网格调度算法容易陷入局部最优值和收敛速度过慢的问题。分析分层式数据网格的特点,对数据网格进行层次划分和节点角色二级划分。针对分层式网络调度模型,设计了一种基于节点博弈的分层式数据网格资源调度优化算法(CTDGRA算法)。该算法基于博弈论框架,将数据分布任务调度计划生成问题转变成静态数据任务与动态节点资源映射优化选取方案问题。兼顾数据任务间的依赖关系、节点域间的节点能力及节点的偏好行为,衡量各节点目标并获得全局最为有利或最为合理的方案的行为方案从而保证系统全局最优QOS。仿真实验表明,算法能激励普通节点贡献空闲能力的意愿,同时避免低性能节点成为资源获取的性能瓶颈,较好地提升系统的吞吐力。     

树型网格计算环境下的自适应任务调度算法

提出一种基于树型计算网格的自适应调度算法,实现对小粒度独立任务和用户大作业的自适应最优调度。通过对网格环境的实时检测,给出了基于节点负载状况、节点任务执行时间、任务传输时间和任务特性的自适应调度算法,即基于最优任务分配方案的启发式任务调度算法。通过实验与其他调度算法的比较,证明了所提出的任务调度算法在负载平衡和最优跨度方面具有明显的优越性。     

基于Kubernetes的AI调度引擎平台

文中介绍了基于Kubernetes的AI调度引擎平台的设计与实现, 针对当前人工智能调度系统中存在的服务配置复杂, 集群中各节点计算资源利用率不均衡以及系统运维成本高等问题, 本文提出了基于Kubernetes实现容器调度和服务管理的解决方案. 结合AI调度引擎平台的需求, 从功能实现和平台架构等方面设计该平台的各个模块. 同时, 针对Kubernetes无法感知GPU资源的问题, 引入device plugin收集集群中每个节点上的GPU信息并上报给调度器. 此外, 针对Kubernetes调度策略中优选算法只考虑节点本身的资源使用率和均衡度, 未考虑不同类型的应用对节点资源的需求差异, 提出了基于皮尔逊相关系数 (Pearson correlation coefficient, PCC)的优选算法, 通过计算容器资源需求量与节点资源使用率的互补度来决定Pod的调度, 从而保证调度完成后各节点的资源均衡性.     

A scheduling algorithm for applications in a cloud computing system with communication changes

This paper proposes a scheduling algorithm to solve the problem of task scheduling in a cloud computing system with time‐varying communication conditions. This algorithm converts the scheduling problem with communication changes into a directed acyclic graph (DAG) scheduling problem for existing fuzzy communication task nodes, that is, the scheduling problem for a communication‐change DAG (CC‐DAG). The CC‐DAG contains both computation task nodes and communication task nodes. First, this paper proposes a weighted time‐series network bandwidth model to solve the indefinite processing time (cost) problem for a fuzzy communication task node. This model can accurately predict the processing time of a fuzzy communication task node. Second, to address the scheduling order problem for the computation task nodes, a dynamic pre‐scheduling search strategy (DPSS) is proposed. This strategy computes the essential paths for the pre‐scheduling of the computation task nodes based on the actual computation costs (times) of the computation task nodes and the predicted processing costs (times) of the fuzzy communication task nodes during the scheduling process. The computation task node with the longest essential path is scheduled first because its completion time directly influences the completion time of the task graph. Finally, we demonstrate the proposed algorithm via simulation experiments. The experimental results show that the proposed DPSS produced remarkable performance improvement rate on the total execution time that ranges between 11.5% and 21.2%. In view of the experimental results, the proposed algorithm provides better quality scheduling solution that is suitable for scientific application task execution in the cloud computing environment than HEFT, PEFT, and CEFT algorithms.     

基于异构Flink集群的节点优先级调度策略

Flink流处理系统默认的任务调度策略在一定程度上忽略了集群异构和节点可用资源,导致集群整体负载不均衡。研究分布式节点的实时性能和集群作业环境,根据实际作业环境的异构分布情况,设计结合异构Flink集群的节点优先级调整方法,以基于Ganglia可扩展分布式集群资源监控系统的集群信息为依据,动态调整适应当前作业环境的节点优先级指数。基于此提出Flink节点动态自适应调度策略,通过实时监测节点的异构状况,并在任务执行过程中根据实时作业环境更新节点优先级指数,为系统任务找到最佳的执行节点完成任务分配。实验结果表明,相比于Flink默认的任务调度策略,基于节点优先级调整方法的自适应调度策略在WorldCount基准测试中的运行时间约平均减少6%,可使异构Flink集群在保持集群低延迟的同时,节点资源利用率和任务执行效率更高。     

单层树型网格下独立任务的周期性调度

提出单层树型网格下单位独立任务的周期性调度方法,单位独立任务是大小相等的独立任务.首先,为单层树型网格下的单位独立任务调度建立线性规划模型,通过分析整数线性规划求解过程,发现一个单层树型网格平台在节点构成不同时,分别具有非饱和态、临界态或冗余态特征;并且,随着网格节点上任务数的增多,线性规划最优解呈线性增长,任务调度具有周期性特性.据此给出非饱和态、临界态或冗余态网格的定义、性质和判定方法,推导出单位独立任务调度的周期长度.最后,分析了周期性调度的时间复杂性,提出一种周期性调度算法Periodic-Sched.实验结果表明,周期性调度是有效的.单位独立任务的周期性调度将大规模的任务调度问题简化为一个周期内的任务调度,降低了调度问题的复杂度.该调度方法适用于对Hadoop平台的Map任务进行调度.     

Utility-based QoS optimisation strategy for multi-criteria scheduling on the grid

The paper presents quality of service (QoS) optimisation strategy for multi-criteria scheduling on the grid, based on a mathematical QoS model and a distributed iterative algorithm. Three QoS criteria are considered, namely payment, deadline and reliability, which are formulated as utility function. The optimisation problem is split into two parts: task optimisation performed on behalf of the user and resource optimisation performed on behalf of the grid. The strategy employs three types of agents: task agents responsible for task optimisation, computation resource and network resource agents responsible for resource optimisation. The agents apply economic models for optimisation purposes. Dynamic programming is used to optimise the total system utility function in terms of an iterative algorithm. The objective of multi-criteria scheduling is to maximise the global utility of the system. This paper proposes an iterative scheduling algorithm that is used to perform QoS optimisation-based multi-criteria scheduling. The proposed QoS optimisation-based multi-criteria scheduling problem solution has been practically examined by simulation experiments.     

新型分布式计算系统中的异构任务调度框架

随着大数据和机器学习的火热发展,面向机器学习的分布式大数据计算引擎随之兴起.这些系统既可以支持批量的分布式学习,也可以支持流式的增量学习和验证,具有低延迟、高性能的特点.然而,当前的一些主流系统采用了随机的任务调度策略,忽略了节点的性能差异,因此容易导致负载不均和性能下降.同时,对于某些任务,如果资源要求不满足,则会导...     

基于蚂蚁算法的网格任务调度研究

在多目标的任务条件下,网格任务调度不仅要完成多目标的优化工作,还要提升蚂蚁算法的资源利用率。基于蚂蚁算法的网格任务调度,属于集群计算机处理系统,其中每个数据库分布节点都有着较高的独立性。本文主要对基于蚂蚁算法的网格任务调度进行研究,通过分析蚂蚁算法的改进策略,得出蚂蚁算法的网格任务调度的有效性与仿真结果。     

Kubernetes异构资源细粒度调度策略的设计与实现

在异构资源环境中高效利用计算资源是提升任务效率和集群利用率的关键。Kuberentes作为容器编排领域的首选方案,在异构资源调度场景下调度器缺少GPU细粒度信息无法满足用户自定义需求,并且CPU/GPU节点混合部署下调度器无法感知异构资源从而导致资源竞争。综合考虑异构资源在节点上的分布及其硬件状态,提出一种基于Kubernetes的CPU/GPU异构资源细粒度调度策略。利用设备插件机制收集每个节点上GPU的详细信息,并将GPU资源指标提交给调度算法。在原有CPU和内存过滤算法的基础上,增加自定义GPU信息的过滤,从而筛选出符合用户细粒度需求的节点。针对CPU/GPU节点混合部署的情况,改进调度器的打分算法,动态感知应用类型,对CPU和GPU应用分别采用负载均衡算法和最小最合适算法,保证异构资源调度策略对不同类型应用的正确调度,并且在CPU资源不足的情况下充分利用GPU节点的碎片资源。通过对GPU细粒度调度和CPU/GPU节点混合部署情况下的调度效果进行实验验证,结果表明该策略能够有效进行GPU调度并且避免资源竞争。     

一种基于QoS的自适应网格失效检测器

失效检测器是构建可靠的网格计算环境所必需的基础组件之一.由于网格中存在大量对失效检测有着不同QoS需求的分布式应用,对于一个网格失效检测器来说,为保持其有效性和可扩展性,应该既能够准确提供应用程序所需的失效检测QoS,又能够避免为满足不同QoS而设计多套失效检测器所产生的多余负载.基于QoS基本评价指标,采用PULL模式主动检测策略实现了一种新的失效检测器--GA-FD(adaptive failure detector for grid),可以同时支持多个应用程序定量描述的QoS需求,不需要关于消息行为和时钟同步的任何假设.同时,证明了GA-FD在部分同步模型下可实现一个◇P类的失效检测器,并给出了相应的实验及数据.