一种基于人工免疫的新的网格资源调度算法

由于广域网性能的巨大提高和功能强大且价格低廉的计算机不断增多,网格计算以一种极具有前途和吸引力的新范式出现。网格计算是集成地理位置分布,异构,多领域资源的一种平台,它提供透明、安全、同等、高性能资源共享。要获取计算网格中潜在的能量,设计一种有效和高效的网格资源调度算法很重要。网格独特的特点使得网格环境下的资源调度是相当复杂的。本文将重点设计一种新的基于免疫算法的网格资源调度算法。     

Hypergraph-partitioning-based online joint scheduling of tasks and data

Recently, wide-area distributed computing environments have become popular owing to their huge resource capability. In a wide-area distributed computing environment, joint scheduling of tasks and data is the main strategy to improve system performance. However, the geographically distributed diverse resources exhibit high variations, making it challenging to design efficient joint scheduling of tasks and data. To accurately adapt to the dynamic variations of geographically distributed diverse resources and achieve a high system performance, this study proposes a hypergraph-partitioning-based online joint scheduling method. The proposed method constructs a hypergraph of geographically distributed tasks, data, and diverse resources to clearly describe the correlation among the three elements and quantitatively reflect the time cost of different process in the environment. The hypergraph is dynamically updated according to the generated scheduling scheme and the collected information to reflect the dynamic variations of resource states. Then, a hypergraph partition optimization mechanism is proposed to generate efficient joint scheduling schemes, thus reducing the overall completion time in the system. The experimental results indicate that compared with the state-of-the-art joint scheduling methods, the proposed method reduces the overall completion time by up to 25.67% and significantly reduces the task waiting time, although it makes a concession in the data migration time.

     

Enhanced Dynamic Hierarchical Replication and Weighted Scheduling Strategy in Data Grid

The Data Grid provides massive aggregated computing resources and distributed storage space to deal with data-intensive applications. Due to the limitation of available resources in the grid as well as production of large volumes of data, efficient use of the Grid resources becomes an important challenge. Data replication is a key optimization technique for reducing access latency and managing large data by storing data in a wise manner. Effective scheduling in the Grid can reduce the amount of data transferred among nodes by submitting a job to a node where most of the requested data files are available. In this paper two strategies are proposed, first a novel job scheduling strategy called Weighted Scheduling Strategy (WSS) that uses hierarchical scheduling to reduce the search time for an appropriate computing node. It considers the number of jobs waiting in a queue, the location of the required data for the job and the computing capacity of the sites Second, a dynamic data replication strategy, called Enhanced Dynamic Hierarchical Replication (EDHR) that improves file access time. This strategy is an enhanced version of the Dynamic Hierarchical Replication strategy. It uses an economic model for file deletion when there is not enough space for the replica. The economic model is based on the future value of a data file. Best replica placement plays an important role for obtaining maximum benefit from replication as well as reducing storage cost and mean job execution time. So, it is considered in this paper. The proposed strategies are implemented by OptorSim, the European Data Grid simulator. Experiment results show that the proposed strategies achieve better performance by minimizing the data access time and avoiding unnecessary replication.     

基于Storm平台的多任务分组调度策略与实现

随着大数据与人工智能技术的飞速发展,高性能,实时性的流式计算系统逐渐取代传统基于数据仓库的批量计算系统.Apache storm作为一款开源,高容错,实时处理的分布式大数据流式计算平台,支持任务平均分配策略,单机任务指定策略等多种任务分配方案.当任务拓扑结构中存在多个任务时,且集群中只有某些机器支持某一任务执行时,传统的任务调度方法只能实现将单一的任务分配给单一指定的机器,使得整个集群的资源没有充分的利用.通过调整任务调度策略,获得满足条件的机器队列,查看机器队列中可用工作节点,将指定任务均匀分配给可用工作节点,其他任务仍通过默认策略分配给集群中的剩余机器,实现多任务的分组调度策略.     

边缘环境下计算密集型任务调度研究综述

随着移动设备数量的急剧增长及计算密集型应用如人脸识别、车联网以及虚拟现实等的广泛使用,为了实现满足用户QoS请求的任务和协同资源的最优匹配,使用合理的计算密集型应用的任务调度方案,从而解决边缘云中心时延长、成本高、负载不均衡和资源利用率低等问题。阐述了边缘计算环境下计算密集型应用的任务调度框架、执行过程、应用场景及性能指标。从时间和成本、能耗和资源利用率以及负载均衡和吞吐量为优化目标的边缘计算环境下计算密集型应用的任务调度策略进行了对比和分析,并归纳出目前这些策略的优缺点及适用场景。通过分析5G环境下基于SDN的边缘计算架构,提出了基于SDN环境下的边缘计算密集型数据包任务调度策略、基于深度强化学习的计算密集型应用的任务调度策略和5G IoV网络中多目标跨层任务调度策略。从容错调度、动态微服务调度、人群感知调度以及安全和隐私等几个方面总结和归纳了目前边缘计算环境中任务调度所面临的挑战。     

一种基于综合匹配度的边缘计算系统任务调度方法

边缘计算模式满足数据的实时和低功耗处理需求,是缓解当前网络数据洪流实时处理问题的有效方法之一.但边缘设备资源的异构与多样性给任务的调度与迁移带来极大的困难与挑战.目前,边缘计算任务调度研究主要集中在调度算法的设计与仿真,这些算法和模型通常忽略了边缘设备的异构性和边缘任务的多样性,不能使多样化的边缘任务与异构的资源能力深...     

混合云环境中数据敏感工作流调度

混合云环境下调度包含敏感数据的工作流主要考虑在满足数据安全性以及工作流截止时间的前提下,对工作流任务在混合云上进行分配,实现计算资源与任务的映射,并优化调度费用。采用了整数规划来建模求解包含数据敏感性、截止时间和调度费用3种约束条件的混合云工作流调度问题,同时为优化模型求解速度,基于“帕雷托最优”原理对工作流任务在混合云上的分配方案进行筛选以减小模型求解规模。实验表明,优先排除不合理的任务分配方案可有效减小整数规划模型的求解规模,缩短模型计算时间,在产生较小误差的情况下获得较优的调度结果。     

云计算中基于遗传算法的数据布局策略

数据布局的合理性直接影响数据中心间的数据调度效率,进而提高对用户的数据采集效率。论文以数据中心之间数据调度为基础建立数学模型,利用分布式云计算技术处理用户的海量数据,并提供高性能计算资源和海量存储资源模式。在分布式云计算系统中,数据密集型计算可以有效处理数据中心之间的数据调度,通过遗传算法的全局优化能力产生最佳的近似解,并最终获得数据布局的最佳近似结果。实验结果表明,遗传算法可以有效地计算出最优数据布局的近似结果,并使数据中心之间的数据调度最小化。     

故障诊断网格任务调度模型的研究*

由远程协同故障诊断与网格技术的有机结合所形成的故障诊断网格,把广域分布的专家知识、检测设备、分析软件等定义为诊断资源,而诊断资源的组织和优化调度是系统有效运转的关键。从而提出了故障诊断网格中任务调度的体系结构,分析了故障信号分解、分配至诊断资源的工作流程,并通过Gridsim结合多种调度目标进行模拟仿真,验证了该任务调度模型的可实施性。     

基于云边协同的微电网自动控制系统

微电网及分布式能源的数量、规模快速发展,当前系统无法满足海量相关数据采集、存储、分析计算需求；为适应多微电网控制的高并发、高可靠性的处理要求,提出了基于云边协同的微电网自动控制系统；基于Docker容器技术优化配置云边计算资源；设计了基于云边协同的微电网自动控制系统总体架构,对云边协同功能及主要数据流进行了详细说明；进一步分析了其中微电网控制及能量管理等核心功能及其数据处理需求,提出了云边协同架构下的计算分析任务调度策略,基于带宽资源对迁移任务数据流进行调度,兼顾任务时限要求和服务器的负荷均衡；最后通过运行实例对提出的微电网自动控制系统功能及优越性进行有效性验证,所提系统通过架构、功能和任务调度策略满足了多微电网的控制要求。     

基于延迟敏感应用的边云协同方案

智能设备存在着存储能力以及计算能力不足的问题,导致无法满足计算密集型和延迟敏感型应用的服务质量要求。边缘计算和云计算被认为是解决智能设备局限性的有效方法。为了有效利用边云资源,并在延迟和服务失败概率方面提供良好的服务质量,首先提出了一种三层计算系统框架,然后考虑到边缘服务器的异构性和任务的延迟敏感性,在边缘层提出了一种高效的资源调度策略。三层计算系统框架可以根据应用程序的延迟敏感性提供计算资源和传输时延,保证了边缘资源的有效利用以及任务的实时性。仿真结果验证了所提资源调度策略的有效性,并表明该调度算法优于现有传统方法。     

Reputation-based dependable scheduling of workflow applications in Peer-to-Peer Grids

Grids facilitate creation of wide-area collaborative environment for sharing computing or storage resources and various applications. Inter-connecting distributed Grid sites through peer-to-peer routing and information dissemination structure (also known as Peer-to-Peer Grids) is essential to avoid the problems of scheduling efficiency bottleneck and single point of failure in the centralized or hierarchical scheduling approaches. On the other hand, uncertainty and unreliability are facts in distributed infrastructures such as Peer-to-Peer Grids, which are triggered by multiple factors including scale, dynamism, failures, and incomplete global knowledge.In this paper, a reputation-based Grid workflow scheduling technique is proposed to counter the effect of inherent unreliability and temporal characteristics of computing resources in large scale, decentralized Peer-to-Peer Grid environments. The proposed approach builds upon structured peer-to-peer indexing and networking techniques to create a scalable wide-area overlay of Grid sites for supporting dependable scheduling of applications. The scheduling algorithm considers reliability of a Grid resource as a statistical property, which is globally computed in the decentralized Grid overlay based on dynamic feedbacks or reputation scores assigned by individual service consumers mediated via Grid resource brokers. The proposed algorithm dynamically adapts to changing resource conditions and offers significant performance gains as compared to traditional approaches in the event of unsuccessful job execution or resource failure. The results evaluated through an extensive trace driven simulation show that our scheduling technique can reduce the makespan up to 50% and successfully isolate the failure-prone resources from the system.     

网格计算资源调度策略的三级模式

网格计算下对资源进行有效的管理和调度是一个很复杂的问题。该文结合已有的调度策略,提出了一种新的改进调度策略的三级模式,并给出算法。     

面向边缘设备的高能效深度学习任务调度策略

近年来,深度学习在图像和自然语言处理等诸多领域表现出色,与深度学习相关的各类移动应用发展迅速,但由于移动网络状态的不稳定性及网络带宽的限制,基于云计算的深度模型任务可能出现较大响应延迟,严重影响用户体验.与此同时,深度模型对设备的计算及存储能力有较高的要求,无法直接在资源受限的移动设备中进行部署.因此,亟须设计一种新的计算模式,使得基于深度模型的移动应用能够满足用户对快速响应、低能耗及高准确率的期望.本文提出一种面向边缘设备的深度模型分类任务调度策略,该策略通过协同移动设备与边缘服务器,充分利用智能移动终端的便捷性和边缘服务器强大的计算能力,综合考虑分类任务的复杂度和用户期望,完成深度模型在移动设备和边缘服务器中的动态部署,并对推理任务进行动态调度,从而提升任务执行效率,降低深度学习模型推理开销.本文以基于卷积神经网络的图像识别应用为例,实验结果表明,在移动环境中,相比于准确率最高的深度模型,本文提出的高能效调度策略的推理能耗可降低93.2%、推理时间降低91.6%,同时准确率提升3.88%.     

独立任务调度的启发式算法

任务调度是一个NP-hard问题,而且是并行与分布式计算中一个必不可少的组成部分,特别是在网格计算环境下任务调度更加复杂。该文提出了满足负载均衡的一个启发式任务调度算法。给出了选择处理机和任务的方法,以提高算法的效率。实验表明该算法是一个高效率的调度算法,并且几乎总是找到了最优调度方案。     

Kubernetes异构资源细粒度调度策略的设计与实现

在异构资源环境中高效利用计算资源是提升任务效率和集群利用率的关键。Kuberentes作为容器编排领域的首选方案,在异构资源调度场景下调度器缺少GPU细粒度信息无法满足用户自定义需求,并且CPU/GPU节点混合部署下调度器无法感知异构资源从而导致资源竞争。综合考虑异构资源在节点上的分布及其硬件状态,提出一种基于Kubernetes的CPU/GPU异构资源细粒度调度策略。利用设备插件机制收集每个节点上GPU的详细信息,并将GPU资源指标提交给调度算法。在原有CPU和内存过滤算法的基础上,增加自定义GPU信息的过滤,从而筛选出符合用户细粒度需求的节点。针对CPU/GPU节点混合部署的情况,改进调度器的打分算法,动态感知应用类型,对CPU和GPU应用分别采用负载均衡算法和最小最合适算法,保证异构资源调度策略对不同类型应用的正确调度,并且在CPU资源不足的情况下充分利用GPU节点的碎片资源。通过对GPU细粒度调度和CPU/GPU节点混合部署情况下的调度效果进行实验验证,结果表明该策略能够有效进行GPU调度并且避免资源竞争。     

基于Kriging代理模型的动态云任务调度方法

任务调度在云计算环境中发挥着重要作用。提出一种基于Kriging代理模型的动态云任务调度方法。通过对云任务在不同资源组合下的性能表现进行Kriging代理模型建模并优化,从而得到对应于该云任务的最优资源分配方案;利用云平台的API,可动态对该云任务实施资源调度。基于OpenStack开源云平台,对两个工程计算应用进行了任务调度性能测试,结果表明该方法可有效动态调整云任务中的资源配给,按需按优对平台中的云任务进行资源调度。     

计算网格中基于时间均衡的并行粗粒度任务调度算法

考虑网格资源异构、自治、动态等特性,讨论本地用户具有强占优先权情况下的任务调度问题,提出了TBBS(Time-Balancing Based Scheduling Algorithm)算法.建立调度优化模型,以期望完成时间最小为目标选择执行任务的最佳资源组合.以时间均衡策略将任务分解并调度到资源上执行,减少了子任务同步时因等待而产生的延时,获得较好的并行计算性能.采用重复调度策略,适应计算网格中资源的特性.     

基于自组织劳动分工的边云协同任务调度与资源缓存算法

针对边缘计算环境中,边缘设备的计算和存储资源有限的问题,探讨高效的边云协同任务调度和资源缓存策略,研究自组织劳动分工群智能算法模型机理,并以此为基础,提出基于蜂群劳动分工“激发-抑制”模型的边云协同任务调度算法(edge cloud collaborative task scheduling algorithm based on bee colony labor division‘activator-inhibitor’ model, ECCTS-BCLDAI)和基于蚁群劳动分工“刺激-响应”模型的边云协同资源缓存算法(edge cloud collaborative resource caching algorithm based on ant colony labor division ‘stimulus-response’ model,ECCRC-ACLDSR).仿真实验结果表明:所提出的ECCTS-BCLDAI任务调度算法在降低平均任务执行时长、减少边云协同费用上相较于传统算法有更好的表现;所提出的ECCRC-ACLDSR资源缓存算法在降低任务平均时长、优化网络带宽占用率、减少...     

云计算环境任务调度方法研究综述

随着应用程序计算需求的快速增长,异构计算资源不断地增多,任务调度成为云计算领域中重要的研究问题。任务调度负责将用户任务匹配给合适的虚拟计算资源,算法的优劣将直接影响响应时间、最大完工时间、能耗、成本、资源利用率等一系列与用户和云服务供应商经济利益密切相关的性能指标大小。针对独立任务和科学工作流这两类云环境主流任务,结合不同云环境特征对任务调度算法研究进展进行综述和讨论。回顾梳理已有的任务调度类型、调度机制及其优缺点;归纳单云环境和混合云、多云及联盟云等跨云环境下任务调度特征,并对部分相关典型文献的使用方法、优化目标、优缺点等方面进行阐述,在此基础上讨论各个环境下任务调度研究现状;进一步对各类环境下文献使用的调度优化方法进行梳理,明确其使用范围;总结并指出需要对计算数据密集型应用在跨云环境下的任务调度研究进行重点关注。