Multi-objective list scheduling of workflow applications in distributed computing infrastructures

Executing large-scale applications in distributed computing infrastructures (DCI), for example modern Cloud environments, involves optimization of several conflicting objectives such as makespan, reliability, energy, or economic cost. Despite this trend, scheduling in heterogeneous DCIs has been traditionally approached as a single or bi-criteria optimization problem. In this paper, we propose a generic multi-objective optimization framework supported by a list scheduling heuristic for scientific workflows in heterogeneous DCIs. The algorithm approximates the optimal solution by considering user-specified constraints on objectives in a dual strategy: maximizing the distance to the user’s constraints for dominant solutions and minimizing it otherwise. We instantiate the framework and algorithm for a four-objective case study comprising makespan, economic cost, energy consumption, and reliability as optimization goals. We implemented our method as part of the ASKALON environment (Fahringer et al., 2007) for Grid and Cloud computing and demonstrate through extensive real and synthetic simulation experiments that our algorithm outperforms related bi-criteria heuristics while meeting the user constraints most of the time.     

Framework for Task Scheduling in Heterogeneous Distributed Computing Using Genetic Algorithms

An algorithm has been developed to dynamically schedule heterogeneous tasks on heterogeneous processors in a distributed system. The scheduler operates in an environment with dynamically changing resources and adapts to variable system resources. It operates in a batch fashion and utilises a genetic algorithm to minimise the total execution time. We have compared our scheduler to six other schedulers, three batch-mode and three immediate-mode schedulers. Experiments show that the algorithm outperforms each of the others and can achieve near optimal efficiency, with up to 100,000 tasks being scheduled     

数据中心网络流调度技术前沿进展

数据中心网络流调度技术对数据中心网络的性能具有重要影响.它是指对数据中心应用产生的网络数据流,通过控制和调度这些网络流在数据中心网络中的传输链路、传输优先级、传输速率等,以优化网络流量的传输(包括减少数据流平均完成时间、降低加权的平均完成时间、降低数据流尾部完成时间、最大化满足有传输时限的数据流、提高网络资源利用率等),最终实现优化用户体验的目的.首先,对数据中心网络流调度问题及其面临的挑战进行简单介绍.流调度的关键挑战在于设计低开销、高效率的调度算法,以及在终端电脑或者网络交换机上实现调度算法.然后,从独立数据流调度方法和网络流组的调度方法进行综述.这2类流调度技术的区别在于应用的环境(如Web搜索和大数据分析)不同.最后,对未来流调度技术的发展方向进行展望,并且提出多个尚未解决、但仍值得研究的问题.     

Simulation Studies of Computation and Data Scheduling Algorithms for Data Grids

Data Grids seek to harness geographically distributed resources for large-scale data-intensive problems. Such problems, involving loosely coupled jobs and large data-sets, are found in fields like high-energy physics, astronomy and bioinformatics. A variety of factors need to be considered for effective scheduling of resources in such environments: e.g., resource utilization, response time, global and local allocation policies and scalability. We propose a general and extensible scheduling architecture that addresses these issues. Within this architecture we develop a suite of job scheduling and data replication algorithms that we evaluate using simulations for a wide range of parameters. Our results show that it is important to evaluate the combined effectiveness of replication and scheduling strategies, rather than study them separately. More specifically, we find that scheduling jobs to locations that contain the data they need and asynchronously replicating popular data-sets to remote sites, works rather well.     

光网络环境中计算任务与光路的联合调度算法

针对光网络环境下分布式计算系统的资源调度问题,提出了一种光网络计算任务和光路联合调度方案。该方案将光网络的特性加入到传统调度模型中,提出了计算任务与光路通信的联合调度模型,设计求解联合调度模型的扩展型列表算法。仿真实验验证了联合调度的有效性。     

基于数据交换与同步的作业调度方案

多机作业调度问题是一个经典的NP难问题,在应用中由于实际需要,会出现各种约束和变形,调度问题的研究成果决定着系统的性能.DataTurbo是作者参与的一个用于解决分布式数据迁移、集成和融合的平台,该平台承担着大数据量的分布式传输任务.在DataTurbo平台基础上,提出一种适用于数据交换与同步的分布式作业调度方案,并构建一个灵活的分布式调度算法框架,解决相关的调度问题.该调度方案是一种在线的、可并发的、作业可分解的多机调度方案.仿真实验结果显示,该调度方案在任务负载大、调度点稀疏情况下优势明显,能适用于数据交换同步作业,可作为数据交换与同步作业的动态调度方案,并为相关启发式算法建立基础模型.     

基于结构化对等网络的高效分布式任务调度

提出与描述了一个基于结构化对等网络的高效分布式任务调度策略HDTS(High-Efficient Distributed Task Scheduling)。HDTS建立在结构化对等网络的应用层覆盖网络上,保证了系统的非集中性、可扩展性、自组织性,以及规模大的优点。HDTS把基于Chord风格的对等网络协议和容错及高效的多播调度策略结合起来,允许分布式计算的各种大量的子任务在对等网络的节点上高效的调度、分配、执行。除了支持主-从风格的并行计算外,系统允许具有数据依赖的分布式旅行商算法正确的执行,使系统具有通用性和开放性。测试结果表明:HDTS具有正确性与高效性,可以作为对等网络上计算资源高效共享与聚集的可行方案。     

基于PVM的自适应任务调度策略的消息处理

采用自适应的任务调度策略,通过由计算主机收集各自的负载信息并主动适时发给调度主机,减轻了调度主机的负载,改善了调度主机的调度性能。本文基于PVM并行程序开发环境,介绍了任务调度策略实现过程中消息的处理方法。     

跨地域分布式云计算资源调度系统及实证

首先对跨地域分布式资源调度在电网的应用进行必要性分析,提出实际IT环境中的问题和挑战,并分析目前市场上的云计算产品和解决方案的不足;其次结合电网的实际IT环境,对跨地域分布式资源调度的资源模型和调度策略进行研究,提出适用于电网的方案,并给出系统的技术架构和部署模式。最后,在实际生产环境中进行原型搭建,并结合电网的应用对该系统进行实证。     

启发式任务调度中的处理器选择策略

任务调度是并行分布计算中最为基本、最为关键,也最具有挑战性的问题之一,是影响并行分布计算执行效率的一个关键因素.现有的基于任务静态优先级的启发式任务调度方法都是以“当前任务具有最早起始执行时刻”为目标来选择执行处理器.该文在详细分析讨论该种调度方法的基础上,指出了以该目标选择处理器存在的问题及缺点,并提出了以“当前任务的直接后继具有最早起始执行时刻”为目标选择处理器的方法,并给出了相应的约束条件.     

基于 OpenStack 的中国散裂中子源计算环境概述

高能物理实验规模不断扩大,计算和存储需求不断增长,即将建成的中国散裂中子源 (Chinese Spallation Neutron Source,CSNS) 对物理实验计算环境同样有较高要求。进入云计算时代,资源的灵活配置和集中管理不仅降低了硬件成本还大大提高了资源利用率。本文首先介绍了云计算技术的在高能物理实验中的应用现状,然后介绍中国科学院高能物理研究所东莞分部目前所建设的中国散裂中子源对于计算环境的的具体需求,接下来从基础运维、统一认证、存储系统、OpenStack、资源监控五个方面详细阐述了基于 OpenStack 的云计算环境的设计和实践,以及如何利用其实现对 CSNS 计算资源的弹性管理,最后对 CSNS 云计算环境的现状进行了总结并提出了对未来的展望。     

分布计算环境下任务调度双向动态策略的研究

任务调度是分布计算研究中的一个关键问题。在“均衡-适度”分布调度策略的基础上，提出了一种对分配到服务机上的子任务在执行过程中任务调度的双向动态策略，分析了此策略的实现，并提出了一个影响分布系统任务调度的参考因子——滞空时间，最后给出了实例。     

AUV协同设计平台中多任务流调度算法研究

对AUV协同设计平台中多个任务流的调度问题进行建模,将其转换为分布式计算环境下的独立任务在线调度问题。针对系统异构和任务流具有优先级属性的特殊性,提出了一种基于预测的多任务流调度算法,采用统计和预测的方法评估各工作站执行任务的效用,并设计优先级策略和暂停调度策略,保证具有较高优先级的任务流较早分配和执行。实验结果表明,该算法在参数选取适当的情况下,性能优于传统的MCT和MET任务调度算法。