移动网格环境下可靠任务调度研究

移动网格的资源环境具有很高的动态性,在任意时刻可能发生资源加入、退出、故障、移动等。采用任务复制策略实现对资源不可靠性的容错。用weibull分布刻画资源的可靠性,建立任务复制模型;形式化描述了基于复制策略的独立任务调度问题,给出调度目标和约束条件;通过遗传算法解决调度问题。仿真结果表明,调度算法具有良好的可扩展性,调度性能与资源可靠性呈线性关系。     

一种改进QoS的网格资源多维性能调度算法

网格环境下,由于资源的异构性和动态性,任务调度已扩展为多个任务在位于不同节点的异构资源上调度,任务调度的性能直接影响到计算网格的服务质量.为提高任务调度质量,在构建网格资源映射模型的基础上,结合资源多维性能,提出丫一种改进Qos的网格资源多维性能调度算法MQMPGR,并且给出了与模型相对应的进行任务调度所需要的算法伪码.通过在Gridsim环境下的分析与比较.仿真结果证明其优于传统的任务调度算法.     

一种应用于网格计算环境的任务调度模式*

提出了一种新的网格任务调度模式,针对网格计算资源有组织、松耦合、自治等特性,建立基于多层次虚拟组织形式的计算资源模型;根据网格环境中应用任务粗粒度、特定资源依赖等特点,建立了网格任务的描述模型;提出并实现了相应的子任务生成算法、任务初始调度算法及自动调整算法。设计实现了能够支持仿真及实际网格计算环境可扩展网格任务调度器,通过理论分析和仿真实验对算法的正确性、效果和效率进行了评价。     

一种自适应的动态网格任务调度算法

GRACE网格资源框架是一个分布式、可计算的经济学体系框架,针对框架中分配网格资源问题,引入近视算法,提出了一种自适应的动态网格任务调度算法。该算法通过在调度过程中动态监测系统的负载平衡度,自适应地选择任务调度策略。经模拟试验证明,该调度算法提高了任务的调度成功率。     

基于遗传算法的网格资源调度算法

网格将多种资源组织在一个统一的框架下，为各种复杂的计算任务提供资源．因此计算任务在各种资源之间的调度成为了一个关键的问题．简述了在异构资源之间调度任务的重要性，提出了一种基于遗传算法的任务调度算法，该算法采用资源一任务的间接编码方式，通过DAG图获取子任务的层次关系，并将子任务按照层次深度排序，解决了种群中的非法问题．在单一资源上采用短任务优先和父节点优先两个原则来安排子任务的执行次序，以避免出现任务堵塞的现象．     

网格计算中任务调度算法的研究和改进

任务调度一直是网格计算中的热点问题,任务调度的目的是最优地分配任务,实现最佳的调度策略,以高效地完成计算任务。在网格环境中,资源的合理有效利用是实现任务调度的关键问题之一。本文首先论述静态任务调度算法和动态任务算法的原理和优缺点等,然后结合Min-min、Max-min算法的优点设计一种新的调度算法SA-MM,根据资源的使用情况自适应调度相应算法进行任务到资源的映射。最后,用GridSim模拟工具对网格计算中Min-min、Max-min和SA-MM任务调度算法进行仿真实验,分析和比较它们的调度长度(MakeSpan)和资源负载情况等影响任务调度效率的指标。     

基于网格资源预测的任务优先级调度算法

根据网格工作流中任务的依赖关系和截止时间,以及资源的有效度和MIPS（每秒百万条指令）,提出基于网格资源预测的任务优先级调度算法。把网格任务工作流抽象为有向无环图,找到该工作流的关键路径,计算每个任务的最迟开始执行时间,作为任务的优先级。在算法中考虑用户的要求和资源的类型,以及任务调度失败后重新分配的问题。实验验证了该算法的有效性。     

基于PSODE的网格任务调度算法

针对网格计算中任务在各个资源之间的调度问题,提出了一种网格环境下PSODE的任务调度算法.该算法实现了计算资源、存储资源、带宽资源、数据资源的利用率最高化和代价最低化.对基本粒子群算法和差分进化算法进行了分析,通过构造算法函数、适应值函数和权重公式,建立了粒子群差分混合算法并对其进行优化,介绍了算法的实现过程.实验结果表明,该算法与其它调度算法比较,具有良好的性能.     

面向可靠性一费用优化的网格任务调度模型及算法研究

网格资源的异构性、动态性等特征使得网格任务调度仍面临着诸多问题。针对传统可靠性评佑模型仅考虑 资源失效的问题,在考虑本地任务会抢占网格任务执行资源的情况下,引入任务执行延期失效,从而建立了一种新的 网格资源可靠性评估模型。该模型使用随机服务系统理论建模网格资源的动态负载压力,给出了任务在资源上的执 行可靠性的计算方法及证明。基于建立的网格资源可靠性模型,建立了面向可靠性和费用的多目标任务优化调度模 型,以获得最大化任务执行可靠性、最小化任务执行费用的任务调度策略。针对该NP问题,采用化学反应优化算法 对该优化问题进行求解,并给出了算法4种操作的具体实施方法。仿真实验表明,所提出的可靠性评估模型更符合真 实的网格系统,与遗传算法、粒子群算法相比,化学反应优化算法能更好地解决可靠性一费用双目标优化的网格任务调 度问题。     

网格环境下安全约束的资源调度研究

提出了一个网格信任模型,用主观逻辑理论进行信任值的推导、综合。针对现有网格任务调度算法存在的问题,设计了一种任务和资源安全等级匹配的调度算法。通过安全需求对资源进行筛选,并使它满足最早完成时间。仿真实验表明,与传统经典网格任务调度算法比较,该算法提高了任务成功率,减少了任务完成时间,是网格环境下一种有效的资源调度模型。     

面向运行时间预测和容错感知的网格资源分配

提出与描述了一种面向任务运行时间预测和容错感知（Fault-Aware）的网格资源分配策略,采用主动容错的方式,在资源出错之前尽量提前避免它出错或异常的情况发生。该策略把网格中任务的运行时间（runtime）预测和资源的在线时间（uptime）预测结合起来,相对于普通的调度策略具有比较高的资源利用率。在具体的CoBRA网格中间件中实现了该容错感知调度,描述了实现该容错感知调度策略模块的功能。测试过程中选择了睡眠任务技术,划分四种不同的场景进行实验,把该容错感知资源分配与普通的FCFS调度策略进行比较,结果证明在可变化的资源可用性的情况下系统可以加快应用的整体执行时间,具有很小的偏差。     

Grid Resource Availability Prediction-Based Scheduling and Task Replication

The frequent and volatile unavailability of volunteer-based Grid computing resources challenges Grid schedulers to make effective job placements. The manner in which host resources become unavailable will have different effects on different jobs, depending on their runtime and their ability to be checkpointed or replicated. A multi-state availability model can help improve scheduling performance by capturing the various ways a resource may be available or unavailable to the Grid. This paper uses a multi-state model and analyzes a machine availability trace in terms of that model. Several prediction techniques then forecast resource transitions into the model’s states. We analyze the accuracy of our predictors, which outperform existing approaches. We also propose and study several classes of schedulers that utilize the predictions, and a method for combining scheduling factors. We characterize the inherent tradeoff between job makespan and the number of evictions due to failure, and demonstrate how our schedulers can navigate this tradeoff under various scenarios. Lastly, we propose job replication techniques, which our schedulers utilize to replicate those jobs that are most likely to fail. Our replication strategies outperform others, as measured by improved makespan and fewer redundant operations. In particular, we define a new metric for replication efficiency, and demonstrate that our multi-state availability predictor can provide information that allows our schedulers to be more efficient than others that blindly replicate all jobs or some static percentage of jobs.     

可靠的网格作业调度机制

针对网格环境的动态性特征,提出了一种可靠的网格作业调度机制(DGJS)。按照作业完成时间期限,DGJS将作业分为：高QoS级、低QoS级和无QoS级,不同QoS级作业有不同的调度优先权;基于资源可用性预测,DGJS采用基于可靠性代价的作业调度策略,将作业尽可能调度到可靠性高的资源节点;另外,DGJS对不同QoS级作业采用不同的容错策略,在保证故障容错的同时,节省网格资源。实验表明：在动态的网格环境下,较之传统的网格作业调度算法,DGJS提高了作业成功率,减少了作业完成时间。     

Prediction of Resource Availability in Fine-Grained Cycle Sharing Systems Empirical Evaluation

Fine-Grained Cycle Sharing (FGCS) systems aim at utilizing the large amount of computational resources available on the Internet. In FGCS, host computers allow guest jobs to utilize the CPU cycles if the jobs do not significantly impact the local users. Such resources are generally provided voluntarily and their availability fluctuates highly. Guest jobs may fail unexpectedly, as resources become unavailable. To improve this situation, we consider methods to predict resource availability. This paper presents empirical studies on resource availability in FGCS systems and a prediction method. From studies on resource contention among guest jobs and local users, we derive a multi-state availability model. The model enables us to detect resource unavailability in a non-intrusive way. We analyzed the traces collected from a production FGCS system for 3 months. The results suggest the feasibility of predicting resource availability, and motivate our method of applying semi-Markov Process models for the prediction. We describe the prediction framework and its implementation in a production FGCS system, named iShare. Through the experiments on an iShare testbed, we demonstrate that the prediction achieves an accuracy of 86% on average and outperforms linear time series models, while the computational cost is negligible. Our experimental results also show that the prediction is robust in the presence of irregular resource availability. We tested the effectiveness of the prediction in a proactive scheduler. Initial results show that applying availability prediction to job scheduling reduces the number of jobs failed due to resource unavailability. This work was supported, in part, by the National Science Foundation under Grants No. 0103582-EIA, 0429535-CCF, and 0650016-CNS. We thank Ruben Torres for his help with the reference prediction algorithms used in our experiments.     

网格环境下任务的执行时间预测技术研究

提出与描述了一种网格环境下任务的执行时间预测的新方法,该方法不需要参考历史数据,可以让用户在提交网格作业之前进行任务执行时间的精确预测.该预测模块使用了R脚本作为基本工具,结合了静态分析、BenchMark数据库解析和基于编译器的方法等3种技术,其中R软件以命令行的方式很容易编写各种类型的任务代码,使其具有自适应性、灵...     

一种异构环境下的基于MapReduce任务调度改进机制

针对在异构环境下采用现有MapReduce任务调度机制可能出现各计算节点间数据迁移和系统资源分配难以管理的问题, 提出一种动态的任务调度机制来改善这些问题。该机制先根据节点的计算能力按比例放置数据, 然后通过资源预测方法估计异构环境下MapReduce任务的完成时间, 并根据完成时间计算任务所需的资源。实验结果表明, 该机制提高了异构环境下任务的数据本地性比例, 且能动态地调整资源分配, 以保证任务在规定时间内完成, 是一种有效可行的任务调度机制。     

主动请求服务代理中的资源性能预测

主动服务请求代理中间件提供资源代理主动监测网格节点上的资源,预测其未来处理能力并据此进行任务分配。该文对预测算法进行了改进和优化,提出了多变量资源性能预测算法,即利用NWS单变量预测值和实施收集的分布函数相结合来作出预测,从而进一步优化了网格性能。     

基于资源域的分级调度模型

作业调度是要实现作业和资源的最佳匹配,协调对资源的征用矛盾.软件环境和硬件资源对作业运行都有影响,实验证明硬件资源对作业的影响很大,据此提出了基于资源域的分级调度模型,提供全局和局部两种调度方式.节点根据配置划分成不同的资源域,调度时根据作业类型匹配最佳的资源域,该模型有效利用了集群资源,减轻了Server的负担,并能提高系统的可扩展性.在全局调度中,还提供了预约机制调度高优先级作业.     

一种面向应用程序的作业资源管理系统ARMS

本文在综合分析了现有作业资源管理系统的基础上，提出了一种新的面向应用程序的作业资源管理系统模型ARMS。该模型引入了资源预测分析和面向应用程序的调度，提高了系统的资源利用率。     

Online execution time prediction for computationally intensive applications with periodic progress updates

The effectiveness of distributed execution of computationally intensive applications (jobs) largely depends on the quality of the applied scheduling approach. However, most of the existing non-trivial scheduling algorithms rely on prior knowledge or on prediction of application parameters, such as execution time, size of input and output, dependencies, etc., to assign applications to the available computational resources. A major issue is that these parameters are hard to determine in advance, especially if the end user does not possess an extensive history of previous application runs. In this work we propose an online method for execution time prediction of applications, for which execution progress can be collected at run-time. Using dynamic progress information, the total job execution time can be predicted using extrapolation. However, the predictions achieved by extrapolation are far from precise and often vary over time as a result of changing application dynamics and varying resource load. Therefore, to compute the actual job execution time we match a number of predefined prediction evolution models against the consecutive extrapolations, by adopting nonlinear curve-fitting. The ??best-fit?? coefficients allow for more accurate execution time prediction. The predictions made are used to enhance a dynamic scheduling algorithm for workflows introduced in our earlier work. The scheduling algorithm is run with and without curve-fitting, showing a performance improvement of up to 15% in the former case.