混合云工作流调度综述

在数据爆发的大背景下,传统的云计算存在本地云资源不足和扩展成本高的窘境,而最新兴起的混合云结合了资源丰富的公有云与数据敏感的私有云,成为当下研究和应用的热点方向.而工作流作为一种有吸引力的范式,其数据规模和计算规模一直都在增长,因此工作流调度是混合云研究方向中的关键问题.为此,文中首先对混合云环境下的工作流调度技术做了...     

云环境下科学工作流的调度算法

提出一种云环境下科学工作流的调度算法.针对已有的调度算法和松弛时间资源分配策略均未考虑“或”控制结构的不足，给出了关键活动优先级（Critical Activity Priority，CAP）的概念；定义了活动的服务效益比（Service Benefit Ratio，SBR）；提出了活动松弛时间分配策略；并从流程定义和实例运行两个层次，给出了活动截止期限的分配算法.该项研究成果为解决科学工作流调度过程中的时间-成本优化问题提供了更合适的解决方案.     

适用于实例密集型云工作流的调度算法

工作流调度算法仅适用于单个复杂工作流实例,而不适用于实例密集型云工作流实例,为此,提出了基于实例密集型的云工作流调度算法(MCUD)。MCUD算法先对待处理的一组工作流实例进行分类,再对分类后的同类工作流实例采用一种新的分配方法将用户指定的总最后期限分配到各任务;同时,在调度的过程中动态地调整后续任务的子最后期限。MCUD算法对同类工作流实例中的任务分配不同子最后期限,减小了资源竞争,提高了资源的利用率。仿真实验表明,MCUD相比于其他算法,在满足总的最后期限的前提下更进一步地降低了执行成本和执行时间。     

云工作流中基于分时虚拟机的任务层调度算法

云计算是新的一种面向市场的商业计算模式,向用户按需提供服务,云计算的商业特性使其关注向用户提供服务的服务质量。任务调度和资源分配是云计算中两个关键的技术,所使用的虚拟化技术使得其资源分配和任务调度有别于以往的并行分布式计算。目前主要的调度算法是借鉴网格环境下的调度策略,研究基于QoS的调度算法,存在执行效率较低的问题。我们对云工作流任务层调度进行深入研究,分析由底层资源虚拟化形成的虚拟机的特性,结合工作流任务的各类QoS约束,提出了基于虚拟机分时特性的任务层ACS调度算法。经过试验,我们提出的算法相比于文献[1]中的算法在对于较多并行任务的执行上存在较大的优势,能够很好的利用虚拟的分时特性,优化任务到虚拟机的调度。     

云工作流中基于分时虚拟机的任务层调度算法

云计算是新的一种面向市场的商业计算模式,向用户按需提供服务,云计算的商业特性使其关注向用户提供服务的服务质量。任务调度和资源分配是云计算中两个关键的技术,所使用的虚拟化技术使得其资源分配和任务调度有别于以往的并行分布式计算。目前主要的调度算法是借鉴网格环境下的调度策略,研究基于QoS的调度算法,存在执行效率较低的问题。我们对云工作流任务层调度进行深入研究,分析由底层资源虚拟化形成的虚拟机的特性,结合工作流任务的各类QoS约束,提出了基于虚拟机分时特性的任务层ACS调度算法。经过试验,我们提出的算法相比于文献[1]中的算法在对于较多并行任务的执行上存在较大的优势,能够很好的利用虚拟的分时特性,优化任务到虚拟机的调度。     

基于边缘云环境的工作流调度与卸载决策算法

边缘云环境中,为改善任务执行效率和移动客户端能效,以最小化执行时长和降低移动端能耗为目标,提出一种工作流调度与卸载决策算法PCTSO.依据工作流任务的结构层次,设计基于优先级的待调度任务选择机制;设计基于连续任务选择的卸载机制,验证连续依赖型任务的整体卸载可以更有效利用边缘云服务器资源,提升任务执行并行度.利用随机工作...     

混合云环境下基于模糊理论的科学工作流数据布局策略

混合云环境下,合理的数据布局策略对科学工作流的高效执行至关重要.传统的科学工作流数据布局策略主要基于确定性环境,而在实际网络环境中,由于不同数据中心之间的负载不同、带宽波动和网络拥塞等原因以及计算机自身的特性,数据传输时间存在不确定性.为了解决该问题,基于模糊理论,以最小化数据模糊传输时间为目标,提出了一种基于遗传算法算子的模糊自适应离散粒子群优化算法(Fuzzy Adaptive Discrete Particle Swarm Optimization Algorithm Based on Genetic Algo-rithm Operators,FGA-DPSO),对科学工作流数据进行合理布局,同时满足数据集的隐私要求和数据中心的容量限制.实验结果表明,该算法能够有效地减少混合云环境下科学工作流的数据模糊传输时间.     

云环境中基于混合多目标粒子群的科学工作流调度算法

为了更高效地实现科学工作流任务的调度,研究了云环境中的工作流调度多目标优化问题,提出了一种基于非占优排序的混合多目标粒子群优化的工作流调度算法HPSO。首先,建立了截止时间与预算约束下工作流调度的多目标优化模型,模型引入三目标最优化,包括工作流执行跨度、执行代价及执行能耗;其次,设计了一种混合粒子群算法对相互冲突的三目标最优化进行求解,算法通过非占优排序的形式可以得到满足Pareto最优的工作流调度解集合;最后,通过3种科学工作流案例的仿真实验,与同类多目标调度算法NSGA-II,MOPSO和ε-Fuzzy进行了性能比较。实验结果表明,HPSO得到的调度解不仅收敛性更好,而且调度解的空间分布更加一致,更符合云环境中的工作流调度优化。     

云环境下基于预算分配的科学工作流调度研究

云环境下的科学工作流部署不同于传统的独立任务调度,需同步考虑调度代价与时间问题。为此,提出基于预算分配的科学工作流调度方法,将工作流任务与虚拟机资源间的映射求解分为预算分配和资源提供与调度2个阶段。为优化预算使用,设计基于快优先的预算分配算法(FFTD)和基于慢优先的预算分配算法,实现预算在各任务间的子分配。基于任务最早完成时间的降序排列进行任务选择,在虚拟机可重用的情况下根据单个任务的子预算进行资源分配,保证工作流任务的顺利调度。引入5种常规类型的科学工作流进行实验,测试算法在不同类型工作流结构和不同预算约束下的性能,结果表明,FFTD算法在72%、88%、84%的实验场景中相比BDT-AI算法具有更高的虚拟机资源利用率、预算约束满足率以及更短的调度时间,综合性能更优。     

混合计算环境中截止期约束下的科学工作流调度策略

整合云和网格基础设施,增强科研机构现有网格系统的计算能力并向应用提供截止时间保障的服务是科学研究领域的热点。在这种"网格-云"混合计算环境中,对何时租借云虚拟资源以及如何租借做出有效决策是一个难题。现有的一些调度策略主要在网格资源静态能力特征的基础上,以作业等待时间作为决策依据,缺乏对资源动态服务能力的有效评估,无法保证科学应用的截止时间需求。本文提出了一种混合环境下的科学工作流执行系统架构并对其核心组件进行了阐述。针对其中的工作流调度问题,利用随机服务模型建模已有网格系统中的资源的动态服务能力,以任务违约风险作为是否租借外部虚拟资源的判断指标,提出了一个科学工作流调度算法HCA_SASWD。实验结果表明,HCA_SASWD相对于其他算法,能有效保证用户的截止时间要求,为需要提供截止时间保障的系统架构提供了参考。     

一种云计算环境下的工作流双向调度方法

为降低云计算中工作流调度的时间和成本,提出了一种双向调度算法,以实现后向Backward和前向Forward的双向调度。首先,Backward算法按照每个任务的最迟开始时间进行后向调度;此基础上,为降低虚拟机调度费用,Forward算法尽可能地提前调度每个任务,且在前向调度过程中充分考虑到工作流deadline、最大cost及传输时间的限制,从而实现对虚拟机的动态调度。由实验可知,本算法比BDA算法以及ICPCP算法更节约虚拟机调度成本,提高了调度的灵活性。     

QoS约束云环境下的工作流能效调度算法

云环境可以为大规模工作流的执行提供高效、可靠的运行环境,但工作流执行时带来的高能耗不仅会增加云资源提供方的经济成本,还会影响云系统的可靠性,并对环境产生不利影响。为了在满足用户截止时间QoS需求的同时降低云环境中工作流调度的执行能耗,提出一种工作流能效调度算法QCWES。该算法将工作流的能效调度方案求解划分为3个阶段:截止时间重分配、任务调度选择排序以及基于DVFS的最佳资源选择。截止时间重分配阶段旨在将用户定义的全局工作流截止时间在各个任务间进行重分配,任务调度选择排序阶段旨在通过自顶向下的任务分级方式得到任务调度序列;基于DVFS的最佳资源选择阶段旨在为每个任务选择带有合适电压/频率等级的最优目标资源,在满足任务的子截止时间的前提下使总体能耗达到最小。通过随机工作流和基于高斯消元法的现实工作流结构,对算法的性能进行仿真实验分析。结果表明,所提算法可以在满足截止时间约束下降低工作流的执行能耗,实现用户方的QoS需求与资源方的能耗间的均衡。     

混合云中基于截止时间和费用约束的调度方法研究*

针对混合云调度中私有云利用率不高和公有云费用偏高的问题,基于性能和费用目标提出了两个调度策略—截止时间优先和费用优先策略,建立了混合云中的任务和资源模型,能够根据用户提交的任务需求自适应选择合适的调度资源,对截止时间要求比较高的任务可以优先调度至公有云,对费用要求高的任务可以优先调度至私有云,而且两种策略均满足截止时间和一定的费用约束,因此相对于其它类似的基准调度方法,本文的两种调度策略在调度完成时间、费用、截止时间超出率和私有云利用率等方面均有很好的表现,尤其是当任务量比较大的时候,两种调度策略表现出更好的自适应性和优势。     

面向云工作流安全的任务调度方法

现有的云工作流大多工作在静态化、同质化的系统环境中,不仅易导致故障传播、降低系统容错度,而且易于攻击者获取系统环境信息,便于发动准确攻击.针对此问题,提出一种面向云工作流安全的任务调度方法.该方法以工作流系统多层次任务划分模式为基础,阶段性地对任务进行调度,避免针对特定任务的持续攻击.为有效防范攻击者针对任务执行环境的探测,利用多样化的系统镜像构建异构的任务执行体,并基于异构执行体动态变换任务执行环境,保证云工作流系统环境的随机性.此外,为进一步提高异构系统的安全效益,对执行体异构程度进行量化,并根据量化结果映射成调度选择概率,提高调度前后任务执行环境的差异.实验模拟3种攻击方法对改进的云工作流系统安全性进行测试,测试结果表明：该方法能有效提高云工作流系统的安全性.     

多目标最优化云工作流调度进化遗传算法

为了实现云环境中科学工作流调度的执行跨度和执行代价的同步优化,提出了一种多目标最优化进化遗传调度算法MOEGA。该算法以进化遗传为基础,定义了任务与虚拟机映射、虚拟机与主机部署间的编码机制,设计了满足多目标优化的适应度函数。同时,为了满足种群的多样性,在调度方案中引入了交叉与变异操作,并使用启发式方法进行种群初始化。通过4种现实科学工作流的仿真实验,将其与同类型算法进行了性能比较。结果表明,MOEGA算法不仅可以满足工作流截止时间约束,而且在降低任务执行跨度与执行代价的综合性能方面也优于其他算法。     

基于动态关键路径的云工作流调度算法

为了提高资源行为动态异构的云环境中工作流任务的调度效率,提出了一种基于动态关键路径的工作流调度算法CWS-DCP。算法将工作流任务结构定义为有向无循环图DAG模型,改进了传统关键路径的一次性搜索模式,结合云资源可用性动态可变的特征,以动态自适应方式搜索关键路径,并确定关键任务。同时,在关键任务调度后,局部DAG的关键路径搜索根据资源可用性再次迭代更新,从而动态决策任务与资源间的调度方案。通过仿真实验,构建了三种不同类型的工作流结构作为测试数据源,并与其他六种同类型的启发式和元启发式算法进行了性能比较。实验结果表明,在资源可用性动态改变和工作流规模不断增大的情况下,CWS-DCP算法在多数工作流结构中均能得到执行跨度更好的调度方案和更少的调度开销。     

基于图割的云环境中工作流调度改进算法

为提高云环境中工作流的执行效率,通过调整工作流引擎的调度策略,将MCGP（Multi Constraint Graph Partitioning）算法应用于工作流调度引擎,并对其不足,提出改进的MCGRP(Multi Constraint Graph Ratio Partitioning)算法。模拟实验表明,本文的调度算法有效地提高了系统的资源利用率和云环境中工作流的执行效率。     

移动云计算中基于延时传输的多目标工作流调度

云计算和移动互联网的不断融合,促进了移动云计算的产生与发展.在移动云计算环境下,用户可将工作流的任务迁移到云端执行,这样不但能够提升移动设备的计算能力,而且可以减少电池能源消耗.但是不合理的任务迁移会引起大量的数据传输,这不仅损害工作流的服务质量,而且会增加移动设备的能耗.基于此,本文提出了基于延时传输机制的多目标工作流调度算法MOWS-DTM.该算法基于遗传算法,结合工作流的调度过程,在编码策略中考虑了工作流任务的调度位置和执行排序.由于用户在不断移动的过程中,移动设备的无线网络信号也在不断变化.当传输一定大小的数据时,网络信号越强则需要的时间越少,从而移动设备的能耗也越少.而且工作流结构中存在许多非关键任务,延长非关键任务的执行时间并不会对工作流的完工时间造成影响.因此,本文在工作流调度过程中融入了延时传输机制DTM,该机制能够同时有效地优化移动设备的能耗和工作流的完工时间.仿真结果表明,相比MOHEFT算法和RANDOM算法,MOWS-DTM算法在多目标性能上更优.