一种MapReduce实时调度算法设计及实现

MapReduce是云计算中重要的批数据处理框架,多任务共享MapReduce机群并满足任务实时性要求是调度算法急需解决的问题。提出两阶段实时调度算法,将调度划分为任务间调度和任务内调度。对于任务间调度,使用抽样法和经验值法确定子任务执行时间,利用该参数建立资源分配模型,动态确定任务优先级进行调度;对于子任务使用延迟调度策略进行调度,保证计算的本地性。实验结果显示,两阶段实时调度算法相比公平调度算法和FIFO算法,在保证吞吐量的同时能够满足任务实时性要求。     

空间科学卫星数据快速处理方法

针对卫星获取的大规模数据进行快速数据处理一直是空间信息处理系统建设中的关键。面对空间科学卫星全天候观测、探测载荷类型多、处理算法多样带来的数据处理难题,现有基于CCSDS标准格式的数据分析方法,难以满足目前在轨的多颗空间科学卫星数据处理系统在正确性和时效性方面的要求。针对空间科学卫星探测数据处理特点,提出了一种空间科学数据快速处理方法,设计两层联合索引结构,将空间科学大数据处理问题转化为索引表和源包数据单元的处理问题,提高了数据处理效率;采用科学工作流技术设计了数据驱动和业务驱动协同的处理框架,支持多样化的空间科学卫星数据处理流程,各类载荷数据处理任务并行调度。实验结果表明,这种方法处理速度可扩展,内存使用较少,已应用于空间科学卫星地面系统中,取得了良好的效果。     

异构环境下科学工作流的启发式调度算法

针对资源个体与网络链路差异较大、广域互连的分布式系统下科学工作流的时间费用优化问题,提出改进的相对效比调度算法.利用任务配置图描述关联科学工作流过程模型的资源模型,利用任务-资源分配图作为科学工作流调度模型,采用相对效费比迭代调整任务-资源分配图,最终得到优化的工作流调度方案.算法能够避免共享资源访问冲突,合理地筛选候选资源、优化费用,能够很好地适用科学工作流的资源差异较大及任务间存在大量数据传输的特征,模拟实验表明算法性能有较大的提高.     

DAG分割模型下的云工作流调度策略

为了优化云工作流调度的经济代价和执行效率,提出一种基于有向无循环图（DAG）分割的工作流调度算法PBWS。以工作流调度效率与代价同步优化为目标,算法将调度求解过程划分为三个阶段进行：工作流DAG结构分割、分割结构调整及资源分配。工作流DAG结构分割阶段在确保任务间执行顺序依赖的同时求解初始的任务分割图;分割结构调整阶段以降低执行跨度为目标,在不同分割间对任务进行重分配;资源分配阶段旨在选择代价最高效的任务与资源映射关系,确保资源的总空闲时间最小。利用五种科学工作流DAG模型对算法进行了仿真实验。结果表明。PBWS算法仅以较小的执行跨度为开销,极大降低了工作流执行代价,实现了调度效率与调度代价的同步优化,其综合性能是优于同类型算法的。     

一种网格工作流动态调度算法

由于网格系统异构和资源动态变化,网格工作流多个任务对资源的不同需求,以及任务之间的时序、因果和数据依赖关系,使得网格工作流调度问题非常复杂,低性能的资源和任务调度策略,将会增加任务的执行时间并降低整个网格系统的吞吐量。本文针对网格工作流的特点提出了一种动态调度算法,该算法追求优化执行时间和系统负载均衡的双重目的,最后通过实验验证了该算法的可行性和优越性。     

云环境下基于预算分配的科学工作流调度研究

云环境下的科学工作流部署不同于传统的独立任务调度,需同步考虑调度代价与时间问题。为此,提出基于预算分配的科学工作流调度方法,将工作流任务与虚拟机资源间的映射求解分为预算分配和资源提供与调度2个阶段。为优化预算使用,设计基于快优先的预算分配算法(FFTD)和基于慢优先的预算分配算法,实现预算在各任务间的子分配。基于任务最早完成时间的降序排列进行任务选择,在虚拟机可重用的情况下根据单个任务的子预算进行资源分配,保证工作流任务的顺利调度。引入5种常规类型的科学工作流进行实验,测试算法在不同类型工作流结构和不同预算约束下的性能,结果表明,FFTD算法在72%、88%、84%的实验场景中相比BDT-AI算法具有更高的虚拟机资源利用率、预算约束满足率以及更短的调度时间,综合性能更优。     

基于改进遗传算法的工作流调度研究

在资源受限工作流系统中,任务的执行顺序和资源分配对工作流执行时间有很大影响。文中就此问题提出了一种新的方法,把工作流调度分为计划和执行两个阶段,先运用改进的遗传算法对工作流系统中的任务执行顺序和资源分配做好全局优化,然后再按照计划执行,达到执行时间最短的目的。实验结果表明,与动态工作流调度方法以及标准遗传算法比较,在相同工作流中,当存在并发执行的任务时,基于改进后的遗传算法的调度方法能够做到全局资源分配最优,使得整个工作流系统在执行时间方面最短。     

基于改进遗传算法的工作流调度研究

在资源受限工作流系统中,任务的执行顺序和资源分配对工作流执行时间有很大影响.文中就此问题提出了一种新的方法,把工作流调度分为计划和执行两个阶段,先运用改进的遗传算法对工作流系统中的任务执行顺序和资源分配做好全局优化,然后再按照计划执行,达到执行时间最短的目的.实验结果表明,与动态工作流调度方法以及标准遗传算法比较,在相同工作流中,当存在并发执行的任务时,基于改进后的遗传算法的调度方法能够做到全局资源分配最优,使得整个工作流系统在执行时间方面最短.     

Hadoop云平台下基于资源预估的作业调度算法

为解决Hadoop云平台下作业无法满足时间约束的问题,提出一种基于资源预估的作业调度算法。通过建立资源预估模型计算作业所需资源,然后结合作业间的资源竞争关系对完成时间进行判定,最后根据作业的数据本地性改进延迟调度策略。实验结果表明,本文算法能够满足作业对时间约束的需求,提升系统的资源利用率。     

基于局部关键路径与截止期限分配的云工作流调度算法

为了解决云计算中截止期限约束下的工作流调度代价优化问题,提出一种基于局部关键路径和截止期限分配的工作流任务调度算法。为了满足期限约束,并最小化执行代价,算法将工作流任务的调度过程划分为两个阶段:期限分配阶段和调度资源选择阶段。期限分配阶段定义工作流的局部关键路径,并以递归的方式在局部关键路径上的任务间进行子期限分配;调度资源选择阶段在满足任务子期限的同时,为每个任务选择执行代价最低的资源进行任务调度,以实现调度代价优化。分析算法的时间复杂度,并通过一个算例对算法的实现思路进行了详细阐述。通过科学工作流结构的仿真实验,证明了算法不仅可以满足截止期限约束,而且可以降低工作流任务的执行代价。     

混合云环境中数据敏感工作流调度

混合云环境下调度包含敏感数据的工作流主要考虑在满足数据安全性以及工作流截止时间的前提下,对工作流任务在混合云上进行分配,实现计算资源与任务的映射,并优化调度费用。采用了整数规划来建模求解包含数据敏感性、截止时间和调度费用3种约束条件的混合云工作流调度问题,同时为优化模型求解速度,基于“帕雷托最优”原理对工作流任务在混合云上的分配方案进行筛选以减小模型求解规模。实验表明,优先排除不合理的任务分配方案可有效减小整数规划模型的求解规模,缩短模型计算时间,在产生较小误差的情况下获得较优的调度结果。     

基于双层优先级的中继卫星系统任务调度算法

中继卫星系统在天基信息网中起着桥梁的作用。为充分利用卫星资源以提供快速可靠的数据中继服务,需要对高价值、高紧迫性的任务开展调度方法研究。首先,在分析中继卫星系统任务与资源的基础上,建立了多任务、多资源的调度模型。而后,提出了任务调度优先级和时间窗口选择优先级模型,并在此基础上提出了一种基于双层优先级的中继卫星系统调度算法。最后,根据算法在仿真算例中的应用可见：相比对照算法,基于双层优先级的调度算法更有利于满足高价值、高紧迫性任务的执行条件,从而提高了任务成功率和调度综合收益。     

基于工作流的卫星调度系统

根据当前卫星网络发展趋势和对卫星网络资源进行充分有效利用的应用需求,对卫星网络的特点进行了研究,分析了当前卫星调度系统研究的局限,并介绍了工作流模型以及根据卫星应用进行的相关改进.在此基础上,提出了一种针对由多个子任务构成的复杂任务,基于工作流模型的分层卫星调度系统.该卫星调度系统可以协同多种卫星资源,并自适应地调度卫星任务.对该卫星调度系统的体系结构、系统关键模块、调度流程以及几种优化机制进行了详细阐述.最后通过实验结果表明了该调度系统的可行性和有效性.     

云计算中一种多DAG工作流可抢占式调度策略

为解决多用户工作流调度过程中的公平性问题,提高资源利用率,满足不同用户DAG工作流的不同QoS需求,提出了抢占式多DAG工作流动态调度模型。该算法将DAG工作流按照QoS需求进行优先级划分,采用高优先级作业优先占有资源的原则调度作业。相同优先级DAG工作流的任务依据带有启发性信息的slowdown进行资源抢占,进一步提高了作业调度的公平性;对于不同优先级的作业调度,提出了基于阈值的回填算法,该算法在保证作业调度公平的同时提高了资源利用率。     

基于关键区间可靠度的网格工作流资源分配算法

目前针对执行时间限制严格的网格工作流资源调度与分配的研究工作已经取得了进展,然而这些工作没有考虑关键路径和非关键路径上任务执行时间的相对差异对资源分配算法产生的影响,这些算法或者仅考虑关键路径任务的资源可靠度问题而降低工作流执行成功率,或者仅考虑所有任务的资源可靠度问题而造成算法的低效率.针对这些问题,提出了一些新的定义,如关键区间和关键区间可靠度;同时也提出了一个新的网格工作流资源分配算法.与现有的分配算法相比,新的分配算法能既能保证限定期限内网格工作流执行成功率,又能提高资源分配效率.仿真结果证明了算法的正确性.     

一种基于任务的预警卫星传感器规则调度方法

对预警卫星传感器调度方法进行了研究。对预警任务的特性进行分析,提出了一种任务分解方法以简化任务与资源复杂的对应关系并减少任务对资源占用时间的需求;针对预警任务的动态性,设计了一种基于周期与事件相结合的调度策略;根据系统对时效性的要求,提出一种基于规则的调度算法,算法在调度速度和调度性能之间更加注重前者。仿真结果表明算法能够在给定时间内得到较为满意的调度方案。     

QoS约束云环境下的工作流能效调度算法

云环境可以为大规模工作流的执行提供高效、可靠的运行环境,但工作流执行时带来的高能耗不仅会增加云资源提供方的经济成本,还会影响云系统的可靠性,并对环境产生不利影响。为了在满足用户截止时间QoS需求的同时降低云环境中工作流调度的执行能耗,提出一种工作流能效调度算法QCWES。该算法将工作流的能效调度方案求解划分为3个阶段:截止时间重分配、任务调度选择排序以及基于DVFS的最佳资源选择。截止时间重分配阶段旨在将用户定义的全局工作流截止时间在各个任务间进行重分配,任务调度选择排序阶段旨在通过自顶向下的任务分级方式得到任务调度序列;基于DVFS的最佳资源选择阶段旨在为每个任务选择带有合适电压/频率等级的最优目标资源,在满足任务的子截止时间的前提下使总体能耗达到最小。通过随机工作流和基于高斯消元法的现实工作流结构,对算法的性能进行仿真实验分析。结果表明,所提算法可以在满足截止时间约束下降低工作流的执行能耗,实现用户方的QoS需求与资源方的能耗间的均衡。     

云计算资源纳什均衡优化分配方法改进

为提高云计算系统资源调度的均衡性,同时最大化资源提供者的利益,构建基于排队理论的云计算资源分配模型。考虑等待队列长度并以此作为资源分配的前提,结合纳什均衡理论分析资源调度策略,提出改进的资源分配算法(MRA),并将其与分布式计算架构Hadoop中的资源分配算法进行比较。实验结果表明,与公平调度算法、先入先出调度算法以及经典随机调度算法相比,MRA算法不仅可以实现用户对资源的公平共享,而且也能满足资源提供者对提高系统响应时间的需求。     

一种可靠性驱动的云工作流调度遗传算法

为了解决云环境中工作流调度的可靠性问题,提出了一种基于可靠性驱动信誉度模型的工作流调度遗传算法RDR-GA。算法以工作流执行跨度makespan与可靠性最优化为目标,设计了一种基于时间依赖的可靠性驱动信誉度模型,通过该模型可以有效评估资源可靠性。同时,为了寻找遗传最优解,算法设计了新的遗传进化和评估机制,包括：1)以进化算子对调度解中的任务-资源映射进行遗传进化;2)以两阶段MAX-MIN策略评估并决定调度解的任务执行序列。仿真实验结果表明,满足可靠性驱动的信誉度算法不仅能够以更精确的信誉度改善工作流应用执行可靠性,而且能够以比同类遗传算法更快的收敛速度得到进化更优解。     

网格计算中工作流调度的非合作博弈优化*

在异构网络计算问题中,网格计算方法通过引入资源共享机制,可解决复杂的计算任务。然而在网格环境中,需要对网络可获得的资源进行合理调度和协调,才可以获得良好的网络工作流,以及合适的网络性能和网络响应时间。为了提高网格计算方法的任务调度和资源分配的能力和性能,提出了一种基于非合作博弈方式的博弈模型。该模型通过设定使用户的资源分配所需时间和代价降低的解来增加代理的利润,激励资源代理使用一种优化调度算法,使资源调度的时间和代价都最小。仿真结果表明了该模型的可行性和适用性,并且基于该模型的遗传算法是最好的资源调度算法。