基于数据中心负载分析的自适应延迟调度算法

由于已有的延迟调度算法基于静态的等待时间阈值,因此不能适应云计算数据中心动态的负载变化。针对该问题,提出了等待时间阈值自适应调整模型。基于该模型,设计了自适应延迟调度算法(ADS)。ADS算法通过分析空闲计算节点的到达强度、网络带宽和作业执行状态等参数,自适应调整等待时间阈值,以减少作业响应时间。基于开发的原型系统,验证了自适应调整模型,测试了算法性能。结果表明,ADS算法在作业响应时间等方面优于已有的延迟调度算法。     

基于动态等待时间阈值的延迟调度算法

针对已有的延迟调度算法存在的两个问题,即建立在节点会很快空闲的理论假设下有一定限制,当节点不会很快空闲时算法性能严重下降和基于静态的等待时间阈值不能适应云计算数据中心动态的负载变化及不同用户作业的需求,提出了一种基于动态等待时间阈值的延迟调度算法(dynamic waiting time delay scheduling,DWTDS)。该算法通过给无本地数据节点设置节点最大等待时间,以适应节点不会很快空闲的情况;通过分析数据中心各动态参数,根据概率模型调整作业的等待时间阈值。实验验证该算法在响应时间及负载均衡性方面优于已有的延迟调度算法。     

关联性驱动的大数据处理任务调度方案

目前大数据处理过程较少关注任务所处理数据间的依赖关系,在任务执行过程中可能产生大量数据迁移,影响数据处理效率。为减少数据迁移,提升任务执行性能,从数据关联性及数据本地性两个角度出发,提出了一种数据关联性驱动的大数据处理任务优化调度方案：D³S²（Data-Dependency-Driven Scheduling Scheme）。D³S²由两部分组成：（1）数据关联性感知的数据优化放置机制（DAPM：Dependency-Aware Placement Mechanism）,根据日志信息挖掘数据关联性,进而将强关联的数据聚合并放置于相同机架上,减少了跨机架的数据迁移;（2）数据迁移代价感知的任务优化调度机制（TASM：Transfer-Aware Scheduling Mechanism）,完成数据放置后,以数据本地性为约束,对任务进行统一调度,最小化任务执行过程中的数据迁移代价。DAPM和TASM互相提供决策依据,以任务执行代价最小化为目标不断迭代调整调度方案,直至达到最优任务调度方案。之后在Hadoop平台上进行了验证,实验结果表明,较之原生Hadoop,在不增加作业完成时间的基础上,D³S²减少了作业执行过程中的数据迁移量。关键词：数据关联性;数据本地性;数据放置;任务调度;迁移代价感知中图法分类号：TP311     

基于任务分类的延迟调度算法

MapReduce已经成为主流的海量数据处理模式,任务调度作为其关键环节已受到业界广泛关注。针对已有的延迟调度算法存在的问题,即建立在任务都是短任务的理论假设有一定限制,当节点处理不同长度的任务时算法性能严重下降和基于静态的等待时间阈值不能适应不同用户的作业需求,提出了一种基于任务分类的延迟调度算法。该算法通过给不同长度的任务设置不同的等待时间阈值,以适应不同作业的响应需求。通过分析各动态参数,根据所建任务模型调整任务的等待时间阈值。仿真验证该算法在响应时间及负载均衡性方面优于已有的延迟调度算法。