首页 | 本学科首页   官方微博 | 高级检索  
     

异构环境下增强的自适应MapReduce调度算法
引用本文:杨立身,余丽萍.异构环境下增强的自适应MapReduce调度算法[J].计算机工程与应用,2013(19).
作者姓名:杨立身  余丽萍
作者单位:河南理工大学 计算机科学与技术学院,河南 焦作,454000
基金项目:国家自然科学基金(No.12A520021);河南省科学和技术部财政支持重点项目(No.122102310309,No.122102210117)。
摘    要:针对Hadoop默认调度算法和异构环境下LATE调度算法的不足,在SAMR调度算法的基础上提出了一种增强的自适应MapReduce调度算法。该算法记录了每个节点的历史信息,采用K-means聚类算法动态地调整阶段进度值以找到真正需要启动备份的落后任务。实验结果表明,增强自适应的MapReduce调度算法在提高任务执行时间的估算误差以及准确识别慢任务方面具有一定的有效性。

关 键 词:MapReduce  推测执行  异构环境  K-means算法

Enhanced adaptive MapReduce scheduling algorithm in heterogeneous environment
YANG Lishen , YU Liping.Enhanced adaptive MapReduce scheduling algorithm in heterogeneous environment[J].Computer Engineering and Applications,2013(19).
Authors:YANG Lishen  YU Liping
Abstract:
Keywords:MapReduce  speculative execution  heterogeneous environment  K-means algorithm
本文献已被 万方数据 等数据库收录!
设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号