| 基于数据局部性的推测式Hadoop任务调度算法研究 |
| |
| 引用本文： | 刘 奎,刘向东,马宝来,王翠荣.基于数据局部性的推测式Hadoop任务调度算法研究[J].计算机应用研究,2014,31(1):182-187. |
| |
| 作者姓名： | 刘 奎 刘向东 马宝来 王翠荣 |
| |
| 作者单位： | 1. 东北大学秦皇岛分校 计算机与通信学院, 河北 秦皇岛 066004; 2. 东北大学 信息与工程学院, 沈阳 110000 |
| |
| 基金项目： | 国家自然科学基金资助项目（61070162, 71071028） |
| |
| 摘 要： | 针对Hadoop平台现有任务调度算法优化程度不高的问题, 提出了一种基于数据局部性的推测式任务调度算法。该算法通过计算节点上Map和Reduce任务时长比例, 结合不同节点上数据的局部特性, 采用了比现有算法更精确的任务进度探测方式找出快慢节点, 在快节点上启动剩余时间最长的落后任务的备份任务, 用移动计算代替移动数据。在Hadoop环境中进行了实验, 结果表明该算法比现有算法缩短了任务平均运行时间, 加快了任务的执行效率。
|
| 关 键 词： | Hadoop 任务调度 异构环境 数据局部性 |
Speculative task scheduling algorithm based on locality of data in Hadoop |
| |
| LIU Kui,LIU Xiang-dong,MA Bao-lai,WANG Cui-rong.Speculative task scheduling algorithm based on locality of data in Hadoop[J].Application Research of Computers,2014,31(1):182-187. |
| |
| Authors: | LIU Kui LIU Xiang-dong MA Bao-lai WANG Cui-rong |
| |
| Affiliation: | 1. College of Computer & Communication, Northeastern University at Qinhuangdao, Qinhuangdao Hebei 066004, China; 2. College of Information & Engineering, Northeastern University, Shenyang 110000, China |
| |
| Abstract: | |
| |
| Keywords: | Hadoop job scheduling heterogeneous environments locality of data |
|
| 点击此处可从《计算机应用研究》浏览原始摘要信息 |
|
点击此处可从《计算机应用研究》下载全文 |
|
