| 异构环境下自适应Reduce任务调度算法的研究* |
| |
| 引用本文： | 付彦卓,张树东,李辉.异构环境下自适应Reduce任务调度算法的研究*[J].计算机应用研究,2018,35(7). |
| |
| 作者姓名： | 付彦卓 张树东 李辉 |
| |
| 作者单位： | 首都师范大学 信息工程学院,首都师范大学 信息工程学院,首都师范大学 信息工程学院 |
| |
| 基金项目： | 国家自然科学基金(31571563)；高可靠嵌入式系统技术北京市工程研究中心(2013BAH19F01)； |
| |
| 摘 要： | 在异构环境下的MapReduce编程模型中,Reduce任务的调度存在随机性,通常在分配任务时既没有考虑数据本地性,也没有考虑计算节点对当前任务的计算能力。针对以上问题,提出一种异构环境下自适应Reduce任务调度算法(SARS),该算法首先根据Reduce任务的输入数据分布选择所含数据量最大的机架；在选择计算节点的过程中,结合节点所含任务的数据量、节点的计算能力和当前节点的忙碌状态来选出任务的执行节点。最后实验结果表明,SARS算法减少了Reduce任务执行时的网络开销,同时也减少了Reduce任务的执行时间。
|
| 关 键 词： | MapReduce 异构环境 数据本地性 计算能力 |
| 收稿时间： | 2017/3/15 0:00:00 |
| 修稿时间： | 2017/4/18 0:00:00 |
Research on Adaptive Reduce Task Scheduling Algorithm in Heterogeneous Environment |
| |
| Fu Yanzhuo,Zhang Shudong and Li Hui.Research on Adaptive Reduce Task Scheduling Algorithm in Heterogeneous Environment[J].Application Research of Computers,2018,35(7). |
| |
| Authors: | Fu Yanzhuo Zhang Shudong and Li Hui |
| |
| Affiliation: | Capital Normal University ,College of information engineering,, |
| |
| Abstract: | |
| |
| Keywords: | MapReduce heterogeneous data locality computing power |
|
| 点击此处可从《计算机应用研究》浏览原始摘要信息 |
|
点击此处可从《计算机应用研究》下载全文 |
|
