| 异构环境下基于双重预取的Hadoop调度算法 |
| |
| 引用本文： | 孙玉强,陆勇,王文闻,李媛媛,顾玉宛. 异构环境下基于双重预取的Hadoop调度算法[J]. 计算机测量与控制, 2016, 24(9): 172-175 |
| |
| 作者姓名： | 孙玉强 陆勇 王文闻 李媛媛 顾玉宛 |
| |
| 作者单位： | 常州大学 信息科学与工程学院,江苏 常州 213000,常州大学 信息科学与工程学院,江苏 常州 213000,常州大学 信息科学与工程学院,江苏 常州 213000,常州大学 信息科学与工程学院,江苏 常州 213000,常州大学 信息科学与工程学院,江苏 常州 213000 |
| |
| 基金项目： | 国家自然科学基金项目(11271057)；江苏省普通高校研究生科研创新计划项目(SCZ1412800004)。 |
| |
| 摘 要： | Hadoop处理海量数据时,无论是Map任务还是Reduce任务都需要耗费大量的时间传输数据,故提出一种基于双重预取的调度算法；该算法通过估算节点上任务执行的进度来预测Map任务的执行节点,然后通知节点提前预取所需的数据,并且在Map任务完成的数量达到预定值时,开始为Reduce任务预取部分数据；由于在异构的环境下集群中节点的性能各不相同,为此采取了改进的预测模型,以提高任务进度判断的准确性；实验证明,本算法在作业响应时间等方面优于现有的调度算法。
|
| 关 键 词： | Hadoop 异构环境 调度算法 双重预取 |
| 收稿时间： | 2016-02-29 |
| 修稿时间： | 2016-04-25 |
Scheduling Algorithm Based on Double Prefetching in Heterogeneous Hadoop Clusters |
| |
| Abstract: | |
| |
| Keywords: | |
|
| 点击此处可从《计算机测量与控制》浏览原始摘要信息 |
|
点击此处可从《计算机测量与控制》下载免费的PDF全文 |
|
