| F1owS:一种MapReduce数据流公平调度方法 |
| |
| 引用本文： | 李奇原,刘杰,叶丹,许舒人. F1owS:一种MapReduce数据流公平调度方法[J]. 计算机科学, 2012, 39(9): 157-161 |
| |
| 作者姓名： | 李奇原 刘杰 叶丹 许舒人 |
| |
| 作者单位： | 1. 中国科学院软件研究所软件工程技术中心 北京100190;中国科学院研究生院 北京100190
2. 中国科学院软件研究所软件工程技术中心 北京100190 |
| |
| 基金项目： | 国家自然科学基金项目，国家科技重大核高基项目，国家科技支撑计划 |
| |
| 摘 要： | MapReduce Job的调度机制一直是学术研究的热点。在分析MapReduce数据流调度模型的基础上,提出一种面向MapReduce数据流的公平调度方法FlowS。该方法采用数据流池来分配资源以保证MapReduce数据流的隔离性,并且采用数据流池动态构建算法来确保资源的公平分配。实验表明,该调度方法可以有效提高Hadoop集群对MapReduce数据流的处理效率。
|
| 关 键 词： | MapReduce数据流 资源管理 公平调度方法 |
FlowS:A Fair Scheduling Method for Mapreduce Dataflow |
| |
| LI Qi-yuan , LIU Jie , YE Dan , XU Shu-ren. FlowS:A Fair Scheduling Method for Mapreduce Dataflow[J]. Computer Science, 2012, 39(9): 157-161 |
| |
| Authors: | LI Qi-yuan LIU Jie YE Dan XU Shu-ren |
| |
| Affiliation: | 1(Technology Center of Software Engineering,Institute of Software,Chinese Academy of Sciences,Beijing 100190,China)1(Graduate University,Chinese Academy of Sciences,Beijing 100190,China)2 |
| |
| Abstract: | MapReduce Job scheduling has been paid great attention in academic research. Based on the analysis ofMi1Reduce dataflow scheduling model,this paper presented a fair scheduling method for MapReduce dataflow-F1owS. Thismethod can not only provide the isolation of MapReduce dataflow through dataflow pools, but also assure the fairness ofresource allocation through dynamic construction algorithm. The results of experiences show that the proposed methodcan improve the processing efficiency of Hadoop Clusters. |
| |
| Keywords: | MapReduce dataflow Resource management Fair scheduling |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
| 点击此处可从《计算机科学》浏览原始摘要信息 |
|
点击此处可从《计算机科学》下载全文 |
