|
|||||
|
|
| 使用确定随机Petri网对Hadoop公平调度的建模和性能分析 | |
| 引用本文： | 何华,林闯,赵增华,庞善臣.使用确定随机Petri网对Hadoop公平调度的建模和性能分析[J].计算机应用,2015,35(5):1255-1261. |
| 作者姓名： | 何华 林闯 赵增华 庞善臣 |
| 作者单位： | 1. 天津大学 计算机科学与技术学院, 天津 300072; 2. 清华大学 计算机科学与技术系, 北京 100084; 3. 中国石油大学 计算机与通信工程学院, 山东 青岛 266510 |
| 基金项目： | 国家自然科学基金资助项目 |
| 摘 要： | 由于Hadoop能在同一时间处理多个用户提交的不同作业的多个任务,这使得用传统的方法对其进行建模和性能分析变得十分困难.为了解决这个问题,基于马尔可夫排队模型M/MMDP/C/K建立了一个随机Petri网(SPN)模型和一个确定随机Petri网(DSPN)模型来分别描述Hadoop调度中的数据状态和作业公平调度.通过设置DSPN中的使动谓词和随机开关来建模Hadoop公平调度和YARN公平调度.使用嵌入的马尔可夫链模型来分析单用户情景,而在分析多用户情景时则引入分解和迭代技术来减小模型的状态空间,从而避免产生状态爆炸问题.研究侧重于Hadoop中作业调度的平均性能,仅通过求解提出的分析模型,就可以对比和分析服务质量(QoS)的一些关键指标,如平均吞吐量、平均队列长度和平均时延.采用Matlab进行仿真:当每秒到达任务数大于等于20时,YARN算法的数据积压和平均时延明显少于公平算法;当每秒到达任务数大于等于30时,YARN算法的平均吞吐量明显高于公平算法.实验结果表明,YARN公平算法能够减少平均处理和排队等待时间,在平均吞吐量、平均队列长度和平均时延上明显优于公平算法. |
| 关 键 词： | Hadoop MapReduce 公平调度 随机Petri网(SPN) 确定随机Petri网(DSPN) 服务质量 |
| 收稿时间： | 2014-12-22 |
| 修稿时间： | 2015-03-29 |
Modeling and performance analysis of Hadoop fair scheduling using deterministic and stochastic Petri net |
|
| HE Hua,LIN Chuang,ZHAO Zenghua,PANG Shanchen.Modeling and performance analysis of Hadoop fair scheduling using deterministic and stochastic Petri net[J].journal of Computer Applications,2015,35(5):1255-1261. | |
| Authors: | HE Hua LIN Chuang ZHAO Zenghua PANG Shanchen |
| Affiliation: | 1. School of Computer Science and Technology, Tianjin University, Tianjin 300072, China; 2. Department of Computer Science and Technology, Tsinghua University, Beijing 100084, China; 3. College of Computer and Communication Engineering, China University of Petroleum, Qingdao Shandong 266510, China |
| Abstract: | |
| Keywords: | Hadoop MapReduce fair scheduling Stochastic Petri Net (SPN) Deterministic and Stochastic Petri Net (DSPN) Quality of Service (QoS) |
| 本文献已被 万方数据 等数据库收录！ | |
| 点击此处可从《计算机应用》浏览原始摘要信息 | |
| 点击此处可从《计算机应用》下载全文 | |