|
|||||
|
|
| 基于调度器的Hadoop性能优化方法研究 | |
| 引用本文： | 刘娟,豆育升,何晨,唐红.基于调度器的Hadoop性能优化方法研究[J].计算机工程与设计,2013,34(1):190-194. |
| 作者姓名： | 刘娟 豆育升 何晨 唐红 |
| 作者单位： | 1. 重庆邮电大学计算机学院,重庆400065;重庆邮电大学高性能计算与应用研究所,重庆400065 2. 重庆邮电大学高性能计算与应用研究所,重庆,400065 3. 重庆邮电大学计算机学院,重庆,400065 |
| 基金项目： | 国家自然科学基金项目(21073242) |
| 摘 要： | 为了提高Hadoop调度器的调度性能,缩短Hadoop集群的任务整体响应时间,提出了一种基于CPU占用率的动态调度改进算法.首先对Hadoop传统的性能优化方法进行了对比,指出其存在问题的关键是缺乏动态性和灵活性.在此基础上,深入分析Hadoop默认任务调度模型,提出了一种以CPU占用率作为负载指标,在循环分配任务时根据反馈的负载指标判断节点负载情况的算法,动态适应负载变化.实验结果表明,该算法在Hadoop集群中,能有效提高集群性能. |
| 关 键 词： | Hadoop 负载 CPU占用率 云计算 动态调度 |
Research of Hadoop performance optimization based on the scheduler |
|
| LIU Juan , DOU Yu-sheng , HE Chen , TANG Hong.Research of Hadoop performance optimization based on the scheduler[J].Computer Engineering and Design,2013,34(1):190-194. | |
| Authors: | LIU Juan DOU Yu-sheng HE Chen TANG Hong |
| Affiliation: | 1(1.College of Computer Science and Technology,Chongqing University of Posts and Telecommunications,Chongqing 400065,China;2.Institute of High Performance Computing and Application,Chongqing University of Posts and Telecommunications,Chongqing 400065,China) |
| Abstract: | |
| Keywords: | |
| 本文献已被 CNKI 万方数据 等数据库收录！ | |