基于性能预测的Map Reduce负载均衡优化 |
| |
引用本文: | 孙闯,尹长青,宋善威.基于性能预测的Map Reduce负载均衡优化[J].硅谷,2015(2):63-64. |
| |
作者姓名: | 孙闯 尹长青 宋善威 |
| |
作者单位: | 1. 同济大学软件学院,上海,201804 2. 同济大学设计创意学院,上海,201804 |
| |
基金项目: | 多摄像头的吸虫机绿色控害技术研究 |
| |
摘 要: | Hadoop作为一个开源云计算框架,因为其优秀的分布式存储能力及其上运行的Map Reduce计算框架,越来越多的公司用Hadoop处理庞大的数据。负载均衡对分布式计算的性能有重要影响,Hadoop基于最简单的hash算法对任务进行分派,并没有对异构环境及多任务运行环境的因素做过多考虑。为了解决上述存在的不足,我们提出一种负载均衡框架,对计算节点的性能情况进行监控,预测节点的计算能力,依据预测结果来对Map Reduce的计算任务进行分配,从而最大化分布式集群的计算能力。
|
关 键 词: | Hadoop Map Reduce 负载均衡 性能预测 |
本文献已被 CNKI 万方数据 等数据库收录! |
|