| 基于垃圾回收的MapReduce作业内存调优 |
| |
| 引用本文： | 罗永刚.基于垃圾回收的MapReduce作业内存调优[J].四川大学学报(工程科学版),2015,47(6):104-112. |
| |
| 作者姓名： | 罗永刚 |
| |
| 作者单位： | 四川大学计算机学院 |
| |
| 基金项目： | 2013年度自然科学基金项目（61272447）,国家科技支撑计划资助课题（2012BAH18B05） |
| |
| 摘 要： | 针对合理管理MapReduce作业内存资源困难的问题，提出评估方法并给出优化配置建议。首先分析Java虚拟机的内存分配与垃圾回收的原理，给出垃圾回收重要指标；其次提出内存分配合理性评估的3种指标和评估方法；最后根据评估结果给出2种优化配置建议：一是通过使用聚类算法和统计信息来估计对象晋升的阈值，优化Java虚拟机的对象分配和垃圾回收性能；二是使用回归模型和搜索算法来预测作业合理的内存配置。实验结果表明，本文提出的方法能自动发现作业内存配置的不足并给出优化的配置建议。与采用机器学习方法相比，本文提出的方法不需要运行大量的测试，因此本文提出的方法能很好适用于MapReduce的生产集群环境。
|
| 关 键 词： | MapReduce Hadoop Java虚拟机 垃圾回收 资源优化 |
| 收稿时间： | 2014/12/10 0:00:00 |
| 修稿时间： | 2015/9/28 0:00:00 |
GC-based MapReduce Job Memory Tuning |
| |
| LUO YONGGANG.GC-based MapReduce Job Memory Tuning[J].Journal of Sichuan University (Engineering Science Edition),2015,47(6):104-112. |
| |
| Authors: | LUO YONGGANG |
| |
| Abstract: | |
| |
| Keywords: | MapReduce Hadoop JVM GC Memory tuning |
| 本文献已被 万方数据 等数据库收录！ |
| 点击此处可从《四川大学学报(工程科学版)》浏览原始摘要信息 |
|
点击此处可从《四川大学学报(工程科学版)》下载全文 |
