| HPMR内存管理模块优化设计 |
| |
| 引用本文： | 郑启龙,汪睿,王向前.HPMR内存管理模块优化设计[J].计算机系统应用,2011,20(8):104-109. |
| |
| 作者姓名： | 郑启龙 汪睿 王向前 |
| |
| 作者单位： | 1. 中国科学技术大学计算机科学与技术学院,合肥,230027
2. 安徽省高性能计算重点实验室,合肥,230026 |
| |
| 基金项目： | 工信部核高基重大专项(2009X01028-002-003); 安徽省自然科学基金(090412068) |
| |
| 摘 要： | HPMR系统是一个采用MapReduce模型的高性能计算软件支撑平台，它改进了MapReduce模型以适应高性能计算的需求。高效的HPMR系统内存管理模块是保证其效率的重要模块。HPMR系统中有两个角色，Master和Worker。Master负责从输入数据文件中读入数据块并分配给Workers。Worker负责接收master分配的数据块、管理map函数的输入输出模块的输入输出数据、管理reduce函数输入输出数据。目前的内存管理模块存在管理通信冗余、管理低效、数据处理并行不足等缺点。本文根据成熟的内存优化理论，重新设计了HPMR底层的数据管理机制，提出了基于内存池的内存管理。实验表明，新的内存管理模块是保证HPMR系统高效的必要条件。
|
| 关 键 词： | MapReduce HPMR 内存池 数据管理 |
| 收稿时间： | 2010/12/8 0:00:00 |
| 修稿时间： | 2011/1/15 0:00:00 |
Optimized Design for Memory Management Module in HPMR |
| |
| ZHENG Qi-Long,WANG Rui and WANG Xiang-Qian.Optimized Design for Memory Management Module in HPMR[J].Computer Systems& Applications,2011,20(8):104-109. |
| |
| Authors: | ZHENG Qi-Long WANG Rui and WANG Xiang-Qian |
| |
| Affiliation: | ZHENG Qi-Long,WANG Rui,WANG Xiang-Qian(School of Computer Science and Technology,University of Science and Technology of China,Hefei 230027,China)(Anhui Provincial Key Laboratory of High Performance Computing,Hefei 230026,China) |
| |
| Abstract: | HPMR is a high performance computing platform based on MapReduce model.It has improved the MapReduce model to meet the need of high performance computing.Efficient memory management module ensures the efficiency of HPMR.There are two roles in HPMR,Master and worker.Master reads data blocks from the input data file and assign them to workers.Worker receives the data blocks from master,manages input and output module of the map and reduce function.The current memory management module in HPMR has some shortcom... |
| |
| Keywords: | MapReduce HPMR memory pool data management |
| 本文献已被 CNKI 维普 万方数据 等数据库收录！ |
| 点击此处可从《计算机系统应用》浏览原始摘要信息 |
|
点击此处可从《计算机系统应用》下载全文 |
