|
|||||
|
|
| 减少任务完成时间和数据局部性的数据复制及副本放置算法 | |
| 引用本文： | 廖仲夏,宋雨欣,廖启明.减少任务完成时间和数据局部性的数据复制及副本放置算法[J].电子测量与仪器学报,2018(2). |
| 作者姓名： | 廖仲夏 宋雨欣 廖启明 |
| 作者单位： | 郑州大学信息工程学院;郑州澍青医学高等专科学校卫生信息管理系; |
| 摘 要： | 针对Hadoop框架下map任务阶段的任务完成时间和数据局部性问题,提出了一种基于拉格朗日插值多项式的数据复制和数据副本放置算法.具体实现是通过使用拉格朗日插值多项式来预测数据文件的访问计数,从而优化每个数据文件的复制因子,自适应地决定是否产生一个新的副本,或使用已加载的数据作为缓存;并提出了一种数据副本放置算法来有效地减轻rack和rack-off局部性.性能仿真结果表明,数据复制和数据放置算法相比于Hadoop中默认的数据复制设置,在map阶段的任务完成时间平均降低了约9.6%.在数据局部性方面,具有node局部性的map任务数量增加了6.1%,而具有rack和rack-off局部性的map任务数量则分别减少了45.6%和56.5%. |
| 本文献已被 CNKI 等数据库收录！ | |