| 共享集群基于HDFS的数据块密度调度策略 |
| |
| 引用本文： | 杜红光,雷州,陈圣波.共享集群基于HDFS的数据块密度调度策略[J].计算机科学,2017,44(Z11):510-515. |
| |
| 作者姓名： | 杜红光 雷州 陈圣波 |
| |
| 作者单位： | 上海大学计算机科学与技术 上海200444,上海大学计算机科学与技术 上海200444,上海大学计算机科学与技术 上海200444 |
| |
| 摘 要： | 随着云计算技术和海量数据处理技术的发展,共享集群逐渐采用HDFS作为分布式文件系统并通过虚拟化的方式管理计算资源,为计算框架和应用提供运行资源,造成应用运行过程中计算资源和数据存储的分离。海量数据处理应用的数据本地性是影响其性能的关键因素之一。目前,共享集群管理框架调度器的研究主要集中在通过提升调度的并行度来提高系统的吞吐量和资源利用率,而其在调度的质量方面还存在一些缺陷,如应用的数据本地性问题。提出基于数据块密度的调度策略,来提高应用的数据本地性, 根据数据块的密度为应用等比例分配计算资源,减少应用运行过程中的跨主机I/O,从而提升应用的性能。实验表明,基于数据块密度的调度策略能够有效减少数据密集型作业的运行时间,该策略能够使应用达到90%的数据本地性。在测试应用WordCount和TeraSort中,该策略使应用缩短了20%左右的运行时间。
|
| 关 键 词： | HDFS 数据块密度 共享集群 调度策略 |
Data Block Density Scheduling Strategy Based on HDFS in Shared Cluster |
| |
| DU Hong-guang,LEI Zhou and CHEN Sheng-bo.Data Block Density Scheduling Strategy Based on HDFS in Shared Cluster[J].Computer Science,2017,44(Z11):510-515. |
| |
| Authors: | DU Hong-guang LEI Zhou and CHEN Sheng-bo |
| |
| Affiliation: | Department of Computer Science and Technology,Shanghai University,Shanghai 200444,China,Department of Computer Science and Technology,Shanghai University,Shanghai 200444,China and Department of Computer Science and Technology,Shanghai University,Shanghai 200444,China |
| |
| Abstract: | |
| |
| Keywords: | HDFS Data block density Shared cluster Scheduling strategy |
|
| 点击此处可从《计算机科学》浏览原始摘要信息 |
|
点击此处可从《计算机科学》下载全文 |
|
