面向GPU集群的动态资源调度方法 |
| |
引用本文: | 傅懋钟,胡海洋,李忠金.面向GPU集群的动态资源调度方法[J].计算机研究与发展,2023(6):1308-1321. |
| |
作者姓名: | 傅懋钟 胡海洋 李忠金 |
| |
作者单位: | 1. 杭州电子科技大学计算机学院;2. 浙江省北大信息技术高等研究院智能软件技术与应用研究中心 |
| |
基金项目: | 浙江省自然科学基金项目(LY22F020021);;国家自然科学基金项目(61802095,61572162)~~; |
| |
摘 要: | 深度神经网络(deep neural network,DNN)已广泛应用于人类社会的许多领域.大规模的DNN模型可显著提高识别精度,然而在单个GPU设备上训练大规模的DNN模型需要耗费大量的时间.因此,如何借助分布式深度学习(distributed deep learning,DDL)技术,在GPU集群上并行地训练多DNN模型已受到工业界和学术界的广泛关注.基于此,提出一种面向GPU集群的动态资源调度(dynamic resource scheduling,DRS)方法,解决异构带宽环境下具有截止时间要求的多DNN任务调度问题.具体来说,首先基于Ring-AllReduce通信方式构建资源-时间模型,以衡量DDL任务在不同资源方案下的运行时间;然后基于截止时间需求构建了资源-性能模型,以实现高效的资源利用;最后,结合上述资源-时间和资源-性能模型设计了DRS算法,为多DNN任务训练实现资源方案决策.在DRS算法中融入最近截止时间原则进行实际资源分配,并利用资源迁移机制减少调度过程中出现的资源碎片场景的影响.在4个NVIDIA GeForce RTX 2 080 Ti的GPU集群上的异构...
|
关 键 词: | 资源调度 GPU集群 分布式深度学习 异构带宽 资源迁移 |
|
|