基于深度神经网络框架的运行时系统调度策略研究

在训练神经网络时,为了进行动态并发更改和操作调度,提出对TensorFlow运行时系统进行扩展。研究考虑了2个模型。第1个模型利用回归模型,使用硬件计数器采集到的性能事件作为输入特征。其中,运行时系统利用不同的操作内并行度,对操作进行少量次数的动态分析,以选择这些特征。第2个模型利用爬山算法探索每个操作的最短执行时间和相应的线程数。为运行时调度提出了4种调度策略和组合策略。实验对残差网络-34(Residual Networks-34,ResNet-34)、生成对抗网络(GAN)、第2版经典网络(Inception-v2)和LSTM网络进行测试分析,结果表明,所提方法可以明显提高系统性能,优于推荐配置,接近或超过手动调整方案。因此,所提方法可以优化和提高神经网络的训练性能。