基于自适应静态数据布局策略的深度学习张量程序自动生成框架

如何确定静态数据布局是深度学习张量程序自动生成框架面临的重大挑战。Ansor作为目前应用最广泛、最具前景的此类框架,其根据预先指定的单一静态数据布局策略,训练性能预测模型,依据该模型搜索最佳性能的张量程序。但其存在单一策略非最优和性能预测模型不准确的问题。为此,本文提出基于自适应静态数据布局(AL)策略的深度学习张量程序自动生成框架AL-Ansor。AL-Ansor在搜索过程中自适应地选取多种静态数据布局策略,共同训练性能预测模型,从而搜索得到性能更高的张量程序。本文以32核Intel Xeon CPU为目标硬件平台,在多个卷积层上进行实验,结果表明,在同样的搜索次数下,相较于基于3种指定静态数据布局策略的Ansor,AL-Ansor生成的张量程序分别有13.81%、12.41%和16.59%的平均性能提升。     

面向低能耗的非精确异构多核上的运行时技术

为降低异构多核处理器芯片的能耗,为非精确异构多核平台提出了一种基于分层调节器的硬件抽象和搜索方法.该方法首先将异构多核硬件及其非精确参数抽象为树状结构,其次使用能效分数标定调节器树,最后在线搜索其路径,为程序的每个算法获得最佳的硬件及其参数配置.实验表明,该方法能够在满足用户精确度需求的前提下,相比于精确CPU核,平均降低40％的能耗,且能够很好地适应精确度需求的变化.