TensorFlow框架中OpenCL核函数的测试验证方案设计与实现

[目的]TensorFlow是人工智能领域最具代表性的深度学习框架.国产加速设备需要一个支持OpenCL的TensorFlow才能发挥其加速性能,为此需要将TensorFlow框架下的CUDA代码向OpenCL转换.如何验证OpenCL核函数的正确性,是研发任务面对的重要问题.[方法]基于TensorFlow动态链接库...     

TensorFlow中OpenCL核函数的实现与优化

目前,异构计算技术已经被广泛应用于人工智能领域,旨在利用以GPGPU为主的并行加速设备和CPU协同工作,更高效地完成大规模的并行计算.深度学习模型的构建、训练以及推理离不开机器学习框架的支持,但目前主流的机器学习框架基本仅支持CUDA异构编程模型.CUDA的私有性和封闭性导致机器学习框架严重依赖于英伟达GPGPU.众多其它厂商的硬件加速器,尤其是国产加速器难以充分发挥其在深度学习中的潜力.使用开源统一异构编程标准OpenCL代替私有的CUDA编程模型,是打破这一技术壁垒的有效方法.本文提出了TensorFlow中CUDA到OpenCL核函数的代码转换方案,总结整理了核函数转换的基本规则、典型难点问题的解决方法以及OpenCL核函数的性能优化等关键技术.本文首次完成了TensorFlow 2.2版本中135个OpenCL核函数的实现.经一系列测试验证,转换生成的135个OpenCL核函数能够在多种支持OpenCL标准的加速器上正确运行,优化后,近八成的OpenCL核函数在英伟达Tesla V100S上达到了与CUDA核函数相当的计算性能.测试结果验证了本文提出的CUDA到OpenCL核函...     

OclDNN:一种可应用于TensorFlow的通用DNN库

深度学习模型的构建、训练以及推理离不开TensorFlow等机器学习框架中深度学习算子的支撑，对于卷积、池化等深度学习中被高频调用或计算量较大的算子，机器学习框架一般通过调用深度神经网络（DNN）库来提升计算效能。现有DNN库主要由英伟达、AMD等少数国外厂商开发并根据自有硬件设备特点进行优化，但其封闭性导致其他厂商生产的通用加速器难以在深度学习领域发挥作用。为解决现有DNN库无法支持国产加速器的问题，使得深度学习模型能够调用国产加速器进行运算，研究跨平台的通用DNN库，通过对开源MIOpen的结构特点和调用方式进行分析，提出修改和重构该库的方法，并实现一种基于OpenCL的DNN(OclDNN)库。考虑到TensorFlow较高的流行度及其对DNN库调用的特殊性与复杂性，研究通用DNN库在TensorFlow中的集成方法，通过StreamExecutor中的OpenCL平台实现对OclDNN的调用。实验结果表明，OclDNN在英伟达、华为等不同厂商的计算设备上运算结果正确可靠，在相同实验环境下，深度学习算子使用OclDNN时的加速性能比传统CPU并行算法提升了5～60倍。