激活函数的对比测试与分析

随着人工智能的发展、含有激活函数库开源框架的增加,针对激活函数库的对比与分析越来越重要。在Intel x86架构上进行实验,从函数性能、稳定性、精度3个方面测试并分析了PyTorch和TensorFlow两种主流人工智能框架中的常用激活函数。实验结果表明,PyTorch的整体稳定性要高于TensorFlow,且Sigmoid、Hardsigmoid、SeLU、ReLU、ReLU6、Tanh函数的性能皆优于TensorFlow;在精度方面,TensorFlow中除SeLU函数与LeakyReLU函数稍差些,其余函数与PyTorch表现相当。     

循环携带反依赖的MPI自动并行化研究

传统的面向MPI的自动并行化使用的依赖测试技术,只能确定代码中是否含有循环携带依赖,而不对循环携带依赖的类型进行判定。经研究发现,当循环携带的是反依赖时,代码仍然可以在一定条件下实现面向MPI的自动并行化。基于依赖测试方法和数据流信息,通过创建合理的依赖数据副本,提出了一种循环携带反依赖的MPI自动并行方法。实验结果表明,所提出的方法能够有效识别存在循环携带反依赖的并行循环,将其作为后端生成MPI代码的依据可有效提高MPI程序的效率。     

一个浮点数学函数库测试平台

数学函数库作为CPU软件的重要组成部分,对于高性能计算机平台上的科学计算、工程数值计算起着极为关键的作用.现有的测试工具只能片面地对函数库进行测试,没有从正确性、精度和函数性能这3方面加以考虑,而且往往只针对一类目标体系结构,适用性有限.针对现有测试工具的缺陷,提出了面向多目标体系结构、全面可复用的一体化测试平台BMltest(basic math library test).测试平台结合函数特征值、IEEE-754特殊数以及利用浮点数生成规则实现的全浮点域指数分布的IEEE-754规范数构造了测试集,有效提高了测试集浮点数的覆盖率;提出了基于多精度库MPFR(multiple-precision floating-point reliable library)的精度测试方法,提高了精度测试的可靠性;提出了基于代码隔离的性能测试方法,最大限度地降低了外部环境对性能测试的干扰.针对大量的浮点测试结果,给出了合理的结果评价方案.测试平台使用的测试集数据与函数做到了相关性的极大分离,保证了测试方法的普适性.通过对包括GNU,Open64及Mlib函数库内所有855个函数的测试结果表明:BMltest平台的测试数据集更全面、有效,精度测试方法更可靠;与其他测试平台相比,性能测试结果更准确、稳定.     

浮点数学函数异常处理方法

异常会造成程序错误,实现完全没有异常的浮点计算软件也很艰难,因此,实现有效的异常处理方法很重要.但现有的异常处理并不针对浮点运算,并且研究重点都集中在整数溢出错误上,而浮点类型运算降低了整数溢出存在的可能.针对上述现象,面向基于汇编实现的数学函数,提出了一种针对浮点运算的分段式异常处理方法.通过将异常类型映射为64位浮点数,以核心运算为中心,将异常处理过程分为3个阶段:输入参数检测(处理INV异常)、特定代码检测(处理DZE异常和INF异常)以及输出结果检测(处理FPF异常和DNO异常),并从数学运算的角度对该方法采用分段式处理的原因进行了证明.实验将该方法应用于Mlib浮点函数库,对库中600多个面向不同平台的浮点函数进行了测试.测试结果表明:该方法能够将出现浮点异常即中断的函数个数从90%降到0%.同时,实验结果验证了该方法的高效性.     

Posit:一种挑战浮点计算标准的新型数据类型的研究

IEEE 754标准的浮点数(以下简称Float)虽然较好地实现了实数的近似表示,但因其设计原理在精确度等方面存在很多不可避免的问题。针对这些问题,John L. Gustafson教授提出了一种新型数制度系统Posit,旨在替代Float。相对于Float,Posit在精度、动态范围等方面有很多优势。详细介绍了Posit数制系统,概述了针对Posit开展的验证实验及Posit的适用领域。这些研究既具有开创性又很有挑战性,对Posit的发展与应用具有积极的意义。     

RISC-V基础数学库性能优化

基础数学库作为计算机系统最基础的软件库之一，其性能是影响上层应用执行效率的主要因素之一。现有的RISC-V基础数学库虽然可以实现正确计算，但其源码中存在大量访存指令和冗余指令，导致函数性能不高；同时RISC-V数学函数的汇编代码量大，分支判断复杂，增加了直接优化的难度。针对上述问题，遵循从局部到整体的优化思路，提出了RISC-V数学函数的关键路径自动检测方法，重点解决对关键分支进行优化时其他分支寄存器依赖易被改变的问题。依据队列式寄存器分配策略，对同一路径内寄存器进行再分配，提高了寄存器利用率，最大限度地减少了访存指令数。此外，还对冗余指令进行了组合功能重构。实验结果表明，67个RISC-V数学函数由平均144个时钟周期优化为85个时钟周期，性能平均提升了29.61%。     

基于连分式逼近的精度测试方法

针对现有精度测试方法适应性低、收敛速度慢的问题,提出了一种基于连分式逼近的初等函数精度测试方法。通过对最后一位表示的单位(ULP)的误差的分析以及对几种计算函数真值方法的对比,给出了精度测试方法的主要算法实现,并从时间复杂度及收敛阶两个方面进行了理论分析及实验验证。结果表明,该方法在精度测试方面更有效,复杂度更低,收敛速度更快。     

向量数学库的向量化方法研究

SIMD技术的出现使得基础数学库扩展到向量数学库成为必然趋势。基础数学库中多数函数存在代码实现复杂、分支判断多的特点,增加了向量化的难度,同时SIMD指令的不完备导致函数中的部分功能无法直接向量化,频繁的拆分和拼接操作降低了函数的性能。针对这些问题,提出了向量数学库的向量化方法,通过确定核心代码段、数据预处理过程向量化及指令向量化3个步骤,可以快速有效地对基础数学库进行向量化。实验表明,运用该方法,exp,pow,log10等典型函数的性能平均提高了24.2%。