前馈神经网络导数特性分析

为分析前馈神经网络输出量的一阶、二阶偏导数特性,从一层网络结构入手,推导网络输出量的一阶偏导数,应用链式求导法则,推导多层网络输出量的一阶、二阶偏导数的计算公式。在此基础上推导网络的三阶偏导数,并针对二层结构网络,在其输出层激活函数为线性函数时,推导出该网络对输入量的高阶偏导数计算公式。实例分析结果表明,前馈神经网络一阶、二阶偏导数值的精度比网络输出值的精度要低,尤其是在区间的边界上有时会出现较大的偏差。网络的一阶、二阶偏导数值的精度也会随着隐含层神经元数量的增加明显降低,在基本相同的网络训练精度下,隐含层神经元较多的网络比神经元少的网络导数特性差。