基于Adam优化的卷积神经网络随机共振现象研究

文中利用随机共振对改善Adam优化的卷积神经网络在算力有限下的性能进行了研究。对反向传播算法采用动量梯度下降算法去更新参数的网络进行Adam优化，利用MNIST手写数字集进行仿真实验，在论文实验条件下，跟动量梯度下降算法的网络相比，Adam优化的网络在前15次epoch下交叉熵降低，增加训练样本数量可以使得交叉熵的降低幅度减小。论文对Adam优化的卷积神经网络的输出神经元加入高斯噪声，仿真结果表明，交叉熵减少百分比出现了随机共振现象，增加训练样本数量可以使得随机共振现象的效果减小。