深度学习模型训练的优化器实验设计

针对目前国内对深度学习的卷积神经网络（Convolutional Neural Network,CNN）模型教学过程中，对优化器理论学习过程中存在实践不足问题，首先利用kaggle平台上的猫狗数据库，然后通过迁移学习方法设计猫狗识别的深度学习神经网络模型，最后分别选择AdaGrad、RMSProp和Adam三种不同的梯度下降优化算法，对同一网络模型结构进行训练。观察到使用AdaGrad算法对模型训练准确率可达84.1%,RMSProp优化算法对模型训练准确率可达85.6%,Adam算法对模型训练准确率可达86.3%。实验结果表明，在模型优化中，适合的优化算法不但会使模型收敛更快。也会影响模型的性能。同时加深学生理解不同优化器对模型的优化能力。