有监督深度学习的优化方法研究综述

随着大数据的普及和算力的提升，深度学习已成为一个热门研究领域，但其强大的性能过分依赖网络结构和参数设置。因此，如何在提高模型性能的同时降低模型的复杂度，关键在于模型优化。为了更加精简地描述优化问题，本文以有监督深度学习作为切入点，对其提升拟合能力和泛化能力的优化方法进行归纳分析。给出优化的基本公式并阐述其核心；其次，从拟合能力的角度将优化问题分解为3个优化方向，即收敛性、收敛速度和全局质量问题，并总结分析这3个优化方向中的具体方法与研究成果；从提升模型泛化能力的角度出发，分为数据预处理和模型参数限制两类对正则化方法的研究现状进行梳理；结合上述理论基础，以生成对抗网络（generative adversarial network,GAN）变体模型的发展历程为主线，回顾各种优化方法在该领域的应用，并基于实验结果对优化效果进行比较和分析，进一步给出几种在GAN领域效果较好的优化策略。现阶段，各种优化方法已普遍应用于深度学习模型，能够较好地提升模型的拟合能力，同时通过正则化缓解模型过拟合问题来提高模型的鲁棒性。尽管深度学习的优化领域已得到广泛研究，但仍缺少成熟的系统性理论来指导优化方法的使用，...

Review of optimization methods for supervised deep learning