深度神经网络训练中梯度下降优化算法研究

作     者：姚敏达 

作者单位：天津科技大学 

学位级别：硕士

导师姓名：张传雷

授予年度：2022年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 0811[工学-控制科学与工程] 

主      题：梯度下降 学习率 批量大小 循环策略 深度神经网络训练 

摘      要：深度神经网络是整个深度学习领域的核心,而基于梯度下降法的反向传播算法又是整个神经网络体系的基石。目前深度神经网络的参数学习主要是通过梯度下降法来寻找一组最优参数,虽然深度神经网络具有非常强的能力,但对其优化却十分困难。首先,神经网络的损失函数是一个非凸函数,找到全局最优解比较困难。其次,深度神经网络的参数通常非常多,训练数据也非常大,这就使得计算代价很高的二阶优化算法无法使用,而一阶优化算法的训练效率通常比较低。因此,需要在深度神经网络的训练中选择合适的优化算法和训练算法。本文针对深度神经网络训练过程中所使用梯度下降法的优化问题和训练算法进行了相关研究,提出了基于多阶段训练的梯度下降优化算法,并在此基础上融入组合的思想,提出了基于多阶段训练和优化算法组合的梯度下降优化算法,最后提出了基于批量大小降低和循环策略的深度神经网络训练算法。本文主要完成了以下工作:首先,分析出梯度下降法在深度神经网络训练中起重要作用的三个影响因素:学习率、梯度以及批量大小;从学习率和梯度两个角度出发,分析出自适应优化算法是利用梯度实现学习率自适应调整的算法;在此基础上,提出了基于优化算法组合的梯度下降优化算法。其次,从Warmup、CLR和SGDR三种算法中得到启发,将多阶段的思想与组合思想融合并应用于梯度优化,提出基于多阶段训练和优化算法组合的梯度下降优化算法;通过大量的实验表明本算法具有良好效果,能提升深度神经网络模型的训练效果。最后,分别从统计学、训练时间、梯度变化以及泛化能力四个角度分析批量大小对神经网络训练的影响;考虑现实硬件限制,从更新参数时的梯度的变化、模型鲁棒性以及训练噪声分析了降低批量大小带来的优化效果;分析了循环思想在深度学习领域中的广泛应用的内在机理;融合降低批量大小与循环思想,提出基于批量大小降低与循环策略的神经网络训练算法;在大量实验中验证了所提算法的有效性。