用于深度学习的一种改进L-BFGS算法
An improved L-BFGS algorithm for deep learning作者机构：天津大学数学学院天津300350
出 版 物：《首都师范大学学报（自然科学版）》 (Journal of Capital Normal University：Natural Science Edition)
年 卷 期：2021年第42卷第5期
页 面：8-14页
学科分类：07[理学] 070104[理学-应用数学] 0701[理学-数学]
摘 要：本文提出了一种改进的L⁃BFGS算法,该算法利用相邻迭代点梯度之差,以及由此定义的矩阵与向量之间的乘积的线性组合来更新向量对,进而构造新的Hessian矩阵近似.改进算法将迭代方向进行单位化,以保证所提算法的稳定性.在MNIST和CIFAR10数据集上进行了实验,结果表明改进的算法具有更好的稳定性,与带动量的随机梯度下降法、AdaGrad以及L⁃BFGS等算法相比,具有更好的实验表现.
维普期刊数据库
同方期刊数据库