基于自适应动量更新策略的Adams算法

作     者：李满园 罗飞 顾春华 罗勇军 丁炜超 LI Manyuan;LUO Fei;GU Chunhua;LUO Yongjun;DING Weichao

作者机构：华东理工大学信息科学与工程学院上海200237 

出 版 物：《上海理工大学学报》 (Journal of University of Shanghai For Science and Technology)

年 卷 期：2023年第45卷第2期

页      面：112-119页

学科分类：0810[工学-信息与通信工程] 08[工学] 0805[工学-材料科学与工程（可授工学、理学学位）] 0812[工学-计算机科学与技术（可授工学、理学学位）] 081202[工学-计算机软件与理论] 

基　　金：国家自然科学基金资助项目(62276097) 上海市自然科学基金资助项目(22ZR1416500) 上海市青年科技英才扬帆计划(20YF1410900) 上海市“科技创新行动计划”(21002411000) 

主　　题：优化算法 自适应动量更新策略 一阶动量 二阶动量 

摘      要：Adam算法是目前最常用的优化算法之一,但其面临学习率震荡导致模型不收敛问题,其改进算法AMSGrad也存在梯度递减导致的二阶动量失效问题。针对上述问题,提出了基于自适应动量更新策略的Adams算法。首先,通过为一阶动量和二阶动量引入自适应更新参数,并在最后的参数更新期间采用较小的一阶动量更新参数,构建了一种自适应的动量更新策略。其次,基于该更新策略,提出了一种能够快速收敛的Adams算法。最后,通过理论分析证明了Adams算法的收敛性。基于文本分类和图像分类的对比实验表明,相比于Adam和AMSGrad算法,Adams收敛速度更快、训练结果更好,且具有优秀的泛化能力;消融实验证明了Adams算法自适应动量更新策略的有效性。