小批量随机块坐标下降算法

作     者：胡佳 郭田德 韩丛英 HU Jia;GUO Tiande;HAN Congying

作者机构：中国科学院大学数学科学学院北京100049 中国科学院大数据挖掘与知识管理重点实验室北京100190 

出 版 物：《运筹学学报》 (Operations Research Transactions)

年 卷 期：2022年第26卷第1期

页      面：1-22页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 07[理学] 070105[理学-运筹学与控制论] 0701[理学-数学] 

基　　金：国家自然科学基金(Nos.11731013,U19B2040,11991022) 中国科学院先导专项基金(No.XDA27000000) 

主　　题：块坐标下降 随机近似 随机(复合)优化 H?lder连续 非光滑 非凸优化 

摘      要：针对机器学习中广泛存在的一类问题:结构化随机优化问题(其中“结构化是指问题的可行域具有块状结构,且目标函数的非光滑正则化部分在变量块之间是可分离的),我们研究了小批量随机块坐标下降算法(mSBD)。按照求解非复合问题和复合问题分别给出了基本的mSBD和它的变体,对于非复合问题,分析了算法在没有一致有界梯度方差假设情况下的收敛性质。而对于复合问题,在不需要通常的Lipschitz梯度连续性假设条件下得到了算法的收敛性。最后通过数值实验验证了mSBD的有效性。