OWL1范数约束回归模型的快速算法

作     者：门彦超 郦旭东 

作者机构：复旦大学大数据学院 

出 版 物：《运筹学学报(中英文)》 (Operations Research Transactions)

年 卷 期：2024年

核心收录：

学科分类：02[经济学] 0202[经济学-应用经济学] 020208[经济学-统计学] 07[理学] 0714[理学-统计学（可授理学、经济学学位）] 070103[理学-概率论与数理统计] 0701[理学-数学] 

基　　金：国家自然科学基金(Nos.12271107,62141407) 上海市科学技术委员会基础研究重点项目(No.21JC1400600) 

主　　题：OWL1范数 半光滑牛顿算法 邻近点算法 

摘      要：随着机器学习技术的发展,模型中的特征数量不断增加,如何进行有效的变量筛选成为一个非常重要的课题。为控制回归系数的错误发生率,Bogdan等(2015)提出在回归模型中加入OWL1范数正则项的SLOPE模型进行变量选择。与前者不同,本文考虑OWL1范数约束回归模型。该模型与SLOPE模型相似,采用多重假设检验的视角进行变量选择,并通过两个参数的调节,更灵活地控制检验的错误发现率。在算法方面,本文基于对偶半光滑牛顿的邻近点算法(PPDNA)快速求解了OWL1范数约束回归模型。该算法外层使用邻近点算法而内层利用半光滑牛顿法高效求解子问题。同时,本文利用了OWL1范数球投影算子广义Jacobian的特殊结构来加速内层算法中的牛顿线性系统的求解。最后,通过在模拟数据及大规模真实数据集上与两种流行算法进行对比,本文验证了新算法的稳健性与有效性。