自动化机器学习中的超参调优方法

作     者：张爱军 杨泽斌 Aijun Zhang;Zebin Yang

作者机构：香港大学统计与精算学系香港 

出 版 物：《中国科学：数学》 (Scientia Sinica：Mathematica)

年 卷 期：2020年第50卷第5期

页      面：695-710页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0701[理学-数学] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主　　题：自动化机器学习 超参调优 Bayes优化 序贯均匀设计 

摘      要：本文介绍近年逐渐兴起的自动化机器学习框架,着重讨论其中颇具挑战的超参调优问题.常用的调参方法有格子点法、随机搜索等批量抽样策略,还包括Bayes优化、群体搜索算法和强化学习等序贯策略.由方开泰和王元早在1990年提出的贯序数论优化算法,利用序贯均匀设计对复杂响应曲面寻求全局最优值,同样适用于超参调优.本文以支持向量机和极限梯度推进机这两种常用的机器学习模型为例,结合两组典型的二分类数据集,对多种超参调优方法进行测试.通过比较分析发现一种改进的贯序数论优化算法,对解决自动化机器学习中的调参问题,颇具潜力.