面向深度分类模型超参数自优化的代理模型

作     者：张睿 潘俊铭 白晓露 胡静 张荣国 张鹏云 ZHANG Rui;PAN Junming;BAI Xiaolu;HU Jing;ZHANG Rongguo;ZHANG Pengyun

作者机构：太原科技大学计算机科学与技术学院太原030024 北京工业大学信息学部北京100124 

出 版 物：《计算机应用》 (journal of Computer Applications)

年 卷 期：2024年第44卷第10期

页      面：3021-3031页

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：教育部人文社会科学研究项目(23YJCZH299) 山西省基础研究计划项目(20210302123216,202203021211189) 太原科技大学研究生联合培养示范基地项目(JD2022004) 太原科技大学研究生教育创新项目(SY2023040) 

主　　题：深度卷积神经网络 分类模型 超参数优化 代理模型 模型优化 

摘      要：为进一步提高深度分类模型超参数多目标自适应寻优效率,提出一种筛选式增强Dropout代理(FEDA)模型。首先,构建点对互信息约束增强的双通道Dropout神经网络,增强对高维超参数深度分类模型的拟合,并结合聚集选解策略加速候选解集的选取;其次,设计一种结合模型管理策略的算法FEDA-ARMOEA(FEDA model-A novel preference-based dominance Relation for Multi-Objective Evolutionary Algorithm)均衡种群个体的收敛性和多样性,协助FEDA提高深度分类模型训练及超参数自优化效率。将FEDA-ARMOEA与EDN-ARMOEA(Efficient Dropout neural Network-assisted AR-MOEA)、HeE-MOEA(Heterogeneous Ensemble-based infill criterion for Multi-Objective Evolutionary Algorithm)等算法进行对比实验,实验结果表明,FEDA-ARMOEA在56组测试问题中的41组上表现较好。在工业应用焊缝数据集MTF和公共数据集CIFAR-10上实验,FEDA-ARMOEA优化的分类模型的精度分别达到96.16%和93.79%,训练时间相较于对比算法分别降低6.94%~47.04%和4.44%~39.07%,均优于对比算法,验证了所提算法的有效性和泛化性。