基于改进实数编码遗传算法的神经网络超参数优化

作     者：佘维 李阳 钟李红 孔德锋 田钊 SHE Wei;LI Yang;ZHONG Lihong;KONG Defeng;TIAN Zhao

作者机构：郑州大学网络空间安全学院郑州450001 嵩山实验室郑州450000 互联网医疗与健康服务河南省协同创新中心(郑州大学)郑州450052 郑州市区块链与数据智能重点实验室(郑州大学)郑州450001 郑州大学计算机与人工智能学院郑州450001 军事科学院国防工程研究院工程防护研究所河南洛阳471023 

出 版 物：《计算机应用》 (journal of Computer Applications)

年 卷 期：2024年第44卷第3期

页      面：671-676页

学科分类：08[工学] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：嵩山实验室预研项目(YYYY022022003) 河南省重点研发与推广专项(212102310039) 

主　　题：实数编码 遗传算法 超参数优化 进化神经网络 机器学习 

摘      要：针对神经网络超参数优化效果差、容易陷入次优解和优化效率低的问题,提出一种基于改进实数编码遗传算法(IRCGA)的深度神经网络超参数优化算法——IRCGA-DNN(IRCGA for Deep Neural Network)。首先,采用实数编码方式表示超参数的取值,使超参数的搜索空间更灵活;然后,引入分层比例选择算子增加解集多样性;最后,分别设计了改进的单点交叉和变异算子,以更全面地探索超参数空间,提高优化算法的效率和质量。基于两个仿真数据集,验证IRCGA-DNN的毁伤效果预测性能和收敛效率。实验结果表明,在两个数据集上,与GA-DNN(Genetic Algorithm for Deep Neural Network)相比,所提算法的收敛迭代次数分别减少了8.7%和13.6%,均方误差(MSE)相差不大;与IGA-DNN(Improved GA-DNN)相比,IRCGA-DNN的收敛迭代次数分别减少了22.2%和13.6%。实验结果表明,所提算法收敛速度和预测性能均更优,能有效处理神经网络超参数优化问题。