神经架构搜索综述

作     者：孙仁科 皇甫志宇 陈虎 李仲年 许新征 SUN Renke;HUANGFU Zhiyu;CHEN Hu;LI Zhongnian;XU Xinzheng

作者机构：中国矿业大学计算机科学与技术学院江苏徐州221116 

出 版 物：《计算机应用》 (journal of Computer Applications)

年 卷 期：2024年第44卷第10期

页      面：2983-2994页

学科分类：08[工学] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(61976217) 徐州市科技计划项目(KC21193) 

主　　题：神经架构搜索 深度学习 机器学习 神经网络 搜索空间 搜索策略 性能评估策略 

摘      要：近几年,深度学习因具有强大的表征能力,已经在许多领域中取得了突破性的进展,而神经网络的架构对它的性能至关重要。然而,高性能的神经网络架构设计严重依赖研究人员的先验知识和经验,神经网络参数量庞大,难以设计最优的神经网络架构,因此自动神经架构搜索(NAS)获得了极大的关注。NAS是一种使用机器学习的方法,可以在不需要大量人力的情况下,自动搜索最优网络架构的技术,是未来神经网络设计的重要手段之一。NAS本质上是一个搜索优化问题,通过对搜索空间、搜索策略和性能评估策略的设计,自动搜索最优的网络结构。从搜索空间、搜索策略和性能评估策略这3个方面详细且全面地分析、比较和总结目前NAS的研究进展,方便读者快速了解神经架构搜索的发展过程和各项技术的优缺点,并提出NAS未来可能的研究发展方向。