基于有偏采样的连续进化神经架构搜索

作     者：薛羽 卢畅畅 XUE YU;LU Changchang

作者机构：南京信息工程大学软件学院江苏南京210044 

出 版 物：《计算机工程》 (Computer Engineering)

年 卷 期：2024年第50卷第2期

页      面：91-97页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金面上项目(61876089) 

主　　题：神经架构搜索 网络性能评估 超网络 有偏采样 权重耦合 

摘      要：由于需要对每一个搜索到的架构进行独立的性能评估,神经架构搜索(NAS)往往需要耗费大量的时间和计算资源。提出一种基于有偏采样的连续进化NAS方法(OEvNAS)。OEvNAS在架构搜索过程中维护一个超网络,搜索空间中所有的神经网络架构都是该超网络的子网络。在演化计算的每一代对超网络进行少量的训练,子网络直接继承超网络的权重进行性能评估而无需重新训练。为提高超网络的预测性能,提出一种基于有偏采样的超网络训练策略,以更大的概率训练表现优异的网络,在减少权重耦合的同时提高训练效率。此外,设计一种新颖的交叉变异策略来提高算法的全局探索能力。在NATS-Bench和可微分架构搜索(DARTS)两个搜索空间上验证OEvNAS的性能。实验结果表明,OEvNAS的性能超越了对比的主流算法。在NATS-Bench搜索空间上,提出的超网络训练策略在CIFAR-10、CIFAR-100和ImageNet16-200上均取得了优异的预测性能;在DARTS搜索空间上,搜索到的最优神经网络架构在CIFAR-10和CIFAR-100上分别取得了97.67%和83.79%的分类精度。