遥感场景理解中视觉Transformer的参数高效微调

作     者：尹文昕 于海琛 刁文辉 孙显 付琨 

作者机构：中国科学院空天信息创新研究院 中国科学院空天信息创新研究院网络信息体系技术科技创新重点实验室 中国科学院大学电子电气与通信工程学院 

出 版 物：《电子与信息学报》 (Journal of Electronics & Information Technology)

年 卷 期：2024年

核心收录：

学科分类：0810[工学-信息与通信工程] 12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081104[工学-模式识别与智能系统] 0835[工学-软件工程] 081002[工学-信号与信息处理] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家重点研发计划(2022ZD0118401) 

主　　题：遥感图像 场景分类 参数高效 深度学习 

摘      要：随着深度学习和计算机视觉技术的飞速发展，遥感场景分类任务对预训练模型的微调通常需要大量的计算资源。为了减少内存需求和训练成本，该文提出一种名为“多尺度融合适配器微调(MuFA)的方法，用于遥感模型的微调。MuFA引入了一个多尺度融合模块，将不同下采样倍率的瓶颈模块相融合，并与原始视觉Transformer模型并联。在训练过程中，原始视觉Transformer模型的参数被冻结，只有MuFA模块和分类头会进行微调。实验结果表明，MuFA在UCM和NWPU-RESISC45两个遥感场景分类数据集上取得了优异的性能，超越了其他参数高效微调方法。因此，MuFA不仅保持了模型性能，还降低了资源开销，具有广泛的遥感应用前景。