ConvFormer:基于Transformer的视觉主干网络

作     者：胡杰 昌敏杰 徐博远 徐文才 HU Jie;CHANG Min-jie;XU Bo-yuan;XU Wen-cai

作者机构：武汉理工大学汽车工程学院湖北武汉430070 武汉理工大学现代汽车零部件技术湖北省重点实验室湖北武汉430070 武汉理工大学汽车零部件技术湖北省协同创新中心湖北武汉430070 武汉理工大学湖北省新能源与智能网联车工程技术研究中心湖北武汉430070 

出 版 物：《电子学报》 (Acta Electronica Sinica)

年 卷 期：2024年第52卷第1期

页      面：46-57页

核心收录：

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：湖北省重大科技专项(No.2020AAA001 No.2022AAA001) 

主　　题：机器视觉 自注意力 主干网络 Transformer 

摘      要：针对主流Transformer网络仅对输入像素块做自注意力计算而忽略了不同像素块间的信息交互,以及输入尺度单一导致局部特征细节模糊的问题,本文提出一种基于Transformer并用于处理视觉任务的主干网络ConvFormer. ConvFormer通过所设计的多尺度混洗自注意力模块(Channel-Shuffle and Multi-Scale attention,CSMS)和动态相对位置编码模块(Dynamic Relative Position Coding,DRPC)来聚合多尺度像素块间的语义信息,并在前馈网络中引入深度卷积提高网络的局部建模能力.在公开数据集ImageNet-1K,COCO 2017和ADE20K上分别进行图像分类、目标检测和语义分割实验,ConvFormer-Tiny与不同视觉任务中同量级最优网络RetNetY-4G,Swin-Tiny和ResNet50对比,精度分别提高0.3%,1.4%和0.5%.