融合Swin Transformer的立体匹配方法STransMNet

作     者：王高平 李珣 贾雪芳 李哲文 王文杰 Wang Gaoping;Li Xun;Jia Xuefang;Li Zhewen;Wang Wenjie

作者机构：西安工程大学电子信息学院陕西西安710600 陕西省人工智能联合实验室西安工程大学分部陕西西安710600 

出 版 物：《光电工程》 (Opto-Electronic Engineering)

年 卷 期：2023年第50卷第4期

页      面：74-86页

核心收录：

学科分类：1305[艺术学-设计学（可授艺术学、工学学位）] 13[艺术学] 081104[工学-模式识别与智能系统] 08[工学] 0804[工学-仪器科学与技术] 081101[工学-控制理论与控制工程] 0811[工学-控制科学与工程] 

基　　金：国家自然科学基金资助项目(61971339) 陕西省自然科学基础研究计划项目(2022JM407) 

主　　题：立体匹配 Swin Transformer 深度学习 STransMNet 

摘      要：针对基于CNN的立体匹配方法中特征提取难以较好学习全局和远程上下文信息的问题,提出一种基于Swin Transformer的立体匹配网络改进模型(stereo matching net with swin transformer fusion,STransMNet)。分析了在立体匹配过程中,聚合局部和全局上下文信息的必要性和匹配特征的差异性。改进了特征提取模块,把基于CNN的方法替换为基于Transformer的Swin Transformer方法;并在Swin Transformer中加入多尺度特征融合模块,使得输出特征同时包含浅层和深层语义信息;通过提出特征差异化损失改进了损失函数,以增强模型对细节的注意力。最后,在多个公开数据集上与STTR-light模型进行了对比实验,误差(End-Point-Error,EPE)和匹配错误率3 px error均有明显降低。