基于Transformer架构的城市街景语义分割方法研究

作     者：熊炜 赵迪 孙鹏 刘粤 

作者机构：湖北工业大学电气与电子工程学院 美国南卡罗来纳大学计算机科学与工程系 

出 版 物：《光电子·激光》 (Journal of Optoelectronics·Laser)

年 卷 期：2024年

学科分类：081603[工学-地图制图学与地理信息工程] 081802[工学-地球探测与信息技术] 07[理学] 08[工学] 070503[理学-地图学与地理信息系统] 0818[工学-地质资源与地质工程] 080203[工学-机械设计及理论] 0705[理学-地理学] 0816[工学-测绘科学与技术] 0802[工学-机械工程] 

基　　金：国家自然科学基金(62202148) 湖北省自然科学基金(2019CFB530) 湖北省科技厅重大专项(2019ZYYD020) 襄阳湖北工业大学产业研究院科研项目(XYYJ2022C05) 国家留学基金(201808420418)资助项目 

主　　题：Transformer 城市街景 上下文信息 语义分割 特征融合 

摘      要：针对部分Transformer网络在进行城市街景图像分割时，没有充分利用网络中的多尺度特征和上下文信息，导致分割结果部分大目标存在孔洞、小目标边缘分割不精细等缺陷。本文提出了基于Transformer架构的以提取多尺度特征和汇聚上下文信息为主的Trans-AsfNet方法解决此问题。该分割方法引入了Swin Transformer作为新的特征提取网络，加强信息的长距离依赖；提出了一种自适应子空间特征融合模块(Adaptive Subspace Feature Fusion， ASFF)加强网络对多尺度特征的提取能力，同时设计了一种有效全局上下文聚合模块(Efficient Global Context Aggregation， EGCA)提升网络的上下文信息聚合能力，利用丰富的多尺度信息进行特征解码与信息补偿，然后聚合不同尺度的上下文信息以强化理解目标的语义信息，进而消除大目标孔洞，提高小目标像素边缘分割精度。将Trans-AsfNet方法通过CamVid城市街景数据集验证测试，实验结果表明，该网络基本可以消除分割孔洞缺陷、提升小目标边缘的分割效果，在CamVid测试集上MIoU达到了69.5%。