基于细节增强的双分支实时语义分割网络

作     者：郑秋梅 牛薇薇 王风华 赵丹 

作者机构：中国石油大学(华东)计算机科学与技术学院 

出 版 物：《计算机应用》 (Journal of Computer Applications)

年 卷 期：2024年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：国家自然科学基金(52074341,51874340) 中央高校基本科研业务费专项资金资助(19CX02030A) 

主　　题：实时语义分割 双分支 细节增强 特征融合 注意力机制 

摘      要：实时语义分割方法常利用双分支结构分别保存图像的浅层空间信息和深层语义信息。然而，当前基于双分支结构的实时语义分割方法重点研究挖掘语义特征，忽略了空间特征的保持，导致网络无法精准地捕捉图像内物体的边界和纹理等细节特征，最终分割效果欠佳。针对以上问题，提出基于细节增强的双分支实时语义分割网络（DEDBNet），多阶段增强空间细节信息。首先，提出细节增强双向交互模块（DEBIM），在分支间的交互阶段使用轻量空间注意力机制增强高分辨率特征图对细节信息的表达能力，促进空间细节特征在高低两分支上的流动，以加强网络对细节信息的学习能力；其次，设计局部细节注意力特征融合模块（LDAFF），在两分支末端特征融合的过程中同时对全局语义信息和局部空间信息进行建模，解决不同层次特征图之间细节不连续的问题；此外，引入边界损失，在不影响模型速度的情况下引导网络浅层对物体边界信息的学习。实验结果表明，所提网络在Cityscapes验证集上以92.3帧速率（FPS）获得78.2%的平均交并比（m IoU），在Cam Vid测试集上以202.8 FPS获得79.2%的m IoU。与深度双分辨率网络（DDRNet-23-slim）相比，m IoU分别提高了1.1%和4.5%。实验结果表明，DEDBNet能够准确地分割场景图像，并能满足实时性要求。