联合语义分割和深度估计的交通场景感知算法
Traffic scene perception algorithm with joint semantic segmentation and depth estimation作者机构:厦门理工学院福建省客车先进设计与制造重点实验室福建厦门361024 厦门大学航空航天学院福建厦门361102
出 版 物:《浙江大学学报(工学版)》 (Journal of Zhejiang University:Engineering Science)
年 卷 期:2024年第58卷第4期
页 面:684-695页
核心收录:
学科分类:1305[艺术学-设计学(可授艺术学、工学学位)] 13[艺术学] 08[工学] 081104[工学-模式识别与智能系统] 0804[工学-仪器科学与技术] 081101[工学-控制理论与控制工程] 0811[工学-控制科学与工程]
基 金:福建省自然科学基金资助项目(2023J011439 2019J01859)
主 题:交通环境感知 多任务学习 语义分割 深度估计 Transformer
摘 要:受不同像素级视觉任务间的特征信息能够相互指导和优化的思路启发,基于多任务学习理论提出联合语义分割和深度估计的交通场景感知算法.提出双向跨任务注意力机制,实现任务间的全局相关性显式建模,引导网络充分挖掘和利用任务间互补模式信息.构建多任务Transformer,增强特定任务特征的空间全局表示,实现跨任务全局上下文关系的隐式建模,促进任务间互补模式信息的融合.设计编-解码融合上采样模块来有效融合编码器蕴含的空间细节信息,生成精细的高分辨率特定任务特征.在Cityscapes数据集上的实验结果表明,所提算法的语义分割平均交并比达到79.2%,深度估计均方根误差为4.485,针对5类典型交通参与者的距离估计平均相对误差为6.1%,能够以比现有主流算法更低的计算复杂度获得更优的综合性能.