联合语义分割和深度估计的多任务学习研究

作     者：罗会兰 叶桔 LUO Huilan;YE Ju

作者机构：江西理工大学信息工程学院江西赣州341000 

出 版 物：《计算机科学》 (Computer Science)

年 卷 期：2023年第50卷第S1期

页      面：171-180页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(61862031,61462035) 省级学位与研究生教育教学改革研究项目重点项目(JXYJG-2020-120) 江西省教育厅科学技术研究项目(GJJ200859,GJJ200884) 

主　　题：多任务学习 语义分割 深度估计 压缩激励 可选择权重 

摘      要：语义分割和深度估计任务是对图像像素级分类的研究,是两个高度相关的任务。从共享特征学习和特征交互融合两个角度出发,提出两个不同的多任务学习架构,即基于压缩激励模块(Squeeze-and-Excitation,SE)和金字塔池化的多任务学习网络(Multi-task Learning with SE and Pyramid Pooling,MTL_SPP),以及基于压缩激励和可选择权重(Selective Weight,SW)的多任务学习网络(Multi-task Learning with SE and Selective Weights,MTL_SSW),来联合学习语义分割和深度估计。MTL_SPP架构由共享骨干特征网络和任务特定的子网络组成,利用SE模块构建任务特定子网络,并利用金字塔池化增强特征提取。MTL_SSW在MTL_SPP的基础上,让任务特定子网络的语义分割特征和深度估计特征通过SW模块进行相互指导和优化,学习对特定任务更具判别性的特征。实验结果表明,提出的两种方法在NYUD_v2和SUNRGBD两个数据集上获得了优于先进方法的效果。