基于自蒸馏和双模态的室内场景解析算法

作     者：张喻铭 周武杰 叶绿 ZHANG Yuming;ZHOU Wujie;YE Lü

作者机构：浙江科技大学信息与电子工程学院杭州310023 

出 版 物：《浙江科技学院学报》 (Journal of Zhejiang University of Science and Technology)

年 卷 期：2024年第36卷第3期

页      面：218-227,270页

学科分类：08[工学] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家重点研发计划项目(2022YFEO196000) 国家自然科学基金项目(62371422) 

主　　题：室内场景解析 自蒸馏 多级级联 双模态 

摘      要：【目的】为了使室内机器人能准确地识别室内不同类别的物体,从而选择更安全可行的路线,提出一种用于室内场景解析的基于自蒸馏和双模态的自蒸馏多级级联网络(self-distillation multi-stage cascaded network,SMCNet)。【方法】首先,使用分割变换器(segmentation transformer,SegFormer)作为骨干网络以双流的方式分别提取三色图(red green blue,RGB)和深度图中的特征信息,得到4组特征输出;其次,设计了特征增强模块(feature enhancement module,FEM),将这四组特征进行特征增强后分组融合,以充分提取双模态特征中的有用信息并充分交融;最后,设计了自蒸馏监督模块(self-distillation supervision module,SSM),通过自蒸馏方法将高层特征中的有价值信息传递到低层特征中,并设计了多级级联监督模块(multi-stage cascaded supervision module,MCSM)进行跨层监督,得到最终的预测图。【结果】在室内场景双模态数据集纽约大学深度版本2(New York University Depth version 2,NYUDv2)和场景理解彩色-深度(scene understanding red green blue-depth,SUN RGB-D)上,相比已有的方法,本研究提出的模型在相同条件下得到的结果超过其他方法,均值交并比(mean intersection over union,MIoU)在NYUDv2和SUN RGB-D两个数据集上分别达到了57.3%和53.1%。【结论】SMCNet能比较准确地解析出室内场景中不同类别的物体,可为室内机器人获取室内视觉信息提供一定的技术支撑。