基于深度学习的城市街景实例分割算法研究

作     者：黄乐平 

作者单位：哈尔滨工业大学 

学位级别：硕士

导师姓名：Leopoldo Garcia Franquelo

授予年度：2020年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 080204[工学-车辆工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 

主      题：实例分割 深度学习 计算机视觉 城市街景 

摘      要：随着汽车的普及和人民生活水平的提高,以及人工智能和计算机视觉技术的快速发展,智能汽车、自动驾驶成为人们对未来生活的新需求、新憧憬。感知环节作为自动驾驶系统的组成部分之一,为后续的决策和控制环节提供重要的信息,对于普遍存在的城市街景的环境感知效果则成为非常关键的问题。实例分割作为一种更符合人感知环境方式的技术能够帮助感知环节更好地建立对场景的理解。本文基于深度学习对城市街景的实例分割算法进行了研究,主要工作如下:首先,本文对双阶段实例分割网络进行网络结构轻量化的设计。分别通过Mo-bileNetV1、MobileNetV2、MobileNetV3三个网络,引入了深度可分离卷积、反残差线性模块、SE模块等结构。并与特征金字塔网络（FPN）结合进行多尺度信息的融合,作为双阶段实例分割算法的特征提取部分。其次,鉴于个别类别在数据集中缺乏的问题,本文通过COCO数据集的预训练提升网络的特征提取能力。最后,本文基于不同的算法方案,对非极大值抑制进行了改进,分别使用了 Soft-NMS和Fast-NMS两种方法。Soft-NMS在传统非极大值抑制的基础上,引入了 BBox置信度降低的机制,而Fast-NMS则通过矩阵计算和筛选机制的放松,对传统非极大值抑制进行了改进。本文实验采用Cityscapes数据集中的城市街景图片对算法进行训练和后续的验证,并分别评估了各算法方案的精度、速度和可视化效果。通过实验,MobileNetV3与FPN相结合,并经过COCO数据集预训练的方案获得了略高于Mask R-CNN的精度,且在其基础上提高了模型的预测速度,降低了模型的参数量和计算复杂度。而Soft-NMS和Fast-NMS两者在不增加网络参数量和训练难度的基础上,分别有效地提高了模型的精度,和模型实例分割预测的速度。