基于Web数据的弱监督语义分割技术研究

作     者：张纯龙 

作者单位：南京大学 

学位级别：硕士

导师姓名：武港山

授予年度：2019年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：弱监督 语义分割 Web数据 显著性图 分割掩膜 

摘      要：图像语义分割任务的目的是对图像进行像素级识别,在自动驾驶、无人机飞行、地理信息系统、医疗辅助诊断、智能机器人等领域有着广泛的应用前景。随着深度网络广泛应用于图像识别与目标检测领域并取得了辉煌成果,语义分割研究也引入了深度卷积神经网络,并且取得了飞跃式进步。由于全监督语义分割的训练数据需要极耗资源的像素级标注,基于图像级标注的弱监督语义分割方法方兴未艾。在此背景下,本文针对基于深度卷积神经网络的弱监督语义分割任务进行了深入研究。目前的大多数弱监督语义分割方法是基于PASCAL VOC只有图像级标注信息的训练数据进行分割网络的训练,由于没有像素级真实值标注,只能用相对不够准确的近似值作为监督信息训练分割模型。训练数据的规模和作为监督信息的分割掩膜的精确程度,是目前大部分弱监督语义分割方法分割能力的瓶颈所在。本文分别针对这两个方面进行了研究探索,将带有噪声的大规模Web数据引入语义分割任务以弥补PASCAL VOC数据集在数据多样性复杂性方面的不足;对不同特性分割模型的预测结果进行融合,以提升送入分割网络的监督信息的准确性。本文的主要贡献如下:1.提出了一种基于纯Web数据的弱监督语义分割方法。通过类别信息从互联网上爬取大规模图像,先利用全部Web数据训练种子区域增长算法(DSRG)的分割网络,得到初始分割模型后对所有训练图像进行粗分割。通过分类网络阶段的聚类和粗分割阶段的图像复杂度评估对Web数据进行质量划分,从高到低分阶段训练语义分割网络。该方式有效抑制了低质量噪声数据对分割网络的负面影响,弥补了 Web数据质量不稳定的缺陷。实验结果验证了本方法的有效性,该方法降低了 Web噪声数据的人工清洗负担,性能指标不亚于目前最好的同类方法。2.提出了一种基于混合数据的弱监督语义分割方法。研究发现基于纯Web训练数据的分割方法在单标签图像的预测结果更胜一筹,在多标签图像的分割结果则差强人意;而基于人工标注标类别信息的PASCAL VOC数据集的分割方法更擅长处理多标签图像,在单标签图像上的分割结果没有前者细腻精准。本文融合了两种分割模型在PASCAL VOC训练数据的预测结果,生成了更加精准的分割掩膜作为监督信息,扩展了分割掩膜质量的衡量标准,对PASCAL VOC训练数据的分割掩膜进行了质量评估,将训练数据根据分割掩膜质量划分子集,并对低质量分割掩膜进行补偿,分阶段训练最终的分割网络。该方法能够有效利用两种分割模型在单标签和多标签图像上的优势,为最终的FCN分割网络提供更加精准的监督信息,在PASCAL VOC验证集和测试集上的性能指标超过同类弱监督语义分割方法。基于以上研究成果,分别实现了相应的弱监督语义分割原型系统,能够对输入图像进行分割预测,该系统实现了本文主要研究的重要中间步骤,同时也验证了本文主要工作的有效性。