基于类语义关系的类别激活谱提取方法研究

作     者：黄开旭 

作者单位：电子科技大学 

学位级别：硕士

导师姓名：孟凡满

授予年度：2020年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：类别激活谱 弱监督学习任务 深度学习 

摘      要：图像作为信息承载和传播的重要载体,是深度学习领域中的重要研究对象之一。随着信息技术的发展和大数据时代的到来,图像数据量正呈爆炸式增长。对于深度学习中的图像处理任务而言,大量图像数据需要海量的标注信息。而人工标注强监督标签十分耗时耗力,实际应用中所使用的图像数据库常缺乏充足的强监督标签。由于弱监督标签具有标注简单等特点,因此研究者转向了弱监督图像处理任务的研究。相对于强监督图像处理,弱监督图像处理任务具有标签标注成本低、训练数据丰富等优点。因此,针对弱监督图像处理任务的研究对于突破当前强监督图像处理任务过于依赖训练数据的瓶颈具有积极的意义。然而,图像级弱监督标签仅标注了图像中所含类别信息,面临将图像级类别信息转换为像素级对象区域信息的挑战。近几年,研究者提出了基于深度学习的类别激活谱提取方法。由于能够在深度语义空间捕获对象的可判别信息,类别激活谱方法有效提升了对象定位的性能。然而,现有的类别激活谱方法集中于考虑所有类别的单个分类模型,所提供的可判别信息有限,导致所提取得区域为局部区域而非全局区域。为此,本文基于类别语义关系构建携带多样可判别信息的多个分类网络,同时考虑构建基于正交的新型可判别谱提取网络模型,从而从本质上改善激活谱提取的性能。具体如下:1.本文研究了一种基于类别选择的类别激活谱提取方法。传统类别激活谱提取方法使用数据集中所有类别训练单一网络,没有考虑类别之间关系,所提取到的判别信息有限,导致生成的激活谱通常不完整,仅为局部可判别区域。针对该问题,本文通过研究类别之间关系,从类别之间的差异性出发,引入了类别选择方法,通过选择代表类别构建类别对,训练多个二分类网络以提取类别激活谱。针对低层特征信息丢失问题上,本文提出了一种不同层级特征谱融合结构。通过高低层特征信息融合,有效提升类别激活谱提取结果性能。2.本文研究了一种基于类别聚类的类别激活谱提取方法。由于基于类别选择的激活谱提取方法所需训练的模型过多,较为复杂。针对该问题,本文通过进一步研究类别之间关系,从类别之间的相似性出发,通过将相似类别聚类成类别簇作为新类别训练分类模型,训练少量多分类网络用以提取类别激活谱。该方法提取到的类别激活谱具有互补性,通过融合多个类别激活谱,获得了良好的性能。3.本文研究了一种基于特征正交的类别激活谱提取方法。本文提出的基于类别选择和基于类别聚类的激活谱提取方法均是从类别关系出发,没有针对提谱的任务需要对分类模型进行改进。因此本文引入特征正交模块和双分支分类网络,通过强迫双分支分类网络的两个子网络之间的特征正交,增强深度学习特征的判别能力。最后,将具有特征正交模块的双分支分类网络与类别聚类方法结合,进一步提升了类别激活谱提取的性能。