基于隐空间约束的自监督图像检索研究

作     者：胡鑫 

作者单位：电子科技大学 

学位级别：硕士

导师姓名：杨阳

授予年度：2022年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：图像检索 深度度量学习 自监督学习 隐空间约束 

摘      要：图像检索是计算机视觉领域的一个重要研究任务,在大规模数据库中对图像的内容进行判别,根据图像中标志性的特征进而检索出内容相似的图像。图像检索任务仍然面临着学习判别性表示和减少昂贵的劳动密集型注释的挑战。本文从两个方面分析了现有检索任务方法的不足:一方面,深度度量学习可以学习判别性表示,但现有方法忽略了正负样本本身的特征差异性,而且依赖标注性的数据;另一方面,自监督学习可以解决昂贵的劳动密集型注释问题,但现有方法中对损失的探索不够,不能使网络学习到一个更好的特征向量。本文主要研究将自监督学习和深度度量学习相结合解决上述问题的新型方法,提高图像检索性能。为了学习一个更优的特征表示,本文首先对深度度量学习进行了研究,设计出自适应权重损失,针对正负对本身的特征差异分别设计不同类型的加权函数。在两个基准数据集上的实验表明,自适应权重损失方法对性能的提升效果显著。在不同网络框架中的实验表明了它具备鲁棒性。本文基于MoCo模型分析自监督学习和深度度量学习的异同,将两者优点结合起来提出了基于隐空间约束的自监督图像检索,在自监督学习流程的不同阶段分别提出了隐空间约束改进方法:在预训练阶段,对对比损失进行加权来学习更好的表征,将改进后的模型参数迁移到精调阶段的模型中;在精调阶段,使用深度度量学习损失对隐空间分布进一步约束,提高模型在图像检索任务中的性能。在Image Net和CARS-196数据集上的实验表明了自适应权重损失设计原理及其方法对隐空间的分布进一步约束这种方法是有效的,以此来达到深度度量学习和自监督学习相结合,提升模型性能。自适应权重损失方法在图像-文本匹配和视频-文本匹配方面进行了进一步的扩展实验。在两个图像-文本检索和一个视频-文本检索框架上的性能提升不仅证明了自适应权重损失方法的鲁棒性,还为今后自适应权重损失在自监督多模态检索任务方向的研究提供了思路。