手绘草图检索研究及其在生成对抗学习中的应用

作     者：许广龙 

作者单位：广东财经大学 

学位级别：硕士

导师姓名：蔡佳

授予年度：2021年

学科分类：081203[工学-计算机应用技术] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：手绘草图检索 FG-SBIR 零样本学习 CycleGAN 

摘      要：手绘草图检索（SBIR）是图像检索领域的一个重要分支,它主要通过对物体外观的简单描绘,试图检索到相关的真实图片。细粒度手绘草图检索（FG-SBIR）则是更为精细的检索方式,然而,人类的手绘草图往往是笔划简单、高度抽象,并且充满许多不同的含义。这使得FG-SBIR问题更具有挑战性。本文提出了一个新的结合注意力机制求解FG-SBIR问题的新模型,通过引入联合损失函数,并用弹性网络对参数进行正则化处理。注意力机制用于施加权重,达到关注局部信息的作用,从而能更准确的提取图片局部特征。联合损失函数弥补了草图与真实图片间的领域间隙,实现更精细的跨域检索。而弹性网络正则化处理保证了草图的稀疏特性,防止过度稀疏。本文的模型在QMUL-shoe、QMUL-chair和QMUL-handbag三个细粒度手绘草图数据集上进行了有效性检验。接着,进一步研究了零样本情况下的手绘草图检索。首先,针对Cycle GAN网络在零样本草图检索上存在的不足,对其进行了改进,具体体现在:为了让模型能区分类别特征,引入了分类损失函数,使其更方便进行图像检索。同时,为了保持原始草图的特征,防止生成器过度学习,引入了恒等映射损失进行约束。接着,通过循环一致约束的思想,利用语义信息作为监督,实现了将草图和真实图片映射到一个共同的特征空间中。最后,在Sketchy（Extended）和TU-Berlin（Extended）两个数据集上证实了模型的有效性。