基于实例判别与特征增强的单图三维模型检索

作     者：刁振宇 韩小凡 张承宇 聂慧佳 赵秀阳 牛冬梅 

作者机构：山东省泛在智能计算重点实验室济南大学信息科学与工程学院 

出 版 物：《山东大学学报(工学版)》 (Journal of Shandong University(Engineering Science))

年 卷 期：2024年

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(62102163) 山东省高等学校青年创新团队发展计划资助项目 

主　　题：三维模型检索 度量学习 对比学习 多模态 跨模态检索 

摘      要：为减小图像检索三维模型算法中图像域和模型域间的模态差距,提出一种由4个模块组成的神经网络算法模型。数据交换模块通过一定概率交换图像和三维模型数据,使图像域网络具有模型域特征学习能力,模型域网络具有图像域特征学习能力,初步减小模态差距。特征对齐模块有实例样本判别损失函数和图像模型配对损失函数,进一步对齐图像域和模型域。实例判别损失函数将每个实例视为独立个体类,对其进行分类,使相同实例的图像和三维模型的特征相似。图像模型配对模块旨在拉近相同实例的图像和三维模型,推远不同实例的图像和三维模型。基于对比学习在图像域中增加特征增强模块,提高图像域内特征区分性。试验结果表明,提出的算法在3个常见数据集Pix3D、CompCars和StanfordCars上取得良好效果,检索精度较现有经典方法最高提高4.5%。实现图像域和三维模型域对齐,减小模态差距,提高图像检索三维模型精度。