混合跨域神经网络的草图检索算法

作     者：李奇真 周圆 李绰 彭一南 梁先明 LI Qizhen;ZHOU Yuan;LI Chuo;PENG Yinan;LIANG Xianming

作者机构：中国电子科技集团第十研究所成都610036 天津大学电气自动化与信息工程学院天津300072 

出 版 物：《哈尔滨工业大学学报》 (Journal of Harbin Institute of Technology)

年 卷 期：2022年第54卷第5期

页      面：64-73页

核心收录：

学科分类：1305[艺术学-设计学（可授艺术学、工学学位）] 13[艺术学] 081104[工学-模式识别与智能系统] 08[工学] 0804[工学-仪器科学与技术] 081101[工学-控制理论与控制工程] 0811[工学-控制科学与工程] 

基　　金：国家重点研发计划(2020YFC1523204) 国家自然科学基金(62171320,U2006211) 

主　　题：草图检索 跨模态 神经网络 图像检索 

摘      要：基于草图的跨域图像检索任务以手绘草图为输入,从彩色图像数据库中检索得到最相似的图像。为了在基于草图的图像检索任务中,更好地融合来自草图和彩色图像的特征,本文提出了用于草图检索任务的混合跨域神经网络,由草图特征提取分支与异构特征融合的彩色图像网络分支组成。该网络提取获得手绘草图、正负样本彩色图像及其边缘轮廓的特征表示,并将彩色图像及其草图近似图(即彩色图像的边缘轮廓)进行特征融合,作为彩色图像特征,弥补了手绘草图与彩色图像直接匹配的跨域差距。通过对网络模型的参数与网络结构等方面探索,进一步优化草图检索算法。在Flickr15K草图检索数据集上的实验结果表明,本文提出的方法优于当前其他先进的草图检索算法,在检索平均精确度这个客观指标上达到了0.5848,相比其他方法中指标最优的值提升了0.0522。