基于深度语义哈希的跨模态检索方法的研究

作     者：翁玮薇 

作者单位：南京邮电大学 

学位级别：硕士

导师姓名：吴家皋

授予年度：2021年

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：跨模态检索 深度学习 哈希学习 多标签数据 双重注意力 

摘      要：跨模态检索是指具有不同模态形式的数据之间的相互检索,即以一种模态的数据作为查询去检索另一种模态数据的过程。哈希方法因其低存储成本、快查询速度的显著优势受到越来越多的关注并被广泛应用于跨模态检索领域。然而,很多基于哈希的跨模态检索方法用传统手工设计的方式提取特征,这种方式提取出的特征质量不高,会严重降低检索的准确率。近年来深度学习发展迅速,基于深度模型提取的高质量特征使得检索的准确率显著提高,从而受到广大学者的关注。但在检索中仍面临一个困难,即模态数据间的异构性会导致语义鸿沟,这也会影响检索性能的提升。因此,如何跨越异构模态的语义鸿沟成为跨模态检索面临的一大挑战。本文针对当前面临的问题,开展基于深度语义哈希的跨模态检索方法的研究。本文首先研究分析了深度学习的相关知识,为深度跨模态模型的构建奠定了基础。接着,研究了哈希学习相关的算法,为基于哈希的跨模态检索提供理论指导。此外,还研究了注意力机制的相关技术。最后,依据上述理论知识,本文提出了一个基于深度哈希的跨模态检索模型框架。在此基础上,本文提出了基于标签的深度语义哈希跨模态检索方法(Label-Based Deep Semantic Hashing for Cross-Modal Retrieval,LDSH)。该方法用深度神经网络将每种模态的特征学习和哈希码学习集成到同一个框架中,用标签构建一个能描述模态间相似程度的相似度保留矩阵,最大程度地保留各模态数据丰富的语义信息。此外,将分块结构(Block Structure,B-Structure)引入到模型中,用来解决哈希位之间的冗余问题。通过实验证明了该方法在提升跨模态检索准确率上的有效性。进一步,在LDSH基础之上进行更深入的研究,提出了基于双重注意力的深度语义哈希跨模态检索方法(Deep Semantic Hashing with Dual Attention,DSHDA)。该方法用多标签训练一个语义标签网络(Semantic Label Network,Se Lab Net)以提取出一致的语义信息引导各个模态网络的训练,最大化跨模态数据之间的语义相关性。此外,用局部注意力(Lo-Attention)提取每个模态数据的局部关键信息,改进提取出的特征质量。用联合注意力(Co-Attention)进一步解决语义分歧。实验结果表明该方法能进一步提升跨模态检索的准确率。本论文的研究成果可以为跨越语义鸿沟的跨模态检索的研究提供新的思路,也可以将其用于实际应用中,具有很好的理论价值和广泛的应用前景。