基于特征共现的无监督哈希检索算法

作     者：张青露 陈壹华 ZHANG Qinglu;CHEN Yihua

作者机构：华南师范大学软件学院广东佛山528225 

出 版 物：《微电子学与计算机》 (Microelectronics & Computer)

年 卷 期：2024年第41卷第5期

页      面：22-30页

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：广东省基础与应用基础研究基金(2021A1515011171) 

主　　题：图像检索 注意特征融合 共现特征 无监督哈希 

摘      要：现有无监督哈希检索算法的关注点在于哈希映射过程中的信息损失以及生成哈希的质量问题,忽略了图像特征本身对检索精度的影响。为进一步提高检索的精度,提出一种改进的基于特征共现的无监督哈希检索算法(Unsupervised Hash retrieval algorithm based on Feature Co-occurrence,UHFC)。该算法共分为两个阶段:深度特征提取和无监督哈希生成。为提高图像特征的质量,UHFC在卷积神经网络(Convolutional Neural Network,CNN)结构的最后一层卷积后引入了共现层,用来提取特征之间的依赖关系。并用共现激活值的均值来表示共现程度,解决原共现操作存在相同两个通道的共现值不一致的问题;接着,在特征融合部分UHFC设计一种适用于共现特征融合的,结合空间注意力机制的注意特征融合方法(Attention Feature Fusion method based on Spatial attention,AFF-S)。通过注意力机制自主学习共现特征与深度特征融合的权重,降低特征融合过程中背景因素的干扰,提高最终图像特征的表达能力。最后,根据最优传输策略,UHFC采用双半分布哈希编码对图像特征到哈希码的映射过程进行监督,并在哈希层后添加一层分类层通过KL损失进一步提高哈希码所包含的图片信息,整个训练过程中无需数据集的标注,实现无监督哈希的生成。实验表明,UHFC对哈希编码质量改善较好,在Flickr25k和Nus-wide数据集上其平均均值精度(mean Average Precision,mAP)分别达到了87.8%和82.8%,相比于baseline方法分别提高了2.1%与1.2%,效果明显。