互补注意多样性特征融合网络的细粒度分类

作     者：黄港 郑元林 廖开阳 蔺广逢 曹从军 宋雪芳 Huang Gang;Zheng Yuanlin;Liao Kaiyang;Lin Guangfeng;Cao Congjun;Song Xuefang

作者机构：西安理工大学印刷包装与数字媒体学院西安710048 陕西省印刷与包装工程重点实验室西安710048 中国印刷与包装工程技术研究中心西安710048 

出 版 物：《中国图象图形学报》 (Journal of Image and Graphics)

年 卷 期：2023年第28卷第8期

页      面：2420-2431页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目(61771386,52075435) 陕西省自然科学基金项目(2021JM-340) 

主　　题：细粒度分类 多样性特征 潜在特征 特征融合 端到端学习 

摘      要：目的基于Transformer架构的网络在图像分类中表现出优异的性能。然而,注意力机制往往只关注图像中的显著性特征,而忽略了其他区域的次级显著信息,基于自注意力机制的Transformer也是如此。为了获取更多的有效信息,从有区别的潜在性特征中学习到更多的可判别特征,提出了一种互补注意多样性特征融合网络(complementary attention diversity feature fusion network,CADF),通过关注次显特征和对通道与空间特征协同编码,以增强特征多样性的注意感知。方法CADF由潜在性特征模块(potential feature module,PFM)和多样性特征融合模块(diversity feature fusion module,DFFM)组成。PFM模块通过聚合空间与通道中感兴趣区域得到显著性特征,再对特征的显著性进行抑制,以强制网络挖掘潜在性特征,从而增强网络对微小判别特征的感知。DFFM模块探索特征间的相关性,对不同尺寸的特征交互建模,以得到更加丰富的互补信息,从而产生更强的细粒度特征。结果本文方法可以端到端地进行训练,不需要边界框和多阶段训练。在CUB-200-2011(Caltech-UCSD Birds-200-2011)、Stanford Dogs、Stanford Cars以及FGVC-Aircraft(fine-grained visual classification of aircraft)4个基准数据集上验证所提方法,准确率分别达到了92.6%、94.5%、95.3%和93.5%。实验结果表明,本文方法的性能优于当前主流方法,并在多个数据集中表现出良好的性能。在消融研究中,验证了模型中各个模块的有效性。结论本文方法具有显著性能,通过注意互补有效提升了特征的多样性,以此尽可能地获取丰富的判别特征,使分类的结果更加精准。