多模态交叉解耦的少样本学习方法

作     者：冀中 王思迪 于云龙 JI Zhong;WANG Sidi;YU Yunlong

作者机构：天津大学电气自动化与信息工程学院天津300072 浙江大学信息与电子工程学院浙江杭州310027 

出 版 物：《国防科技大学学报》 (Journal of National University of Defense Technology)

年 卷 期：2024年第46卷第1期

页      面：12-21页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：浙江省重点研发计划资助项目(2021C01119) 国家自然科学基金资助项目(62176178,62002320,U19B2043) 

主　　题：少样本学习 多模态学习 特征解耦 属性 

摘      要：当前的多模态少样本学习方法忽视了属性间差异对正确识别样本类别的影响。针对这一问题,提出一种利用多模态交叉解耦的方法,通过解耦不同属性语义特征,并经过特征重建学习样本的本质类别特征,缓解类别属性差异对类别判别的影响。在两个属性差异较大的基准少样本数据集MIT-States和C-GQA上进行的大量实验表明,所提方法较现有方法有较大的性能提升,充分验证了方法的有效性,表明多模态交叉解耦的少样本学习方法能够提升识别少量测试样本的分类性能。