基于语义先验知识迁移的小样本学习方法研究

作     者：王天硕 

作者单位：北京化工大学 

学位级别：硕士

导师姓名：李大字

授予年度：2024年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：小样本学习 图像识别 语义先验知识 知识迁移 

摘      要：近年来,深度学习模型在大规模标记训练数据中的成功应用为计算机视觉领域带来了革命性的进展。然而,深度学习模型对于标记样本的数量有着较强的依赖性。在实际应用中,人工标注的成本十分高昂,而且在某些领域中可获得的样本数量相当有限。这一状况使得传统依赖大量样本的学习方法面临挑战。为了应对这一问题,专注于充分利用有限标记样本实现模型训练的小样本学习方法应运而生。然而,由于数据量的匮乏,使得机器在少数训练样本上准确识别新类别仍然是一项具有挑战性的任务。 人类在模式识别的过程中展现出了卓越的学习能力,能够从几个例子中快速学习新的概念。这种能力源于人类善于利用多模态信息,从视觉、语义等不同的角度提取事物的特征,并且能够对已积累的先验知识进行迁移,以快速形成对新事物的理解。为了借鉴人类学习的这一特点,本文提出了以两种不同的语义先验知识迁移为基础的小样本图像识别方法,主要包括以下关键内容: (1)基于词嵌入特征引导的小样本图像识别方法:该方法首先将基本类别的视觉先验知识与每个新类别的支持样本特征嵌入到视觉原型中。随后,通过简单而有效的映射网络,将词嵌入向量映射为引导视觉特征的注意力权重,并将该权重施加在视觉原型上构建语义增强视觉原型进行分类。这一过程的核心目标是将词嵌入向量的先验知识迁移到视觉原型上辅助分类器执行特征选择,从而提升视觉原型的准确性和稳定性,使其更好地适应小样本学习的复杂场景。 (2)融合知识图谱特征迁移的小样本图像识别方法:该方法将知识图谱和基于词嵌入特征引导的视觉原型相融合,提出了一种统一的图像识别框架。通过充分利用类级语义信息,对知识图谱进行校验和修正,以消除图谱固有的噪声干扰。此外,通过密集的注意力加权知识图谱传播策略,充分挖掘图谱中的潜在信息,并将先验知识迁移到构建的基于知识的原型表示中,最后与语义增强视觉原型结合进行分类。该方法基于语义知识推理与视觉特征学习的协同作用,构建了更为稳定的原型表示,出色完成了小样本图像识别任务。 综上所述,本文以先验知识迁移为核心思想,以多模态信息融合的方式构建了小样本图像识别的框架。通过实现多种语义先验知识的迁移,克服在小样本学习任务中数据不足的问题,从而提高模型在新类别识别上的准确性和泛化能力。