基于样本动态权重的课程式半监督学习方法

作     者：朱徽 胡斌 宋怡宁 赵晓芳 ZHU Hui;HU Bin;SONG Yining;ZHAO Xiaofang

作者机构：中国科学院计算技术研究所北京100190 中国科学院大学北京100049 中央军委国防动员部信息中心北京100034 中科苏州智能计算技术研究院苏州215028 

出 版 物：《高技术通讯》 (Chinese High Technology Letters)

年 卷 期：2024年第34卷第4期

页      面：342-355页

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家重点研发计划(2021YFF0703800)资助项目 

主　　题：半监督学习 特征表示向量 课程学习 特征原型 语义相关度 

摘      要：本文针对半监督场景中极度匮乏的监督信号导致的标签传播困难、模型训练严重受噪声干扰等问题展开研究。伪标签化带来的噪声和低数据利用率导致的确认偏差,会随着自训练过程造成错误累积,进而形成不可逆偏差,损害性能。本文提出基于样本动态权重的课程式半监督学习方法,旨在通过非离散的课程设计,鼓励模型由简单至困难地利用样本,逐步构建分类面,进而缓解伪标签化过程中的噪声产生,增强模型泛化能力。从类内角度,提供弱监督信号的高置信度伪标签被混合用于构建特征原型,估计样本的学习难度。从类间角度,标签嵌入被用于评估类间语义相关度,课程式地减弱训练前期对语义相关类别间的辨别。在通用的半监督学习基准数据集上进行了广泛的实验和分析,证明了方法的有效性。