面向小样本文本分类的互学习原型网络

作     者：刘俊 秦晓瑞 陶剑 董洪飞 李晓旭 LIU Jun;QIN Xiaorui;TAO Jian;DONG Hongfei;LI Xiaoxu

作者机构：中国航空综合技术研究所北京100028 兰州理工大学计算机与通信学院兰州730050 

出 版 物：《北京邮电大学学报》 (Journal of Beijing University of Posts and Telecommunications)

年 卷 期：2024年第47卷第3期

页      面：30-35页

核心收录：

学科分类：1205[管理学-图书情报与档案管理] 0810[工学-信息与通信工程] 1202[管理学-工商管理] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目(62176110) 军委装备发展部技术基础项目(221ZHK11015) 

主　　题：人工智能 文本分类 小样本学习 互学习 原型网络 

摘      要：小样本文本分类方法大多依赖于单一原型进行训练和推理,容易受到噪声等因素的影响,从而导致泛化能力不足。对此,提出了一种用于小样本文本分类的互学习原型网络。在保留现有算法通过文本嵌入特征直接计算原型的基础上,引入了基于转换器的双向编码表征模型,将文本嵌入特征输入模型中以生成新的原型;然后,利用互学习算法使这2个原型相互约束并进行知识交换,以过滤掉不准确的语义信息。此过程旨在提升模型的特征提取能力,并通过2个原型的共同决策来提高分类精度。在小样本文本分类数据集上的实验结果证实了所提方法的有效性。实验结果表明,在FewRel小样本关系分类数据集上,所提方法在类别为5且样本为1的分类实验中较当前最优方法的精度提高了2.97%,较类别为5且样本为5的分类实验中精度提高了1.99%。