增强提示学习的少样本文本分类方法

作     者：李睿凡 魏志宇 范元涛 叶书勤 张光卫 LI Ruifan;WEI Zhiyu;FAN Yuantao;YE Shuqin;ZHANG Guangwei

作者机构：北京邮电大学人工智能学院北京100876 教育部信息网络工程研究中心北京100876 交互技术与体验系统文化和旅游部重点实验室北京100876 北京邮电大学计算机学院北京100876 

出 版 物：《北京大学学报（自然科学版）》 (Acta Scientiarum Naturalium Universitatis Pekinensis)

年 卷 期：2024年第60卷第1期

页      面：1-12页

核心收录：

学科分类：0401[教育学-教育学] 04[教育学] 

基　　金：国家自然科学基金(62076032)资助 

主　　题：预训练语言模型 少样本学习 文本分类 提示学习 三元组损失 

摘      要：针对少样本文本分类任务,提出提示学习增强的分类算法(EPL4FTC)。该算法将文本分类任务转换成基于自然语言推理的提示学习形式,在利用预训练语言模型先验知识的基础上实现隐式数据增强,并通过两种粒度的损失进行优化。为捕获下游任务中含有的类别信息,采用三元组损失联合优化方法,并引入掩码语言模型任务作为正则项,提升模型的泛化能力。在公开的4个中文文本和3个英文文本分类数据集上进行实验评估,结果表明EPL4FTC方法的准确度明显优于所对比的基线方法。