基于知识增强和提示学习的小样本新闻主题分类方法

作     者：余新言 曾诚 王乾 何鹏 丁晓玉 YU Xinyan;ZENG Cheng;WANG Qian;HE Peng;DING Xiaoyu

作者机构：湖北大学人工智能学院武汉430062 湖北省软件工程技术研究中心(湖北大学)武汉430062 智慧政务与人工智能应用湖北省工程研究中心(湖北大学)武汉430062 湖北大学网络空间安全学院武汉430062 

出 版 物：《计算机应用》 (journal of Computer Applications)

年 卷 期：2024年第44卷第6期

页      面：1767-1774页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(62102136) 湖北省重点研发计划项目(2021BAA188,2021BAA184,2022BAA044) 

主　　题：新闻主题分类 提示学习 知识增强 小样本学习 文本分类 

摘      要：基于预训练微调的分类方法通常需要大量带标注的数据,导致无法应用于小样本分类任务。因此,针对中文小样本新闻主题分类任务,提出一种基于知识增强和提示学习的分类方法KPL(Knowledge enhancement and Prompt Learning)。首先,利用预训练模型在训练集上学习最优的提示模板;其次,将提示模板与输入文本结合,使分类任务转化为完形填空任务;同时利用外部知识扩充标签词空间,丰富标签词的语义信息;最后,对预测的标签词与原始的标签进行映射。通过在THUCNews、SHNews和Toutiao这3个新闻数据集上进行随机采样,形成小样本训练集和验证集进行实验。实验结果表明,所提方法在上述数据集上的1-shot、5-shot、10-shot和20-shot任务上整体表现有所提升,尤其在1-shot任务上提升效果突出,与基线小样本分类方法相比,准确率分别提高了7.59、2.11和3.10个百分点以上,验证了KPL在小样本新闻主题分类任务上的有效性。