PCP-tuning:面向小样本学习的个性化连续提示调优

作     者：刘汀 蔡少填 陈小军 章秦 LIU Ting;CAI Shaotian;CHEN Xiaojun;ZHANG Qin

作者机构：深圳大学计算机科学与技术系广东深圳518071 

出 版 物：《新疆大学学报（自然科学版）（中英文）》 (Journal of Xinjiang University(Natural Science Edition in Chinese and English))

年 卷 期：2024年第41卷第1期

页      面：59-68页

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081203[工学-计算机应用技术] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金“数据知识双驱动的小样本学习理论、方法及应用研究”(92270122) 广东省自然科学基金面上项目“自监督聚类方法及理论研究”(2023A1515012584) 深圳市基础研究面上项目“深度聚类算法及应用研究”(JCYJ20210324093000002) 

主　　题：自然语言处理 大型预训练模型 提示学习 文本分类 

摘      要：随着“提示学习的兴起,预训练语言模型在少样本学习中取得了显著的表现,其中的关键问题是如何为每个训练样本构建合适的提示.近年来研究人员提出了一系列提示构造方法,有的构造离散型的提示,有的构造连续型的提示,但通常都是将一个提示应用到整个数据集上.然而,实验结果表明,很难找到一个能够适用于任务中所有样本的提示.为此,提出了一种用于小样本学习的个性化连续型提示调优方法(PCP-tuning),其目的是根据数据集中每个样本的语义来生成个性化的连续型提示.同时,还提出了两种校准技术来控制生成的连续型提示的分布,以获得更好的下游任务表现.最后在10个基准任务上进行大量实验,证明了新方法的优越性能.