YuLan-Chat：基于多阶段课程学习的大语言模型

作     者：周昆 朱余韬 陈志朋 毛科龙 陈文通 陈昱硕 孙一丁 曹乾 王磊 张蕾 庞新程 谢曙方 赵鑫 窦志成 林衍凯 毛佳昕 宋睿华 陈旭 徐君 胡迪 严睿 黄文炳 魏哲巍 文继荣 

作者机构：中国人民大学信息学院 中国人民大学高瓴人工智能学院 

出 版 物：《计算机学报》 (Chinese Journal of Computers)

年 卷 期：2024年

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081203[工学-计算机应用技术] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(No.62222215/U2001212) 北京市自然科学基金(No.4222027)资助 

主　　题：大语言模型 课程学习 预训练 指令微调 人类对齐 

摘      要：近年来，大语言模型已成为研究热点。其在大规模数据上预训练之后，具有强大的少样本和零样本上下文学习能力，能够便捷地用于许多真实场景复杂任务。然而，对大语言模型进行从头到尾的开发和训练，可参考的实现较少；且存在较难习得的知识，如长尾知识相关数据、复杂指令、难区分的负例等。为填补该领域空白，并强化对较难掌握数据的学习，本文提出了多阶段的课程学习方法，针对以上三种典型数据，使用了（1）迭代增强长尾知识的预训练课程；（2）由简单到复杂的指令微调课程；和（3）由易到难的人类对齐课程，完成了YuLan-Chat从头开始的整个训练流程。本文在四个与大语言模型基础能力和人类对齐能力相关的中英文评测基准上对YuLan-Chat进行评测，结果表明该模型能够在大部分场景下优于基线模型。分析实验进一步表明了该三阶段课程在预训练、指令微调和人类对齐阶段分别能够提升模型9.7%(GAOKAO),22.2%和18.9%(AlignBench)。