大语言模型对齐研究综述

作     者：刘昆麟 屈新纪 谭芳 康红辉 赵少伟 施嵘 LIU Kunlin;QU Xinji;TAN Fang;KANG Honghui;ZHAO Shaowei;SHI Rong

作者机构：中兴通讯股份有限公司广东深圳518057 

出 版 物：《电信科学》 (Telecommunications Science)

年 卷 期：2024年第40卷第6期

页      面：173-194页

学科分类：080904[工学-电磁场与微波技术] 0810[工学-信息与通信工程] 0809[工学-电子科学与技术（可授工学、理学学位）] 08[工学] 080402[工学-测试计量技术及仪器] 0804[工学-仪器科学与技术] 081001[工学-通信与信息系统] 

主　　题：大语言模型 对齐技术 调整 强化学习 

摘      要：随着人工智能技术的飞速发展,大语言模型已在众多领域得到了广泛应用。然而,大语言模型可能会生成不准确、有误导性甚至有害的内容,这引发了人们对大语言模型可靠性的担忧,采用对齐技术来确保大语言模型的行为与人类价值观一致已经成为一个亟待解决的问题。对近年来大语言模型对齐技术的研究进展进行综述。介绍了常用的指令数据收集方法和人类偏好数据集,概述了监督调整和对齐调整的相关研究,讨论了模型评估常用的数据集和方法,总结并展望了未来的研究方向。