ChatGPT给语言大模型带来的启示和多模态大模型新的发展思路

作     者：赵朝阳 朱贵波 王金桥 Zhao Chaoyang;Zhu Guibo;Wang Jinqiao

作者机构：中国科学院自动化研究所北京100190 

出 版 物：《数据分析与知识发现》 (Data Analysis and Knowledge Discovery)

年 卷 期：2023年第7卷第3期

页      面：26-35页

核心收录：

学科分类：12[管理学] 1205[管理学-图书情报与档案管理] 120501[管理学-图书馆学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 120502[管理学-情报学] 0701[理学-数学] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目(项目编号:61976210 62176254)的研究成果之一 

主　　题：语言大模型 预训练大模型 多模态预训练模型 ChatGPT 

摘      要：【目的】剖析ChatGPT的基础技术原理,探讨其对大语言模型发展产生的影响,以及对多模态大模型发展思路产生的影响。【方法】通过分析ChatGPT的发展过程和技术原理,探讨指令微调、数据采集与标注、基于人类反馈的强化学习等模型构建方法对大语言模型产生的影响。分析当前多模态大模型构建过程中遇到的关键科学问题,并借鉴ChatGPT的技术方案,探讨多模态大模型未来的发展发展思路。【结论】ChatGPT为预训练大模型向下游任务的发展提供了良好的参考技术路径,未来的多模态大模型构建以及下游任务实现过程中,可以充分利用高质量的指令微调等技术来显著提升多模态大模型的下游任务性能。