生成式大语言模型在医学考试题库建设中的实践探索

作     者：江哲涵 奉世聪 王维民 Jiang Zhehan;Feng Shicong;Wang Weimin

作者机构：北京大学医学教育研究所北京100191 北京大学教育学院北京100871 

出 版 物：《中华医学教育杂志》 (Chinese Journal of Medical Education)

年 卷 期：2024年第44卷第8期

页      面：561-569页

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 10[医学] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家卫生健康委员会人才交流服务中心项目(202110-335) 国家自然科学基金委员会青年科学基金项目(72104006) 国家卫生健康委员会国家医学考试中心"十四五"改革重点项目(2022-21) 

主　　题：人工智能 生成式大语言模型 提示工程 医学试题 题库建设 考试命题 

摘      要：传统的医学考试题库建设耗时长且依赖于命题专家资源,而大语言模型为题库建设带来了新方式,其试题生成质量很大程度上取决于提示词的设计。为了提高医学试题质量,帮助医学教师有效利用大语言模型开展命题工作,本文介绍了大语言模型中常用的提示工程,并以术后胆漏试题生成为例,探索了零样本、少样本、思维链、自洽性思维链、思维树提示工程策略的命题效果。分析结果显示,零样本和少样本提示操作简便,但在试题多样性和深度上存在一定局限。通过增加思维成分的提示策略,可以引导大语言模型执行草稿、打磨、比较和确定等命题过程,从而提高试题质量。同时,虽然通过改进提示词可以有效提高命题效果,但其具体实施与设计仍有极大的挖掘空间,需要进一步的研究和探索。