基于提示微调的科技论文语义评价指标量化方法研究

作     者：李西雨 钱力 张智雄 

作者机构：中国科学院文献情报中心 中国科学院大学经济管理学院信息资源管理系 国家新闻出版署学术期刊新型出版与知识服务重点实验室 

出 版 物：《数据分析与知识发现》 (Data Analysis and Knowledge Discovery)

年 卷 期：2024年第Z1期

页      面：200-212页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家社会科学基金重大项目(项目编号:21&ZD329)的研究成果之一~~ 

主　　题：科技论文语义评价 指标量化 大语言模型 提示微调 

摘      要：【目的】基于大语言模型实现科技论文语义评价指标的自动量化，支撑科技文献语义评价研究。【方法】从科技论文中抽取与评价指标相关的语步句，设计标准、简化、详细三种不同详尽程度的提示词，横向对比提示词效果，利用少量标注样本微调大语言模型，得到科技论文语义评价指标量化模型。【结果】基于论文文本的语义内容，从“实验条件的苛刻程度维度量化论文评价指标并开展分析。实验结果表明，基于详细提示词微调的模型取得最佳效果。在训练样本数为100时，Micro-Acc和Fuzzy-Acc分别达到0.72和0.87。【局限】仅选取计算机领域科技论文进行实验，未考察所提方法在不同学科上的效果差异。【结论】基于提示微调大语言模型的指标量化方法具有较高的精确度和可靠性，提高提示词的详尽程度可明显提升量化效果。此外，增加微调阶段的样本数虽可提升总体效果，但不同得分段的提升程度存在差异。