面向工艺规范文本的大语言模型知识注入方法研究

作     者：纪贵阳 王裴岩 余卓 JI Guiyang;WANG Peiyan;YU Zhuo

作者机构：沈阳航空航天大学计算机学院沈阳110136 上海飞机制造有限公司航空制造技术研究所上海201324 

出 版 物：《计算机科学与探索》 (Journal of Frontiers of Computer Science and Technology)

年 卷 期：2024年第18卷第9期

页      面：2361-2369页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：辽宁省应用基础研究计划(2022JH2/101300248) 国家自然科学基金(U1908216) 

主　　题：工艺规范 大语言模型 知识注入 有监督微调 

摘      要：使用大语言模型进行工艺规范的应用是解决工艺知识查询不准确的有效途径。现阶段通过领域知识图谱嵌入或指令数据微调的领域模型构建方法效果不佳,难点在于工艺规范中工艺知识涉及多种工艺要素间关系,复杂度较高。各规范间仅通过引文方式使用导致数据稀疏。工艺知识复杂度高及数据稀疏导致模型对工艺领域概念、概念与属性间关系、概念与概念间关系、多概念间关系及参考依据知识的学习受限。针对该难点,提出一种面向工艺规范文本的大语言模型知识注入方法。根据工艺规范数据特点设计了包含辅助句判别任务、概念-篇章生成任务、篇章续写任务及篇章-摘要生成任务的知识注入数据,结合问答对数据对模型进行有监督微调,为模型注入领域概念、属性、多概念间关系及参考依据知识。实验结果表明,结合知识注入数据和问答对数据训练的模型对比只使用问答对数据训练的模型ACC(准确率)提升7.3个百分点,ROUGE-L提升7.4个百分点,BLEU-4提升6.2个百分点,表明提出的知识注入方法的有效性。