知识图谱和大语言模型在航天测控问答系统中的融合应用研究
作者机构:中国人民解放军63726部队
出 版 物:《上海航天(中英文)》 (Aerospace Shanghai(Chinese & English))
年 卷 期:2024年第05期
页 面:178-184页
核心收录:
学科分类:12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081203[工学-计算机应用技术] 08[工学] 081104[工学-模式识别与智能系统] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术(可授工学、理学学位)]
基 金:省部级项目
主 题:知识图谱 大语言模型 两步优化 低阶适应性微调(LoRA) Prompt模板 航天测控
摘 要:随着自然语言处理技术的发展,智能化检索与问答系统不断发展,为改善传统知识图谱语义解析能力不足和当前通用大语言模型在垂直领域对知识学习不够深入的问题,提出了融合知识图谱的大语言模型方法,进行了两步优化:首先,利用知识图谱在命名实体识别和关系抽取的基础上,构建大模型提示Prompt模板,进行辅助增强生成,利用图谱中存储的数据提供相关来源;其次,利用低阶适应性微调(LoRA)策略冻结大模型原有参数,增加部分网络参数进行微调训练,优化模型在航天测控领域的知识储备与理解。通过两步改进提高了模型整体在语义解析和知识细节上的理解掌握,结合航天测控领域的相关教材、报告和手册等资料,搭建了知识问答系统,取得了较好的效果,说明了该方法具有一定的应用价值。