融合知识推理与相似度检索的民众诉求大模型构建与应用

作     者：刘昕 高会泉 邵长恒 陈子良 卢文娟 杨会如 LIU Xin;GAO Huiquan;SHAO Changheng;CHEN Ziliang;LU Wenjuan;YANG Huiru

作者机构：中国石油大学(华东)青岛软件学院、计算机科学与技术学院山东青岛266580 青岛大学计算机科学技术学院山东青岛266071 

出 版 物：《计算机科学与探索》 (Journal of Frontiers of Computer Science and Technology)

年 卷 期：2024年第18卷第11期

页      面：2940-2953页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(62071491) 山东省自然科学基金(ZR2020MF04) 山东省重点研发计划(2023RKL01004) 

主　　题：大语言模型 知识推理 相似度检索 民众诉求 知识图谱 

摘      要：高效回复民众诉求是实现智能化管理、提升民众满意度的必要措施,将智能问答应用于民众诉求能有效节约人力和时间资源。然而,智能问答中基于规则和检索的模型依赖预设知识,当诉求超出预设知识范围时无法提供有效回复,在处理多轮对话时也无法保持对话连贯性。现有的大语言模型可以和用户流畅对话,但通用大语言模型缺乏诉求领域知识。由于训练数据中问答对的信息没有覆盖回答用户问题所需要的知识,导致通用大语言模型生成错误回复或答非所问,产生幻觉。针对上述问题,构建了面向民众诉求领域的智能问答大语言模型(PC-LLM)。设计基于BERT-BiLSTM-CRF的实体关系抽取模型获得诉求工单中实体及其关系,进而构建诉求知识图谱,使用BERT模型对诉求工单向量化并构建诉求工单向量索引库;回复生成阶段,抽取用户诉求的实体和关系,在诉求知识图谱中通过实体链接进行知识推理,获取潜在关系提示,同时在诉求工单向量索引库内对诉求进行快速检索,获取相似诉求并构建相似诉求提示;将潜在关系提示、相似诉求提示与用户诉求融合形成综合提示,引导大语言模型生成准确的回复。实验分析显示,该大语言模型在诉求数据集中的表现明显优于ChatGPT4o、文心一言、通义千问等大语言模型。