预训练语言模型特征增强的多跳知识库问答

作     者：魏谦强 赵书良 卢丹琦 贾晓文 杨世龙 WEI Qianqiang;ZHAO Shuliang;LU Danqi;JIA Xiaowen;YANG Shilong

作者机构：河北师范大学计算机与网络空间安全学院石家庄050024 供应链大数据分析与数据安全河北省工程研究中心石家庄050024 河北省网络与信息安全重点实验室石家庄050024 

出 版 物：《计算机工程与应用》 (Computer Engineering and Applications)

年 卷 期：2024年第60卷第22期

页      面：184-196页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家社会科学基金重大项目(18ZDA200) 河北省省级科技计划项目(20370301D) 河北省引进留学人员项目(C20230339) 河北师范大学专项科技基金(L2023T03) 

主　　题：多跳知识库问答 预训练语言模型 特征增强 

摘      要：知识库问答(knowledge base question answering,KBQA)是一个具有挑战性的热门研究方向,多跳知识库问答主要的挑战是非结构化的自然语言问题与结构化的知识库推理路径存在不一致性,基于图检索的多跳知识库问答模型善于把握图的拓扑结构,但忽略了图中结点和边携带的文本信息。为了充分学习知识库三元组的文本信息,构造了知识库三元组的文本形式,并提出了三个基于非图检索的特征增强模型RBERT、CBERT、GBERT,它们分别使用前馈神经网络、深层金字塔卷积网络、图注意力网络增强特征。三个模型显著提高了特征表示能力和问答准确率,其中RBERT结构最简单,CBERT训练最快,GBERT性能最优。在数据集MetaQA、WebQSP和CWQ上进行实验对比,在Hits@1和F1两个指标上三个模型明显优于目前的主流模型,也明显优于其他BERT的改进模型。