面向开放领域问答的推理技术研究

作     者：郭旺振 

作者单位：中山大学 

学位级别：硕士

导师姓名：赖韩江

授予年度：2024年

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：开放领域问答 多跳推理 因果推理 知识图谱问答 预训练语言模型 

摘      要：开放领域问答任务要求问答系统在外部大规模的知识库上进行检索和筛选重要的知识来回答问题。随着大数据技术、知识库技术、深度学习技术等的不断发展,解决更加贴近实际应用场景的、需要复杂推理的开放式问题任务是目前重要的研究课题。一方面,利用非结构化的文档知识库能够为解决复杂问题召回足够的线索信息以及准确的答案,以帮助问答系统更好的完成推理得到答案。另一方面,使用结构化的知识图谱作为外部知识库有利于对复杂问题进行规范有效的语义解析、答案推理等操作,以提高问答系统各细粒度层面的推理能力。因此,针对基于非结构化和结构化的知识库开放式问答系统的推理技术,本文研究的主要内容如下。 (1)基于因果推断的反事实多跳推理问答方法。多跳推理问答需要问答系统在多个文档上根据线索信息进行多跳的推理,来完成答案的预测。然而,以往的工作使得问答模型更多的依靠捷径,即只是根据部分的支撑文档来回答问题。这被称为片面推理。为了缓解这个问题,本文提出了基于因果推断的反事实多跳推理方法。在理论层面上,该方法对多跳推理的问答系统进行建模,将片面推理能力建模为问题和部分支撑文档对问答系统的自然直接因果效应,将多跳推理能力建模为问题和全部文档对问答系统的总间接因果效应。在数据和模型层面上,该方法通过构造反事实样本来衡量片面推理,通过原样本来衡量多跳推理,从而完成答案的预测,以此完成问答模型的训练以及片面推理能力和多跳推理能力的解耦。在实验层面上,该方法被应用于多个多跳推理问答基准模型以及多个公开的多跳推理问答数据集,大量的实验表明了该方法的有效性,能够显著的缓解问答系统的片面推理问题,并提高问答系统的真实多跳推理能力。 (2)基于解析-执行-精调三阶段的改进复杂知识图谱问答方法。基于解析-执行的范式是复杂知识图谱问答的主流做法,其首先将问题解析成可执行的逻辑形式,然后将逻辑形式在知识图谱上执行得到答案。这种方式已经显示了很好的实验结果。但是随着语义解析模型、逻辑形式技术、预训练语言模型等的发展,为了进一步在执行的过程中缓解逻辑形式与知识图谱不对齐的问题,提高真实答案的召回率,以及结合生成式语言模型的阅读理解能力和答案生成能力的优势,本文提出了解析-执行-精调的三阶段改进复杂知识图谱问答的方法。在解析阶段,本文使用语义解析器将问题解析成为具有显式推理过程的程序设计语言(KoPL逻辑形式)。在执行阶段,本文使用语义相似度技术对齐知识图谱来缓解逻辑形式的解析错误,并保留大量的中间结果信息以提高真实答案的召回率。在精调阶段,本文将逻辑形式和中间结果组织称为完整的推理过程并作为上下文,以充分利用显式推理步骤提高答案生成能力。丰富的实验表明了本文改进复杂知识图谱问答方法的有效性,能够显著的提升问答系统各细粒度的推理能力。