多粒度融合及知识增强的多文档摘要生成研究

作     者：唐嘉蕊 

作者单位：东北林业大学 

学位级别：硕士

导师姓名：刘美玲

授予年度：2023年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081203[工学-计算机应用技术] 08[工学] 081104[工学-模式识别与智能系统] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：生成式多文档摘要 多粒度信息融合 可控文本生成 知识增强 

摘      要：随着互联网的发展,大量重复信息涌现,导致用户利用智能设备浏览海量信息时无法快速准确的捕捉到关键信息。为了使用户能够在短时间内获取每篇文章中的关键信息以及整合多篇文档中的共同信息,多文档摘要生成技术的研究和发展显得至关重要。针对多文档摘要生成技术,现有的大多数基于神经网络的模型考虑了文本的上下文语义信息问题,但没有考虑到获得更深层多粒度的语义信息以及生成式文本的事实一致性问题;同时,现有的生成式摘要模型缺少对生成文本的约束和控制,不能满足用户对生成文本的条件需要。为了解决以上提到的问题,本文的主要研究内容包括:(1)本文针对多文档摘要中存在的生成文本的事实不一致的问题,提出一个基于实体信息增强及多粒度融合的神经网络模型。在预训练阶段通过加入外部知识图与多文档文本进行实体信息融合,从而使原文本获得外部实体知识增强以获得更丰富的语义表征。并且针对现有的基于神经网络的模型没有考虑到更深层语义信息的问题,本文提出的方法在词、实体以及句子三个粒度方面挖掘更深层次的语义信息,从而获得文本的多层次的隐含表达。通过实验验证其有效提升了多文档摘要模型的性能以及生成文本的流畅度、信息量和忠实度,同时也验证了加入外部知识的策略可提升生成式模型的事实一致性。(2)为了进一步解决生成式多文档摘要中缺少对生成文本的约束和控制问题,本文提出了一个基于知识嵌入及实体控制的条件文本生成模型。在先前模型的基础上,在解码阶段加入实体作为控制信号来指导条件文本生成器的摘要输出,实体作为控制条件指导词生成概率,从而实现了对生成式文本的实体粒度上的可控生成。并且为了改善外部知识三元组注入会产生句子含义偏移而引起的知识噪声问题,本文采用K-BERT中基于软位置编码和可见矩阵的方法,通过控制不同节点注入的知识三元组之间互相不可见从而解决知识噪声问题。最终通过实验验证了本文所提出的控制信号引导生成的方法对于生成式摘要模型性能的有效提升及可行性。