基于改进BERT预训练模型和图神经网络的中文文本摘要技术

作     者：徐一鸣 

作者单位：武汉邮电科学研究院 

学位级别：硕士

导师姓名：易黎

授予年度：2022年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 081203[工学-计算机应用技术] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：中文 文本摘要 BERT GNN 

摘      要：为了让人们能够从大量的文本信息中准确地获得关键性的内容,文本摘要技术被广泛关注。随着自然语言处理和深度学习技术的发展,很多基于深度学习的文本摘要方法被提出。本文通过对现阶段文本摘要模型进行研究,发现了针对中文的文本摘要模型会出现割裂语义,生成摘要不通顺,冗余信息过多,无法有效处理长句的问题。针对以上问题本文提出了一种抽取-生成式中文文本摘要模型,具体研究工作如下:(1)本文构建了适应中文的基于改进BERT抽取式文本摘要模型。模型输入不再使用字向量,而是先对数据进行分词处理后生成词向量作为输入的一部分,减少了语义割裂现象的出现。同时在遮盖预训练任务中,改变遮盖策略,采用动态长序列遮盖,提高了模型对于词语和句子的理解能力。除此之外,为了能够有效处理长文本,模型采用了层分位置编码的方式生成词向量的位置信息,作为输入的另一部分。同时删除段落编码和下一句预测任务,直接对长序列进行训练,减少了训练中噪音的干扰。本文通过消融实验验证了上述改变点能有效实现目的。(2)本文提出基于GNN的生成式文本摘要方法。使用由图数据直接映射到序列的Graph2Seq模型,将抽取式模型生成的摘要转换成图结构数据,利用图编码器生成图向量,引入关键词注意力和图注意力,构建融入多种注意力的解码器生成最终摘要。该方法能够有效的利用图结构数据和GNN的特点,生成更加精炼与通顺的摘要。本文在中文数据集nlpcc2017上对本文模型和数个基线模型进行了对比实验,实验结果表明,本文提出的抽取-生成式文本摘要在评价指标上,ROUGE-1,ROUGE-2,ROUGE-L的得分分别为40.07%,23.17%,32.27%,得分均高于现在比较常见的文本摘要模型,同时通过实例展示可以看出,本文模型生成的摘要更加精炼通顺并且契合主题。综上所述,本文提出的文本摘要模型在中文数据集上表现较好,具有一定参考价值。