基于神经网络的文本摘要生成技术研究

作     者：聂依凡 

作者单位：华中科技大学 

学位级别：硕士

导师姓名：袁巍

授予年度：2020年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081203[工学-计算机应用技术] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：文本摘要 端到端模型 C-RNN编码器 未登录词 注意力机制 

摘      要：日常生活中,人们的阅读量越来越多,但获取的有效信息却越来越少,这本质上源于信息过载。文本摘要技术可以帮助读者快速了解文章主旨,节约阅读成本。主要分为抽取式摘要与生成式摘要,抽取式摘要从原文抽取语句作为摘要,例如Text Rank模型;生成式摘要主要依赖Seq2Seq架构输出新语句作为摘要,归纳性强。然而,经典Seq2Seq模型存在缺陷,譬如编码器语义理解不足、摘要语序紊乱以及未登录词等问题。针对上述问题,本文提出基于C-RNN编码器、Char-Based词向量输入以及引入Attention机制的Seq2Seq模型,主要研究工作如下:1、针对编码器语义理解不足的问题,本文提出C-RNN编码器。RNN擅长学习长距离依赖,不擅长捕捉局部语义特征,CNN则相反。本文提出的C-RNN编码器结合二者优势,增强编码语义理解,提升摘要质量。2、针对语序紊乱的问题,本文在解码端引入Attention机制,可以依赖其软对齐特性改善语序紊乱问题,优化摘要输出。3、针对未登录词的问题,本文提出Char-Based词向量输入,其词典较小,几乎不存在未登录词。C-RNN编码器能丰富词向量表达,结合Char-Based词向量实现一字多向量,增强语义理解,同时缓解未登录词问题。实验结果表明我们提出的方法有效缓解了以上问题,我们提出的模型在ROUGE-1、ROUGE-2、ROUGE-L指标上对比Text Rank模型分别提升7.2%、5.9%、7.5%,对比经典Seq2Seq模型分别提升10.6%、8.1%、9.7%。为验证本文提出的文本摘要模型的泛化性与实用性,本文设计实现了文本解析系统,对本文模型进行跨数据集测试、时效评估,测试结果表明本文模型具备高泛化性与实用性。