基于BERT模型的新闻文本自动摘要研究

作     者：董文超 

作者单位：大连交通大学 

学位级别：硕士

导师姓名：陈鑫影

授予年度：2023年

学科分类：05[文学] 08[工学] 081203[工学-计算机应用技术] 0503[文学-新闻传播学] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：抽取式文本摘要 预训练语言模型 DistilBERT BERTSUM 

摘      要：近年来,互联网技术的飞速发展为人们的日常生活带来了巨大的便利,但也不可避免地导致了信息的迅猛增长,如何在这种情况下快速、高效地获取所需的资讯变得尤为重要。自动文本摘要技术的出现可以有效缓解该问题,其作为自然语言处理和人工智能领域的重要研究内容之一,利用计算机自动地从长文本或文本集合中提炼出一段能准确反映源文中心内容的简洁连贯的短文,算法包括特征评分、分类算法、线性规划、次模函数、图排序、序列标注、启发式算法、深度学习等。本文通过深入探讨数据集和评估指标等相关知识,提出了轻量化的自动文本摘要模型,并预测了未来可能出现的挑战及发展趋势。任务可以分为抽取式和生成式两种方法:在抽取式摘要方法中,模型通过从源文本中选择有意义的句子来生成摘要;在生成式摘要方法中,模型通过对源文本进行编码,利用机器学习生成摘要。上述两种方法在文本摘要任务上,已进行了多种形式的研究并取得较为优异的结果,其中包括基于图、基于深度学习等方法。大规模预训练语言模型在自然语言处理任务中的使用变得越来越普遍,但面对算力不足、运算资源有限等问题,运行这些体量大的模型仍然具有挑战性。本文的主要创新点有3条:(1)针对传统的文本摘要模型参数多、运算耗时长等问题,本文基于改进BERTSUM模型,探索了BERT模型的蒸馏变体DistilBERT在CNN/DM数据集上所表现出的摘要性能,并由此提出了一种轻量化抽取式摘要模型——DistilSum。(2)针对模型轻量化的工作,本文依托知识迁移,使用教师-学生网络,提出了另一种轻量化抽取式摘要模型——MobileSum。此模型更适合应用于手机等低资源设备上,相较于DistilSum模型,它的模型参数更少,训练速度更快。(3)为了提升模型性能,本文在模型中改进并引入了结构化注意力,与模型的摘要判断层联合使用,为备选句子进行打分,最终帮助模型选择出最优top-n个句子作为文档摘要。经过实验对比分析,DistilSum模型保证了原模型99.9%的性能,同时缩减了约36%的训练参数,大幅减少了训练时间。MobileSum模型保证了原模型94%的性能,同时缩减了79%的模型参数,成功实现了模型的轻量化。