检索结果-南通市图书馆

科学技术与工程 2021年第25期21卷 10780-10788页

作者：邹蕾崔斌樊超孙豫峰北京京航计算通讯研究所信息工程事业部北京100074

针对诉讼案件文档包含句子较多导致模型实时性较差且无法保证文本生成质量的问题,提出一种基于BERTSUM-LSTM-attention的检察建议文本自动生成方法。首先,通过基于双向编码表示的文本摘要模型(bidirectional encoder representations fr... 详细信息

针对诉讼案件文档包含句子较多导致模型实时性较差且无法保证文本生成质量的问题,提出一种基于BERTSUM-LSTM-attention的检察建议文本自动生成方法。首先,通过基于双向编码表示的文本摘要模型(bidirectional encoder representations from transformer for summarization,BERTSUM)对句子的首端标识符[cls]进行编码获取不同长度句子的特征;其次,采用长短期记忆(long short term memory,LSTM)网络对长句子特征进行深层次编码来获取长距离句子的依赖关系;最后,引入注意力(attention)机制来捕捉对文本生成起重要作用的关键信息,通过分配不同权重来区分信息的不同作用。在公益诉讼案件的环境保护领域数据上进行测试,实验结果表明,所提方法相比其他模型,在ROGUE-1、ROGUE-2、ROGUE-L的F1指标上均有不同程度的提升,相比最优模型BERT+transformer,参数量比其少11 M,训练和测试时间在每百个步长较后者分别少15 s和4 s,在提高模型实时性的基础上确保了文本生成质量。且所提方法相比其他所有方法,在ROGUE-1、ROGUE-2、ROGUE-L的召回率指标上取得最高值,说明所提方法对关键句更敏感,对关键句的查全效果更好。

关键词：公益诉讼案件检察建议文本生成 BERTSUM LSTM 注意力

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于深度学习的长文本摘要生成的分析与研究

基于深度学习的长文本摘要生成的分析与研究

引用

作者：曾纪良南昌大学

学位级别：硕士

目前我们现在生活在一个数据爆炸式增长的时代,海量的信息导致了信息过载,因此如何从这些海量的数据中提取关键信息变得更加重要。自动文本摘要是一种利用机器压缩文本的方法,以产生简短的概述来概括整个文本,这项技术已经成为自然语言... 详细信息

目前我们现在生活在一个数据爆炸式增长的时代,海量的信息导致了信息过载,因此如何从这些海量的数据中提取关键信息变得更加重要。自动文本摘要是一种利用机器压缩文本的方法,以产生简短的概述来概括整个文本,这项技术已经成为自然语言处理中的热门技术之一。最近几年,自动文本摘要在短文本领域中表现突出,受到了广泛的关注。但由于机器性能和模型复杂等多方面的原因,对长文本进行摘要还存在信息冗余、语义不符、关键信息缺失等多方面的问题。因此,本文针对长文本摘要中存在的问题进行改进,提出了一种二阶段的长文本摘要模型。主要工作如下:第一,提出一种基于多特征融合的Text Rank的长文本压缩模型。通过结合文本特征与Text Rank算法改进句子评分片面性问题,并使用MMR算法改进句子冗余信息过多的问题。主要步骤为:首先根据文章中提出的文本特征计算公式,可以计算句子在三个方面的得分:位置、句中词语和句子长度。通过这些计算,可以量化句子在文本中的重要性和贡献程度。然后使用BERT模型对文本进行预处理,将每个句子转换成句向量,采用余弦相似度来计算句子之间的相似度,在综合考虑各项指标的基础上,接着对每个句子进行组合加权,以得出最终的句子分数。最后引入MMR算法对句子抽取进行冗余度控制得到候选句子集合。第二,提出一种Bert Sum融合Match Sum的文本摘要模型。首先采用预训练模型Bert Sum对候选句集合作进一步精简得到关键句集合以得到具有更多关键内容的候选摘要集合,然后通过Match Sum使候选摘要和源文档进行语义空间匹配得到候选摘要排名,最终得到最佳摘要。通过一系列的实验,本文验证了上述的二阶段长文本摘要模型在处理长文本数据集时的可行性。该模型在ROUGE的各项指标上都有提升,这对于自动文本摘要生成领域来说具有重要的研究意义。此外,该模型也为自动文本摘要生成提供了新的研究思路,为未来的相关研究提供了参考和借鉴。

关键词：文本摘要 TextRank 最大边界相关算法 BERTSUM MatchSum

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于BERT模型的新闻文本自动摘要研究

基于BERT模型的新闻文本自动摘要研究

引用

作者：董文超大连交通大学

学位级别：硕士

近年来,互联网技术的飞速发展为人们的日常生活带来了巨大的便利,但也不可避免地导致了信息的迅猛增长,如何在这种情况下快速、高效地获取所需的资讯变得尤为重要。自动文本摘要技术的出现可以有效缓解该问题,其作为自然语言处理和人工... 详细信息

近年来,互联网技术的飞速发展为人们的日常生活带来了巨大的便利,但也不可避免地导致了信息的迅猛增长,如何在这种情况下快速、高效地获取所需的资讯变得尤为重要。自动文本摘要技术的出现可以有效缓解该问题,其作为自然语言处理和人工智能领域的重要研究内容之一,利用计算机自动地从长文本或文本集合中提炼出一段能准确反映源文中心内容的简洁连贯的短文,算法包括特征评分、分类算法、线性规划、次模函数、图排序、序列标注、启发式算法、深度学习等。本文通过深入探讨数据集和评估指标等相关知识,提出了轻量化的自动文本摘要模型,并预测了未来可能出现的挑战及发展趋势。任务可以分为抽取式和生成式两种方法:在抽取式摘要方法中,模型通过从源文本中选择有意义的句子来生成摘要;在生成式摘要方法中,模型通过对源文本进行编码,利用机器学习生成摘要。上述两种方法在文本摘要任务上,已进行了多种形式的研究并取得较为优异的结果,其中包括基于图、基于深度学习等方法。大规模预训练语言模型在自然语言处理任务中的使用变得越来越普遍,但面对算力不足、运算资源有限等问题,运行这些体量大的模型仍然具有挑战性。本文的主要创新点有3条:(1)针对传统的文本摘要模型参数多、运算耗时长等问题,本文基于改进BERTSUM模型,探索了BERT模型的蒸馏变体DistilBERT在CNN/DM数据集上所表现出的摘要性能,并由此提出了一种轻量化抽取式摘要模型——DistilSum。(2)针对模型轻量化的工作,本文依托知识迁移,使用教师-学生网络,提出了另一种轻量化抽取式摘要模型——MobileSum。此模型更适合应用于手机等低资源设备上,相较于DistilSum模型,它的模型参数更少,训练速度更快。(3)为了提升模型性能,本文在模型中改进并引入了结构化注意力,与模型的摘要判断层联合使用,为备选句子进行打分,最终帮助模型选择出最优top-n个句子作为文档摘要。经过实验对比分析,DistilSum模型保证了原模型99.9%的性能,同时缩减了约36%的训练参数,大幅减少了训练时间。MobileSum模型保证了原模型94%的性能,同时缩减了79%的模型参数,成功实现了模型的轻量化。

关键词：抽取式文本摘要预训练语言模型 DistilBERT BERTSUM

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：