检索结果-南通市图书馆

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

融合多层注意力表示的中文新闻文本摘要生成

计算机应用与软件 2023年第10期40卷 191-198页

作者：王骞雷景生唐小岚上海电力大学上海201300

针对现有的文本摘要模型词向量表意不全面,且难以对远距离词句进行表征,提出一种融合多层注意力表示的中长文本摘要方法。通过抽取式技术将新闻文本进行分割,得到主体文本和辅助文本;将主体文本进行图卷积神经网络的学习和依存句法分析... 详细信息

针对现有的文本摘要模型词向量表意不全面,且难以对远距离词句进行表征,提出一种融合多层注意力表示的中长文本摘要方法。通过抽取式技术将新闻文本进行分割,得到主体文本和辅助文本;将主体文本进行图卷积神经网络的学习和依存句法分析,得到词向量的图卷积表示和依存词对信息,同时对辅助文本进行高频主题词的挖掘;将这三种信息融合送入Transformer序列模型中,并对编码器和解码器的局部注意力稍作修改,使其能够更多地关注主题相关的部分和依存句法结构;生成文本摘要。在公共文本摘要数据集NLPCC 2017上的实验表明,该方法能够得到较高的ROUGE分数,生成质量更好的文本摘要。

关键词：文本摘要生成 TextRank 图卷积神经网络依存句法分析 Transformer序列模型

基于改进指针生成网络和强化学习的文本摘要生成

在线全文

学校读者我要写书评

暂无评论

基于改进指针生成网络和强化学习的文本摘要生成

作者：陈爽北京交通大学

学位级别：硕士

文本摘要生成是解决信息过载问题的有效方法之一,在新闻标题生成和知识科普领域有着广泛的应用。文本摘要生成是指从源文本中提取能准确代表原文内容的简短概述,主要分为抽取式摘要和生成式摘要,生成式摘要较抽取式摘要具有更高的灵活性... 详细信息

文本摘要生成是解决信息过载问题的有效方法之一,在新闻标题生成和知识科普领域有着广泛的应用。文本摘要生成是指从源文本中提取能准确代表原文内容的简短概述,主要分为抽取式摘要和生成式摘要,生成式摘要较抽取式摘要具有更高的灵活性,成为目前文本摘要生成的研究热点,但生成式摘要还存在问题,例如,未登录词、生成重复、暴露偏差等,导致生成的摘要并不理想。本文针对上述问题,基于序列到序列框架,利用指针生成网络和强化学习研究生成式文本摘要生成,论文的主要工作如下:(1)设计了引入预训练改进指针生成网络的文本摘要生成Ro B-CPGNet-C模型。Ro B-CPGNet-C模型基于Basic PGN-ESPG基础模型设计。在文本编码阶段,在基础模型长短期记忆网络中引入Ro BERTa作为预训练模型生成上下文语义向量,使模型快速收敛、减少下游任务训练时间;在文本解码阶段,对指针生成网络进行了改进,保留生成指针,解决未登录词,引入概念指针,使语义向量生成更高层次的概念化词语;同时,加入覆盖机制解决生成重复问题,使用计划采样减少训练测试之间的偏差累积,使用策略梯度算法指导摘要生成减少曝光偏差,提高模型在ROUGE评分上的表现。实验结果表明,Ro B-CPGNet-C模型与Basic PGN-ESPG基础模型相比,在CNN/Daily Mail数据集上评价指标ROUGE-1、ROUGE-2和ROUGE-L分别提升了3.47、3.01和4.06,在DUC数据集上评价指标ROUGE-1、ROUGE-2和ROUGE-L分别提升了2.09、1.86和2.06。(2)设计了基于指针生成网络改进强化学习的文本摘要生成RCCSS-D3QPPO模型。RCCSS-D3QPPO模型基于Basic PGN-ESAC基础模型设计,编码器部分改进与Ro B-CPGNet-C相同,解码器部分对强化学习算法进行了改进,使用本文设计的强化学习算法D3QPPO代替基础模型中的Actor-Critic算法,以ROUGE评分为强化学习奖励反馈对向量解码生成摘要的过程进行指导,以提高模型在ROUGE评分上的表现并减小暴露偏差。本文设计的D3QPPO算法是在基于Actor-Critic框架的PPO算法的基础上加入双Q值学习,延迟策略更新,并采用异步多线程的方式进行训练,以减少训练过程中的累积误差,提高收敛程度。实验结果表明,RCCSS-D3QPPO模型与Basic PGN-ESAC基础模型相比,在CNN/Daily Mail数据集上评价指标ROUGE-1、ROUGE-2和ROUGE-L分别提升了3.67、3.53和2.53,在DUC数据集上的评价指标ROUGE-1、ROUGE-2和ROUGE-L分别提升了3.79、3.59和2.65。

关键词：文本摘要生成生成式文本摘要指针生成网络强化学习

基于强化学习和预训练模型的文本摘要生成研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于强化学习和预训练模型的文本摘要生成研究

作者：苏慧北京交通大学

学位级别：硕士

生成技术能够对整篇文本信息生成简短摘要,满足人们高效获取关键信息的需求。指针生成网络模型(Pointer Generator Network,PGN)被广泛用于生成式文本摘要任务并取得不错的效果,但仍存在两方面问题,一方面,存在训练和测试两个阶段的指... 详细信息

生成技术能够对整篇文本信息生成简短摘要,满足人们高效获取关键信息的需求。指针生成网络模型(Pointer Generator Network,PGN)被广泛用于生成式文本摘要任务并取得不错的效果,但仍存在两方面问题,一方面,存在训练和测试两个阶段的指导方法和评估方法不一致问题;另一方面,存在信息丢失、缺少语义层面信息问题,这两方面问题都会导致生成的文本摘要不够精准。本文针对上述问题,基于PGN-Trans文本摘要生成模型,利用强化学习和预训练模型研究生成式文本摘要生成,主要工作如下:(1)针对训练和测试两个阶段的指导方法和评估方法不一致问题,设计了引入强化学习的文本摘要生成R-PGN-Trans模型,R-PGN-Trans模型基于PGN-Trans模型设计并应用了强化学习。R-PGN-Trans模型的编码器和解码器与PGN-Trans模型的编码器和解码器相同,在模型训练阶段,去掉了原来的“教师指导”,并改进了损失函数。损失函数的改进包括:把生成摘要与参考摘要计算ROUGE值作为奖励、通过以整个句子而非每个词的优化作为训练目标。改进损失函数后的自批判策略和集束搜索增加了训练的稳定性,加速了模型收敛。实验结果表明,在CNN/Daily Mail、DUC、Newsroom 3个数据集上,R-PGN-Trans模型相比PGN-Trans基础模型,ROUGE-1指标分别提高2.7、2.14、2.2,ROUGE-2指标分别提高1.4、1.4、1.74,ROUGE-L指标分别提高3.2、3.01、2.94。(2)针对信息丢失、缺少语义层面信息问题,设计了引入预训练模型BERT的文本摘要生成BERT-RPGN-Trans模型,该模型在R-PGN-Trans模型的基础上改进。BERT-RPGN-Trans模型在编码器部分改进内容包括:利用BERT预训练模型来表征源文章中句子级的信息,将原有的词级别的编码器和句子级编码器相结合,使得解码器在生成摘要时受到不同粒度的编码器共同作用。BERT-RPGN-Trans模型有助于发现原始句子之间的关系,保留句子级别的信息,还原源文章语义。解码器为R-PGN-Trans模型解码器。模型训练策略和损失函数和R-PGN-Trans模型相同。实验结果表明,在CNN/Daily Mail、DUC、Newsroom 3个数据集上,BERT-RPGNTrans模型相比R-PGN-Trans基础模型,ROUGE-1指标分别提高1.0、1.2、1.27,ROUGE-2指标分别提高2.0、1.1、0.95,ROUGE-L指标分别提高0.8、0.7、0.93。

关键词：文本摘要生成强化学习 BERT预训练模型

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

中文命名实体识别及文本摘要生成模型研究

中文命名实体识别及文本摘要生成模型研究

作者：陈健厦门大学

学位级别：硕士

随着国家产业的转变,大众创新创业的热情日益高涨,为促进产业发展,国家出台了众多政策。然而,繁复的政策文本需要投入巨大的精力,因此诞生了智能化解读中文政策的需求。智能化解读中文政策文本涉及到两个核心需求,第一个是提炼政策文本... 详细信息

随着国家产业的转变,大众创新创业的热情日益高涨,为促进产业发展,国家出台了众多政策。然而,繁复的政策文本需要投入巨大的精力,因此诞生了智能化解读中文政策的需求。智能化解读中文政策文本涉及到两个核心需求,第一个是提炼政策文本中的关键信息,第二个是生成政策简讯为用户提供决策支持。本文将这两个需求分别归纳为中文命名实体识别任务和中文文本摘要任务,并对此展开如下研究:对于中文命名实体识别任务,构建了融入象形文字特征的BERT-FLAT-CRF模型,接着创新性地提出了一种添加衰减因子的动态自调整的损失函数(SDL),以此消除命名实体识别数据集中大量“O”标记的影响,然后针对政策文本内容信息密度较高的特点,创新性地提出了一种改进的激励函数(IAF)。实验结果表明,本文提出的模型在中文政策文本上的精确率、召回率和F1值分别达到了 94.38%、94.92%和94.65%,在实际应用场景下获得了比其他模型更好的效果,且在公共数据集上也获得了较好的效果。对于中文文本摘要任务,探索性地以mT5作为基础框架和初始权重,通过参数裁剪以缩小模型规模,以GSG和MLM作为无监督任务,以额外的词表完善了中文分词器,以约30G的精细处理的中文训练语料进行训练,最终训练出了本次工作特定的模型mT5-GSG-MLM。然后,在对数据集上进行微调时,采用了“Dropout Twice”的思想,创新性地将两次Dropout的概率分布通过Wasserstein距离进行结合。实验结果表明,本文提出的模型在中文政策文本的文本摘要数据集上的Rouge-1、Rouge-2和Rouge-L指标分别达到了 56.13%、45.76%和56.41%,在本文应用场景下的效果优于其他模型。

关键词：自然语言处理命名实体识别文本摘要生成深度学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

适用于多领域少样本的元适配器整合学习方法

计算机工程与应用 2024年

作者：于信马廷淮彭可兴贾莉蒋永溢南京信息工程大学软件学院南京信息工程大学雷丁学院南京信息工程大学计算机学院

针对多域少样本文本摘要任务中迁移学习面临的诸多挑战，尤其是源域数据的多样性以及目标域数据的数据稀缺性问题，提出了一种创新的学习方法，名为元适配器整合学习方法（Meta-Adapter Integration Learning， MAIL）。MAIL使用基于Tra... 详细信息

针对多域少样本文本摘要任务中迁移学习面临的诸多挑战，尤其是源域数据的多样性以及目标域数据的数据稀缺性问题，提出了一种创新的学习方法，名为元适配器整合学习方法（Meta-Adapter Integration Learning， MAIL）。MAIL使用基于Transformer的预训练模型作为基础模型，融合适配器模块限制模型参数及层数，并采用元学习方法微调适配器。此外，为了增强在不同领域间的迁移和泛化能力，设计了一种元适配器整合算法，旨在最大化利用多域信息，增强模型跨领域泛化能力。实验结果显示，MAIL在标准文本生成评价指标上超越现有主流模型，并能有效应对跨领域迁移中常见的灾难性遗忘、任务干扰和训练不稳定等问题。

关键词：文本摘要生成少样本学习迁移学习预训练模型适配器元学习

基于改进T5 PEGASUS模型的新闻文本摘要生成

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

电子科技 2023年第12期36卷 72-78页

作者：张琪范永胜重庆师范大学计算机与信息科学学院重庆401331

生成任务旨在解决用户在阅读新闻时无法快速把握内容重点而造成的时间损耗和阅读疲劳等问题。目前面向中文的文本摘要模型效果较佳的是T5 PEGASUS模型,但针对该模型的研究较少。文中针对T5 PEGASUS模型的中文分词方面进行改进,使用更适... 详细信息

生成任务旨在解决用户在阅读新闻时无法快速把握内容重点而造成的时间损耗和阅读疲劳等问题。目前面向中文的文本摘要模型效果较佳的是T5 PEGASUS模型,但针对该模型的研究较少。文中针对T5 PEGASUS模型的中文分词方面进行改进,使用更适用于新闻领域的Pkuseg分词方法进行处理,并在NLPCC2017、LCSTS、SogouCS这3种新闻长度不同的公开数据集上验证其有效性。研究发现Pkuseg分词方法更适合T5 PEGASUS模型,模型生成摘要的ROUGE(Recall-Oriented Understudy for Gisting Evaluation)值与新闻文本长度成正相关,训练集损失值和损失值下降速度与新闻文本长度成负相关,在面对少量训练集时能得到较高的ROUGE分数,因此该模型具有较强的小样本学习能力。

关键词：文本摘要生成生成式模型 T5 PEGASUS 新闻文本中文分词 Pkuseg 小样本学习 ROUGE

在线全文

学校读者我要写书评

暂无评论

融合关键词的中文新闻文本摘要生成

计算机工程与科学 2020年第12期42卷 2265-2272页

作者：宁珊严馨徐广义周枫张磊昆明理工大学信息工程与自动化学院云南昆明650504 昆明理工大学云南省人工智能重点实验室云南昆明650504 云南南天电子信息产业股份有限公司云南昆明650040

针对现有基于seq2seq模型在生成摘要时容易出现语义无关的摘要词,同时没有考虑到关键词在摘要生成中的作用,提出一种融合关键词的中文新闻文本摘要生成方法。首先将源文本词依次输入到Bi-LSTM模型中;然后将得到的时间步隐藏状态输入到... 详细信息

针对现有基于seq2seq模型在生成摘要时容易出现语义无关的摘要词,同时没有考虑到关键词在摘要生成中的作用,提出一种融合关键词的中文新闻文本摘要生成方法。首先将源文本词依次输入到Bi-LSTM模型中;然后将得到的时间步隐藏状态输入到滑动卷积神经网络,提取每个词与相邻词之间的局部特征;其次利用关键词信息和门控单元对新闻文本信息进行过滤,去除冗余信息;再通过自注意力机制获得每个词的全局特征信息,最终编码得到具有层次性的局部结合全局的词特征表示;将编码得到的词特征表示输入到带有注意力机制的LSTM模型中解码得到摘要信息。该方法通过滑动卷积网络对新闻词的n-gram特征建模,在此基础上利用自注意力机制,获得具有层次性的局部结合全局的词特征表示。同时,考虑了关键词在新闻摘要生成中的重要作用,利用门控单元去除冗余信息,以获得更精准的新闻文本信息。在搜狗全网新闻语料上的实验表明,该方法能够有效提高摘要生成质量,能够有效地提高ROUGE-1、ROUGE-2、ROUGE-L值。

关键词：文本摘要生成滑动卷积网络关键词信息融合门控单元全局编码

在线全文

学校读者我要写书评

暂无评论

基于混合注意力与强化学习的文本摘要生成

计算机工程与应用 2020年第1期56卷 185-190页

作者：党宏社陶亚凡张选德陕西科技大学电气与控制工程学院

基于递归神经网络的序列到序列的模型在文本摘要生成任务中取得了非常好的效果,但这类模型大多存在生成文本重复、曝光偏差等问题。针对重复问题,提出一种由存储注意力和解码自注意力构成的混合注意力,通过存储历史注意力和增加对历史... 详细信息

基于递归神经网络的序列到序列的模型在文本摘要生成任务中取得了非常好的效果,但这类模型大多存在生成文本重复、曝光偏差等问题。针对重复问题,提出一种由存储注意力和解码自注意力构成的混合注意力,通过存储历史注意力和增加对历史生成单词的注意力来克服该问题;使用强化学习作为一种新的训练方式来解决曝光偏差问题,同时修正损失函数。在CNN/Daily Mail数据集对模型进行测试,以ROUGE为评价指标,结果证明了混合注意力对重复问题有较大的改善,借助强化学习可以消除曝光偏差,整合后的模型在测试集上超越先进算法。

关键词：文本摘要生成混合注意力强化学习自然语言处理曝光偏差递归神经网络

在线全文

学校读者我要写书评

暂无评论

基于多模态数据的文本摘要生成研究

基于多模态数据的文本摘要生成研究

作者：陈祥电子科技大学

学位级别：硕士

多模态信息即指包含文本、图像等多种不同模态的信息。多模态信息如新闻等,是我们日常接触到的常见最常见的信息载体之一。随着海量数据的出现迫切需要计算机系统需要在短时间内提炼出数据中的关键信息,文本摘要生成是基于给定原始数据... 详细信息

多模态信息即指包含文本、图像等多种不同模态的信息。多模态信息如新闻等,是我们日常接触到的常见最常见的信息载体之一。随着海量数据的出现迫切需要计算机系统需要在短时间内提炼出数据中的关键信息,文本摘要生成是基于给定原始数据的情况下,对原始数据做出简明总结的任务。目前,传统的文本摘要生成绝大部分仅仅针对于原始数据集是文本的情况,由于多模态数据的常见和频繁使用,迫切需要基于多模态数据获取摘要的方法。本文研究多模态数据的文本摘要生成,即基于原始输入信息为多模态数据,但是输出结果是基于原始信息的一段总结性文本。鉴于目前文本摘要生成研究中大部分都关注基于文章的摘要生成,如何处理多模态数据中不同模态的交互,以及不同模态如何贡献文本摘要生成的是本文研究的重点。本文目标即通过对多模态数据的合理处和学习,即基于原始的多模态数据,学习出一个简明的文本摘要。本文的主要研究工作主要由三个部分组成:（1）由于大部分文本摘要生成模型没有均是在给定数据集上进行单独训练,往往会导致训练效果较好但测试集效果较差等过拟合情况,为了尽量避免模型训练时产生的过拟合风险,给出了基于预训练表征的ELMo-Forward改进模型,该改进模型通过引入预训练的语言模式实现对原始信息中的文本数据的合理编码表示,并且通过在标准数据集上的分类等任务验证了所提出模型的合理性。（2）本文改进了原始的序列生成模型,一方面在编码器和解码器上均使用本文给出的ELMo-Forward模型,同时考虑到使用编码器-解码器应用于摘要生成任务的特殊性,通过改进常见的生成摘要模型,给出一种基于对编码和解码部分的学习权重进行合理约束的PANTS模型。本文通过在标准文本摘要生成数据集上的表现验证了PANTS模型相比一般模型更能抑制过拟合的情况,并且通过ROUGH评测标准也说明了PANTS模型相比传统的生成式摘要模型能够产生更加符合自然语言规律的文本摘要结果。（3）本文借鉴摘要的要素,即时间、地点、事件和主体等概念给出了QABS模型,该模型首先使用预训练的视觉问答模型对多模态信息中的视觉信息提取出上述要素信息,之后通过将获取到的要素信息同原始多模态数据中的文本信息应用注意力机制进行交互。QABS模型通过在编码器上利用获取到的图像和文本的交互信息在解码器中生成文本摘要。通过使用新闻多模态摘要数据集,本文验证了QABS模型相比仅仅使用文本信息生成的摘要能捕捉到额外的关键信息,从而说明了本文提出的QABS模型的有效性。

关键词：多模态数据自然语言处理深度学习文本摘要生成