检索结果-南通市图书馆

基于生成式摘要模型和知识蒸馏算法的铁路调度命令解析算法研究

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

铁路计算机应用 2023年第3期32卷 11-16页

作者：袁枫戴琳琳景辉尚念慈铁旅科技有限公司北京100081 中国铁道科学研究院集团有限公司电子计算技术研究所北京100081 北京勤实信息技术有限公司北京100081

随着铁路信息化的发展,利用算法自动解析大量铁路调度命令(简称:调令)的重要性日益凸显。文章提出了一种基于生成式摘要模型和知识蒸馏算法的铁路调令解析算法,该算法利用生成式摘要模型端到端解析铁路调令,拥有较高的精度和较强的鲁棒... 详细信息

随着铁路信息化的发展,利用算法自动解析大量铁路调度命令(简称:调令)的重要性日益凸显。文章提出了一种基于生成式摘要模型和知识蒸馏算法的铁路调令解析算法,该算法利用生成式摘要模型端到端解析铁路调令,拥有较高的精度和较强的鲁棒性,适应写法多样的调令。采用知识蒸馏算法等多种轻量化策略,设计了新的损失函数和多种模型初始化策略,精简模型尺寸,提升算法速度。该算法在铁路调令数据集上取得了21.6342的Rouge-2分数,推理时间达103 ms,为铁路调令解析技术在铁路场景中的部署提供了参考。

关键词：调度命令解析知识蒸馏算法生成式摘要模型文本生成算法自然语言理解

维普期刊数据库

基于过滤注意力机制的生成式自动社交媒体文本摘要模型

在线全文

学校读者我要写书评

暂无评论

现代情报 2024年

作者：许天翼颜兆萍朱恩耀石进南京大学信息管理系

[目的/意义]为了帮助用户在浩如烟海的社交媒体文本中快速获取所需信息，本研究创新地设计了一种基于过滤注意力机制的自动摘要生成模型Filter Unit Model(FUM)。[方法/过程]首先，采用微调BERT对于输入的社交媒体文本进行向量嵌入;其... 详细信息

[目的/意义]为了帮助用户在浩如烟海的社交媒体文本中快速获取所需信息，本研究创新地设计了一种基于过滤注意力机制的自动摘要生成模型Filter Unit Model(FUM)。[方法/过程]首先，采用微调BERT对于输入的社交媒体文本进行向量嵌入;其次，设计了过滤注意力机制来滤除嵌入社交媒体文本中的无用信息，基于字词层面和语句层面两种过滤注意力机制，旨在从不同角度对于嵌入向量进行过滤；最后，采用Transformer的解码器部分进行解码工作，并根据过滤注意力机制的不同设计相应的解码策略。本研究在微博数据集上与摘要生成领域中经典、优秀的基线模型进行对比实验。[结果/结论]实验结果表明，本研究所设计的FUM模型有着比其他基线方法更出色的表现。同时，发现基于语句层面的过滤注意力机制比基于字词层面的有更好的过滤效果。

关键词：生成式摘要模型社交媒体过滤注意力机制

基于T5-PEGASUS-PGN模型的中文新闻文本摘要生成方法

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

计算机科学与应用 2024年第3期14卷 10-19页

作者：曹一平张胜男沈阳工业大学软件学院辽宁沈阳

针对预训练模型训练任务与下游摘要生成任务存在差异、生成文本存在重复内容造成摘要可读性差的问题,基于T5-PEGASUS和指针生成网络,提出了一种自动摘要模型——T5-PEGASUS-PGN。首先利用T5-PEGASUS获取最符合原文语义的词向量表示,然... 详细信息

针对预训练模型训练任务与下游摘要生成任务存在差异、生成文本存在重复内容造成摘要可读性差的问题,基于T5-PEGASUS和指针生成网络,提出了一种自动摘要模型——T5-PEGASUS-PGN。首先利用T5-PEGASUS获取最符合原文语义的词向量表示,然后借助引入覆盖机制的指针生成网络,生成高质量、高可读的最终摘要。在公开的长文本数据集NLPCC2017的实验结果表明,与PGN模型、BERT-PGN等模型相比,结合更贴合下游摘要任务的预训练模型的T5-PEGASUS-PGN模型能够生成更符合原文语义、内容更加丰富的摘要并且能有效的抑制重复内容生成,同时Rouge评价指标Rouge-1提升至44.26%、Rouge-2提升至23.97%以及Rouge-L提至34.81%。

关键词：生成式摘要模型预训练模型 PGN Coverage机制

维普期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

面向中文新闻的文本摘要研究

面向中文新闻的文本摘要研究

作者：谭金源大连理工大学

学位级别：硕士

随着互联网技术的发展,越来越多的社交媒体网络平台逐渐产生,为人们带来了新的获取信息的途径,成为了人们日常生活中获取公开信息的主要来源方式。相比与传统的新闻媒体,微博、今日头条等社交媒体网络具有更好的互动性和时效性,有着更... 详细信息

随着互联网技术的发展,越来越多的社交媒体网络平台逐渐产生,为人们带来了新的获取信息的途径,成为了人们日常生活中获取公开信息的主要来源方式。相比与传统的新闻媒体,微博、今日头条等社交媒体网络具有更好的互动性和时效性,有着更丰富的新闻表现形式,能够在新闻发生后第一时间帮助人们获取相关资讯。但是社交媒体网络中的新闻并非全部都是关键信息,包含大量冗余内容。人们可能需要花费更多的时间从新闻中获取需要的信息。在上述背景下,本文开展了面向中文新闻的文本自动摘要研究,试图利用文本自动摘要技术对目标新闻文本进行摘要,帮助社会大众快速了解新闻中的关键内容,提升新闻阅读效率。首先,本文提出了一种面向中文新闻的抽取式摘要模型。该模型利用BERT结合词频、位置等外部特征,提取符合新闻文本特点的词嵌入,输入到Bi-GRU模型中进行训练,筛选包含新闻主题相关信息的候选摘要句。实验结果表明,训练得到的抽取式摘要模型能够有效捕获新闻中的关键信息,保证摘要结果连贯、可读,同时获取的关键句子能作为生成式摘要模型的输入,提升摘要结果。其次,本文提出了一种面向中文新闻的生成式摘要模型。模型利用BERT获取词嵌入表示,在指针生成网络模型的解码阶段结合多头注意力机制获取摘要结果,充分利用在不同语义子空间内学习到的信息。同时,模型结合了 coverage机制,保证解码时生成更少的重复文本片段。实验结果显示,本文提出的生成式摘要模型能够有效提升摘要生成的效果,并且能够有效解决生成冗余内容的问题。最后,本文构建了一种面向中文新闻的混合式摘要模型。模型的抽取式摘要子模块结合RoBERTa和多维度的外部特征得到新闻文本的向量化表示,送入Bi-GRU及分类层,筛选候选摘要句。模型的生成式摘要子模块,将UniLM与coverage机制相结合,从候选摘要句中生成摘要。模型训练采用本文提出AELoss损失函数,联合训练两个子模块。实验证明,本文提出的模型在两个公开的中文新闻摘要数据集上均取得了当前的最优结果。相比于单独使用抽取式/生成式摘要模型或其他混合式摘要模型,本文提出的模型在摘要自动评价指标方面明显提升,生成的摘要结果更接近于标准摘要。

关键词：抽取式摘要模型生成式摘要模型指针生成网络 AELoss损失函数

基于优势演员-评论家算法的强化自动摘要模型

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机应用 2021年第3期41卷 699-705页

作者：杜嘻嘻程华房一泉华东理工大学信息科学与工程学院上海200237

针对长文本自动摘要任务中抽取式模型摘要较为冗余,而生成式摘要模型时常有关键信息丢失、摘要不准确和生成内容重复等问题,提出一种面向长文本的基于优势演员-评论家算法的强化自动摘要模型(A2C-RLAS)。首先,用基于卷积神经网络(CNN)... 详细信息

针对长文本自动摘要任务中抽取式模型摘要较为冗余,而生成式摘要模型时常有关键信息丢失、摘要不准确和生成内容重复等问题,提出一种面向长文本的基于优势演员-评论家算法的强化自动摘要模型(A2C-RLAS)。首先,用基于卷积神经网络(CNN)和循环神经网络(RNN)的混合神经网络的抽取器(extractor)来提取原文关键句;然后,用基于拷贝机制和注意力机制的重写器(rewriter)来精炼关键句;最后,使用强化学习的优势演员-评论家(A2C)算法训练整个网络,把重写摘要和参考摘要的语义相似性(BERTScore值)作为奖励(reward)来指导抽取过程,从而提高抽取器提取句子的质量。在CNN/Daily Mail数据集上的实验结果表明,与基于强化学习的抽取式摘要(Refresh)模型、基于循环神经网络的抽取式摘要序列模型(SummaRuNNer)和分布语义奖励(DSR)模型等模型相比,A2C-RLAS的最终摘要内容更加准确、语言更加流畅,冗余的内容有效减少,且A2C-RLAS的ROUGE和BERTScore指标均有提升。相较于Refresh模型和SummaRuNNer模型,A2C-RLAS模型的ROUGE-L值分别提高了6.3%和10.2%;相较于DSR模型,A2C-RLAS模型的F1值提高了30.5%。

关键词：自动摘要模型抽取式摘要模型生成式摘要模型编码器-解码器强化学习优势演员-评论家算法

维普期刊数据库

基于BERT-PGN模型的中文新闻文本自动摘要生成

在线全文

学校读者我要写书评

暂无评论

计算机应用 2021年第1期41卷 127-132页

作者：谭金源刁宇峰祁瑞华林鸿飞大连理工大学计算机科学与技术学院辽宁大连116024 大连外国语大学语言智能研究中心辽宁大连116024

针对文本自动摘要任务中生成式摘要模型对句子的上下文理解不够充分、生成内容重复的问题,基于BERT和指针生成网络(PGN),提出了一种面向中文新闻文本的生成式摘要模型——BERT-指针生成网络(BERTPGN)。首先,利用BERT预训练语言模型结合... 详细信息

针对文本自动摘要任务中生成式摘要模型对句子的上下文理解不够充分、生成内容重复的问题,基于BERT和指针生成网络(PGN),提出了一种面向中文新闻文本的生成式摘要模型——BERT-指针生成网络(BERTPGN)。首先,利用BERT预训练语言模型结合多维语义特征获取词向量,从而得到更细粒度的文本上下文表示;然后,通过PGN模型,从词表或原文中抽取单词组成摘要;最后,结合coverage机制来减少重复内容的生成并获取最终的摘要结果。在2017年CCF国际自然语言处理与中文计算会议(NLPCC2017)单文档中文新闻摘要评测数据集上的实验结果表明,与PGN、伴随注意力机制的长短时记忆神经网络(LSTM-attention)等模型相比,结合多维语义特征的BERT-PGN模型对摘要原文的理解更加充分,生成的摘要内容更加丰富,全面且有效地减少重复、冗余内容的生成,Rouge-2和Rouge-4指标分别提升了1.5%和1.2%。

关键词：生成式摘要模型预训练语言模型多维语义特征指针生成网络 coverage机制

维普期刊数据库

在线全文

学校读者我要写书评

暂无评论

面向法律文书的文本摘要算法研究

面向法律文书的文本摘要算法研究

作者：王刚大连理工大学

学位级别：硕士

近年来,中国各级检察院、法院不断推动智慧司法建设,扩大司法领域信息化应用范围。同时,与日俱增的海量文书处理工作也对相关司法部门的信息系统提出了挑战。文本自动摘要是自然语言处理的一项重要任务和研究热点,目的是让机器能够自动... 详细信息

近年来,中国各级检察院、法院不断推动智慧司法建设,扩大司法领域信息化应用范围。同时,与日俱增的海量文书处理工作也对相关司法部门的信息系统提出了挑战。文本自动摘要是自然语言处理的一项重要任务和研究热点,目的是让机器能够自动地完成信息的选择、压缩以及抽象,并输出被人类所能理解的文本。文本自动摘要能够提高信息获取效率,和具体业务流程相结合,可以减轻用户的工作负担。因此,面向法律文本的摘要算法和应用研究,是一项具有现实意义的课题。本文工作针对基于深度神经网络的摘要模型展开研究,根据法律文书的领域特点改进现有摘要算法。首先,本文在“2020中国‘法研杯’司法人工智能挑战赛（CAIL2020）”的摘要数据集上提出一种结合抽取和生成的流水线摘要模型。该数据集的信息分布的统计分析显示,大部分摘要句子间的信息重叠情况较少,且与原文具有相似的段落结构和基本一致的叙述顺序。据此特点,对语料分段处理,并提出了双层Transformer结构的分段式抽取式摘要模型。对比不同摘要模型的生成效果,实验结果显示指针生成网络模型在短文本上的效果优于长文本,而本文提出的流水线摘要模型Rouge得分高于其他模型。然后,本文基于起诉书构建约4万份的摘要数据集,并在该数据集上提出结合预训练模型、句子特征编码以及指针生成器网络的生成式摘要模型。法律文书的主题一般比较集中,用词规范。针对该特点,提出句子特征编码增强生成摘要质量的方法。实验对比了其他摘要模型和不同句子编码方式的生成效果,其中Rouge得分、人工评价和案例分析的结果表明基于主题模型的句子编码方式能更好提高生成质量。最后,本文设计的法律文书自动摘要系统集合了基于深度神经网络、图排序、特征评分以及主题模型的摘要算法。该系统具有数据预处理、文本处理以及摘要展示功能,界面上采取环绕式布局,简洁清晰,易于使用。本文的研究成果在司法摘要的数据集建设、研究思路和实际应用上有一定贡献,对智慧司法的研究有一定的推动作用。

关键词：流水线摘要模型生成式摘要模型法律文本文本自动摘要深度神经网络