检索结果-南通市图书馆

基于编码器共享和门控网络的生成式文本摘要方法

在线全文

学校读者我要写书评

暂无评论

北京大学学报（自然科学版） 2020年第1期56卷 61-67页

作者：田珂珂周瑞莹董浩业印鉴中山大学数据科学与计算机学院广州510006 广东省大数据分析与处理重点实验室广州510006

结合基于自注意力机制的Transformer模型,提出一种基于编码器共享和门控网络的文本摘要方法。该方法将编码器作为解码器的一部分,使解码器的部分模块共享编码器的参数,同时使用门控网络筛选输入序列中的关键信息。相对已有方法,所提方... 详细信息

结合基于自注意力机制的Transformer模型,提出一种基于编码器共享和门控网络的文本摘要方法。该方法将编码器作为解码器的一部分,使解码器的部分模块共享编码器的参数,同时使用门控网络筛选输入序列中的关键信息。相对已有方法,所提方法提升了文本摘要任务的训练和推理速度,同时提升了生成摘要的准确性和流畅性。在英文数据集Gigaword和DUC2004上的实验表明,所提方法在时间效率和生成摘要质量上,明显优于已有模型。

关键词：生成式文本摘要自注意力机制编码器共享门控网络

在线全文

学校读者我要写书评

暂无评论

基于眼动跟踪的个性化文本摘要生成模型

计算机辅助设计与图形学学报 2023年第10期35卷 1620-1628页

作者：揭志强叶阳程时伟浙江工业大学计算机科学与技术学院杭州310012

为了满足不同用户对生成摘要的个性化需求,提出一种基于眼动跟踪的个性化文本摘要生成网络模型.首先使用阅读时的注视和扫视等眼动跟踪数据提取眼动关键信息,并使用长短期记忆模型对眼动关键信息进行编码;然后将眼动关键信息隐藏层状态... 详细信息

为了满足不同用户对生成摘要的个性化需求,提出一种基于眼动跟踪的个性化文本摘要生成网络模型.首先使用阅读时的注视和扫视等眼动跟踪数据提取眼动关键信息,并使用长短期记忆模型对眼动关键信息进行编码;然后将眼动关键信息隐藏层状态融合到注意力机制中,结合内部注意力模型和指针生成器网络生成个性化的文本摘要;最后设计开发了相关的文本摘要生成系统.使用包含用户眼动数据的中文新闻数据集ADEGBTS进行实验的结果表明,与现有的文本摘要模型相比,所提模型在ROUGE指标评估上的得分更高,达到48.68%;用户测试结果表明,所提系统可以高效地生成个性化摘要.

关键词：眼动跟踪文本摘要人机交互自然语言处理

在线全文

学校读者我要写书评

暂无评论

文本摘要的建构渗透度特征模型

中文信息学报 2018年第7期32卷 74-81页

作者：任立园谢振平刘渊江南大学数字媒体学院江苏无锡214122 江苏省媒体设计与软件技术重点实验室江苏无锡214122

旨在实现从海量的文本数据中快速准确地获取关键信息。为探索新颖的摘要句特征因素,该文将文句中的关键词嵌入知识网络进行建模,并将文句映射至知识网络进行表达,进而提出文句的关键词建构渗透度特征模型,在摘要句判别中引入文句中关键... 详细信息

旨在实现从海量的文本数据中快速准确地获取关键信息。为探索新颖的摘要句特征因素,该文将文句中的关键词嵌入知识网络进行建模,并将文句映射至知识网络进行表达,进而提出文句的关键词建构渗透度特征模型,在摘要句判别中引入文句中关键词组的宽度和深度的渗透特性。结合最大熵建模分类方法,针对领域语料库进行不同特征的影响系数建模,实现了监督学习下摘要句的有效分类和自动提取。文中实验结果良好,表明了新特征模型的有效性和在领域语料库中的稳定性,且特征计算方法简洁,具有良好的综合实用性。

关键词：文本摘要文句关键词知识网络渗透度

在线全文

学校读者我要写书评

暂无评论

文本摘要常用数据集和方法研究综述

中文信息学报 2019年第5期33卷 1-16页

作者：侯圣峦张书涵费超群中国科学院计算技术研究所智能信息处理重点实验室北京100190 中国科学院大学北京100049

成为人们从互联网上海量文本信息中便捷获取知识的重要手段。现有方法都是在特定数据集上进行训练和效果评价,包括一些公用数据集和作者自建数据集。已有综述文献对现有方法进行全面细致的总结,但大多都是对方法进行总结,而缺少对数据... 详细信息

成为人们从互联网上海量文本信息中便捷获取知识的重要手段。现有方法都是在特定数据集上进行训练和效果评价,包括一些公用数据集和作者自建数据集。已有综述文献对现有方法进行全面细致的总结,但大多都是对方法进行总结,而缺少对数据集的详细描述。该文从调研数据集的角度出发,对文本摘要常用数据集及在该数据集上的经典和最新方法进行综述。对公用数据集的综述包括数据来源、语言及获取方式等,对自建数据集的总结包括数据规模、获取和标注方式等。对于每一种公用数据集,给出了文本摘要问题的形式化定义。同时,对经典和最新方法在特定数据集上的实验效果进行了分析。最后,总结了已有常用数据集和方法的现状,并指出存在的一些问题。

关键词：文本摘要自然语言处理机器学习人工智能

在线全文

学校读者我要写书评

暂无评论

文本摘要问题中的句子抽取方法研究

中文信息学报 2012年第2期26卷 97-101页

作者：张龙凯王厚峰北京大学计算语言学教育部重点实验室北京100871

抽取式摘要是从正文中按照一定策略抽取重要句子组成摘要。该文提出了一种句子抽取方法。基本思想是将句子的抽取看作序列标注问题,采用条件随机场模型对句子进行二类标注,根据标注结果抽出句子以生成摘要。由于不在摘要中的句子的数量... 详细信息

抽取式摘要是从正文中按照一定策略抽取重要句子组成摘要。该文提出了一种句子抽取方法。基本思想是将句子的抽取看作序列标注问题,采用条件随机场模型对句子进行二类标注,根据标注结果抽出句子以生成摘要。由于不在摘要中的句子的数量远大于摘要中的句子数量,标注过程倾向于拒绝将句子标注为摘要句,针对此问题该文引入了修正因子进行修正。实验表明该方法具有较好地效果。

关键词：文本摘要句子抽取条件随机场

在线全文

学校读者我要写书评

暂无评论

多注意力机制的文本摘要事实一致性评估模型

计算机工程与应用 2023年第7期59卷 163-170页

作者：魏楚元张鑫贤王致远李金哲刘杰北京建筑大学电气与信息工程学院北京102612 北方工业大学信息学院北京100144

事实一致性是摘要内容与源文档内容的信息一致。最近的研究表明,文本摘要模型生成的摘要存在较多与原文事实不一致的问题,设计能够检测并评估出事实不一致错误的方法至关重要。目前基于自然语言推理的方法存在对源文档内容提取简单,推... 详细信息

事实一致性是摘要内容与源文档内容的信息一致。最近的研究表明,文本摘要模型生成的摘要存在较多与原文事实不一致的问题,设计能够检测并评估出事实不一致错误的方法至关重要。目前基于自然语言推理的方法存在对源文档内容提取简单,推理信息交互不充分等问题。提出多注意力机制的文本摘要事实一致性评估模型,利用预训练模型微调的sentence-BERT模型挑选源文档中的关键句,然后将摘要句与关键句组合成句子对,输入BERT模型编码获得向量表示结合ESIM进行句子对的推理,利用图注意力网络完成推理信息的聚合,提高文本摘要事实一致性评估模型的准确率。实验结果表明,该算法与多个典型算法在在领域内常用的数据集进行实验比较,其可行性和有效性得到验证。

关键词：文本摘要事实一致性 BERT 图注意力网络交互注意力

在线全文

学校读者我要写书评

暂无评论

利用层级交互注意力的文本摘要方法

计算机科学与探索 2020年第10期14卷 1681-1692页

作者：黄于欣余正涛相艳高盛祥郭军军昆明理工大学信息工程与自动化学院昆明650500 昆明理工大学云南省人工智能重点实验室昆明650500

基于注意力机制的编解码模型在文本摘要、机器翻译等序列到序列任务上得到了广泛的应用。在深度学习框架中,深层神经网络能够提取输入数据不同的特征表示,因此传统编解码模型中通常堆叠多层解码器来提高模型性能。然而现有的模型在解码... 详细信息

基于注意力机制的编解码模型在文本摘要、机器翻译等序列到序列任务上得到了广泛的应用。在深度学习框架中,深层神经网络能够提取输入数据不同的特征表示,因此传统编解码模型中通常堆叠多层解码器来提高模型性能。然而现有的模型在解码时仅利用编码器最后一层信息,而忽略编码器其余层的特征。鉴于此,提出一种基于多层循环神经网络和层级交互注意力机制的摘要生成模型,通过层级交互注意力提取编码器不同层次的特征信息来指导摘要的生成。为了处理因引入不同层次特征而带来的信息冗余问题,引入变分信息瓶颈压缩数据噪声。最后在Gigaword和DUC2004摘要数据集上进行实验,结果表明所提方法能够获得最佳性能。

关键词：文本摘要编解码模型层级交互注意力机制变分信息瓶颈

在线全文

学校读者我要写书评

暂无评论

带有覆盖率机制的文本摘要模型研究

计算机科学与探索 2019年第2期13卷 205-213页

作者：巩轶凡刘红岩何军岳永姣杜小勇数据工程与知识工程教育部重点实验室(中国人民大学信息学院) 北京100872 清华大学经济管理学院北京100084

近年来文本信息出现了爆炸式增长,人们没有足够的精力去阅读这些文本,因此如何自动地从文本中提取关键信息就显得尤为重要,而文本摘要技术可以很好地解决这个问题。目前的文本摘要技术主要是利用带有注意力(attention)机制的序列到序列... 详细信息

近年来文本信息出现了爆炸式增长,人们没有足够的精力去阅读这些文本,因此如何自动地从文本中提取关键信息就显得尤为重要,而文本摘要技术可以很好地解决这个问题。目前的文本摘要技术主要是利用带有注意力(attention)机制的序列到序列模型(sequence to sequence)对文本生成摘要,但是注意力机制在每个时刻的计算是独立的,没有考虑到之前时刻生成的文本信息,导致模型在生成文本时忽略了之前生成的内容,导致重复生成部分信息。针对这一问题,在文本摘要模型中引入了一种新的覆盖率(coverage)机制,通过覆盖向量记录历史时刻的注意力权重分布信息,并用来改变当前时刻注意力机制的权重分布,使模型更多地关注没有利用到的信息。改进后的模型在新浪微博数据集上进行了实验,实验结果表明,基于新提出的覆盖率机制的文本摘要模型的准确度高于普通的序列到序列模型。

关键词：文本摘要深度学习循环神经网络覆盖率机制

在线全文

学校读者我要写书评

暂无评论

结合知识蒸馏的中文文本摘要生成方法

计算机科学与探索 2024年

作者：崔健汪永伟李飞杨李强苏北荣张小健中国人民解放军战略支援部队信息工程大学

生成是自然语言处理领域的主要研究方向之一。针对当前中文摘要模型语义提取能力弱、大模型生成质量不稳定、部署资源要求高等问题，提出了结合知识蒸馏的中文文本摘要生成方法。首先，采取多线程调用大模型接口的方式对训练数据进行增... 详细信息

生成是自然语言处理领域的主要研究方向之一。针对当前中文摘要模型语义提取能力弱、大模型生成质量不稳定、部署资源要求高等问题，提出了结合知识蒸馏的中文文本摘要生成方法。首先，采取多线程调用大模型接口的方式对训练数据进行增强，引入提示工程，对齐摘要质量并生成参考标签；然后，利用蒸馏技术在知识迁移方面的优势，采取离线知识蒸馏方法，将大模型输出作为知识传授给学生网络，提升学生网络摘要准确性和可读性，同时降低训练成本和资源消耗；最后，对学生网络进行改进，使用复制机制缓解未登录词问题，并对输出结果进行双向相似度计算以优化损失函数，进一步提升模型稳定性。在NLPCC2017数据集上的实验表明，所提方法在ROUGE评价指标上的综合性能优于现有主流的摘要生成方法。在摘要生成质量方面，提出的方法在中文摘要过程中提高了准确率，提升了流畅度；在模型部署要求方面，所提方法具备较小参数量，能够满足轻量级低开销离线部署。

关键词：文本摘要知识蒸馏提示工程大语言模型