检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于预读及简单注意力机制的句子压缩方法

计算机应用研究 2019年第2期36卷 371-375,394页

作者：鹿忠磊刘文芬周艳芳胡学先王彬宇数学工程与先进计算国家重点实验室郑州450001 桂林电子科技大学计算机与信息安全学院广西密码学与信息安全重点实验室广西桂林541004

针对英文句子压缩方法进行研究,提出一种基于预读及简单注意力机制的压缩方法。在编码器—解码器(encoder-decoder)框架下,以循环门单元(gated recurrent unit,GRU)神经网络模型为基础,在编码阶段对原句语义进行两次建模。首次建模结果... 详细信息

针对英文句子压缩方法进行研究,提出一种基于预读及简单注意力机制的压缩方法。在编码器—解码器(encoder-decoder)框架下,以循环门单元(gated recurrent unit,GRU)神经网络模型为基础,在编码阶段对原句语义进行两次建模。首次建模结果作为全局信息,加强二次语义建模,得到更全面准确的语义编码向量。解码阶段充分考虑删除式句子压缩的特殊性,适用简单注意力(3t-attention)机制,将编码向量中与当前解码时刻最相关的语义部分输入到解码器中,提高预测效率及准确率。在谷歌新闻句子压缩数据集上的实验结果表明,所提压缩方法优于已有公开结果。因此,预读及简单注意力机制可有效提高英文句子压缩精度。

关键词：自然语言处理句子压缩预读注意力机制

在线全文

学校读者我要写书评

暂无评论

基于深度学习的句子压缩算法研究

基于深度学习的句子压缩算法研究

作者：王一璠北京邮电大学

学位级别：硕士

句子压缩是将长而含有冗余信息的句子压缩成简短的语义表达的任务,简化文本结构,保留重要的含义和信息。随着互联网时代的发展,句子压缩成为越来越重要的任务之一。句子压缩技术大大减少互联网上的信息过载,尤其在屏幕空间有限的移动设... 详细信息

句子压缩是将长而含有冗余信息的句子压缩成简短的语义表达的任务,简化文本结构,保留重要的含义和信息。随着互联网时代的发展,句子压缩成为越来越重要的任务之一。句子压缩技术大大减少互联网上的信息过载,尤其在屏幕空间有限的移动设备上应用广泛。但同样,句子压缩任务也面临着不小的挑战。当前的主流算法中,基于神经网络的压缩算法缺乏外部信息指导,并且对语句中跳跃性的长距离信息难以捕获;而使用基于规则的句法解析方式获得摘要结果会不可避免的产生解析错误。因此,对句子压缩任务进行研究具有重要价值。本文对句子压缩任务的基本模型与技术进行研究探索,对句子压缩任务的研究现状和存在问题进行了分析。本文以抽取式句子压缩为主要研究对象,从引入外部句法信息、进行辅助预训练等方面进行研究,主要工作如下:（1）针对神经网络缺乏外部信息指导的问题,本文利用句法依赖信息,实现了结合句法图卷积网络和序列到序列模型的抽取式摘要,并提出了平行化的新结构,该模型结合了两者的优点,实现了互补的效果。另外,为了减少句法图卷积网络中解析树的错误传播,本文模型在训练中动态调整依赖弧,优化了图卷积网络的构建过程。最后,针对数据集中存在的分类不平衡的问题,本文通过对压缩阈值进行调整实现了更佳的实验效果。实验表明,结合句法图卷积网络的模型在谷歌句子压缩数据集表现出色。（2）针对目标数据集规模较小的问题,本文提出了一种基于编解码器的迁移学习方法,不需要额外的资源,使用生成式句子压缩作.为预训练任务,结合了抽取和生成两种压缩方式的优势。该两阶段的训练方法在预训练任务和目标任务间共享特征表示和部分模型参数,提升模型对潜在特征提取的能力。同时,本文制定了新的微调方案,在两阶段的训练过程中对编解码器采用不同的优化器,避免两者之间训练周期的不匹配。实验表明,两阶段的训练方式使抽取式任务效果进一步提升。

关键词：句子压缩神经网络句法依赖

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种融合语法信息的句子压缩方法

计算机科学与应用 2020年第3期10卷 564-574页

作者：郝志峰陈诚蔡瑞初温雯王丽娟广东工业大学计算机学院广东广州佛山科学技术学院数据与大数据学院广东佛山广东工业大学计算机学院广东广州

英文句子压缩任务由于词典容量等限制,使用深度学习方法容易造成压缩后的句意与原句不同并一定程度影响语法逻辑。针对这一问题,文中提出一种融合语法信息的句子压缩方法。首先通过两组编解码器来对单词和词性分别进行编解码,在解码阶... 详细信息

英文句子压缩任务由于词典容量等限制,使用深度学习方法容易造成压缩后的句意与原句不同并一定程度影响语法逻辑。针对这一问题,文中提出一种融合语法信息的句子压缩方法。首先通过两组编解码器来对单词和词性分别进行编解码,在解码阶段通过带有语法注意力机制的长短期记忆网络(Syntax-LSTM)融合单词和词性信息产生语法注意力机制进而引导输出结果。与现有方法相比,实验结果表明该算法的F1值在领域数据集上达到了0.7742,在跨领域数据集上达到了0.4186,证明了其输出具有更好的可读性和鲁棒性。

关键词：句子压缩语法注意力机制长短期以及网络鲁棒性

Hedge Trimmer句子压缩技术的算法实现及改进

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

沈阳师范大学学报（自然科学版） 2012年第4期30卷 519-524页

作者：景秀丽东北财经大学研究生院辽宁大连116025 沈阳师范大学科信软件学院沈阳110034

压缩技术旨在模拟人类的文本概括和信息提取能力。句子压缩技术是自动生成能够保留原句核心内容的,合乎语法的,语义连贯的简短句子。文章分析了英文句子压缩技术中基于句法分析的Hedge Trimmer压缩技术,讨论了相关压缩理论,探索其压缩... 详细信息

压缩技术旨在模拟人类的文本概括和信息提取能力。句子压缩技术是自动生成能够保留原句核心内容的,合乎语法的,语义连贯的简短句子。文章分析了英文句子压缩技术中基于句法分析的Hedge Trimmer压缩技术,讨论了相关压缩理论,探索其压缩过程并用类C语言进行算法实现。提出了好的压缩句应该至少满足以下3个标准:第一是保留原句的核心内容,第二是具有正确的语法,第三是压缩长度合理。在算法的评估工作中,从DUC 2003语料库中选取了624个原始句子和对应的人工压缩句,与Hedge Trimmer压缩算法自动生成的压缩句进行对照分析。发现5种压缩效果不理想的情况,分析其原因并提出了改进策略。最后,通过实例对改进算法生成的压缩句和原来算法生成的压缩句进行对比评估,证明了改良算法能够获得更理想的压缩句。在英文句子压缩领域,改良的Hedge Trimmer句子压缩算法值得推广和应用。

关键词：句子压缩 Hedge Trimmer算法评估改进

在线全文

学校读者我要写书评

暂无评论

基于概率和句法的句子压缩技术对比研究

辽宁大学学报（自然科学版） 2012年第4期39卷 300-304页

作者：景秀丽东北财经大学研究生院辽宁大连116025 沈阳师范大学科信软件学院辽宁沈阳110036

句子压缩是自然语言处理领域的一个基础应用方向,是开发自动文摘生成系统和自动标题生成系统的第一步.句子压缩技术主要是以简短的形式重写句子并且保留原句中最重要的信息.好的压缩句子应该是合乎语法的和表述连贯的句子.选取Noisy-Cha... 详细信息

句子压缩是自然语言处理领域的一个基础应用方向,是开发自动文摘生成系统和自动标题生成系统的第一步.句子压缩技术主要是以简短的形式重写句子并且保留原句中最重要的信息.好的压缩句子应该是合乎语法的和表述连贯的句子.选取Noisy-Channel Model压缩算法和Hedge Trimmer压缩算法作为两种压缩技术的代表范例进行对比研究,分析了两种方法的优势和劣势,探索了一种混合式句子压缩技术.混合式压缩技术将会改善英文句子压缩效果,相关研究将成为自然语言处理领域的一个新方向.

关键词：句子压缩概率句法语料库

在线全文

学校读者我要写书评

暂无评论

文档级事件同指消解研究

文档级事件同指消解研究

作者：陈鑫宇苏州大学

学位级别：硕士

事件同指消解旨在发现文档中指向现实世界同一个事件本体的事件实例,并通过聚类的方式将其划分到事件本体所属事件链中。因此该研究任务能够串连文档中的相关信息,有助于对文档信息更好的理解,在自然语言处理的诸多领域中已经发挥了其... 详细信息

事件同指消解旨在发现文档中指向现实世界同一个事件本体的事件实例,并通过聚类的方式将其划分到事件本体所属事件链中。因此该研究任务能够串连文档中的相关信息,有助于对文档信息更好的理解,在自然语言处理的诸多领域中已经发挥了其重要价值。根据事件实例是否在同一个文档中,事件同指消解任务可分为文档级事件同指消解和跨文档事件同指消解。本文主要针对文档级的事件同指消解技术进行深入研究,主要内容如下:(1)基于句子重写的文档级事件同指消解方法针对由动词与非动词所触发事件表述方式差距大的问题,本文提出了基于句子重写的文档级事件同指消解方法。首先,通过句子重写机制将非动词触发词所在的事件句转化为与之语义相似的动词触发词的表达形式。然后,通过以动词为中心的语义角色标注工具抽取触发词性统一为动词的事件句中的论元。最后,结合事件对的触发词和论元信息进行事件同指消解任务。在KBP2016和KBP2017语料库上的实验结果表明,本文提出的方法优于几个最先进的基准。(2)基于句子压缩的文档级事件同指消解方法针对事件句中多余事件信息对判别特定事件间同指关系产生干扰的问题,本文提出了基于句子压缩的文档级事件同指消解方法。首先基于研究工作(1)中的句子重写机制抽取每个特定事件的论元。然后,通过特定事件的论元和触发词训练一个句子压缩模型,使其学习从事件句中压缩出只保留特定事件信息的能力,并获得压缩句。最后,利用注意力交互机制来挖掘压缩句中事件间的同指关系,并将压缩句与原事件句进行信息交互,补充上游句子压缩阶段可能丢失的重要信息。在KBP2016和KBP2017语料库上的实验结果表明,本文提出的方法优于几个最先进的基准。(3)融合全局与局部信息的文档级事件同指消解方法针对现有事件同指消解研究多数忽略了事件在文档层面全局信息的问题,本文提出了融合全局信息与局部信息的文档级事件同指消解方法。首先,使用篇章修辞结构和引用结构表示事件的全局信息。然后,对含有语段间引用结构的论坛文档,使用图卷积网络对文档内的事件信息进行表示学习,获得最终的事件全局信息表征。最后,再将事件的全局信息表征与研究工作(1)和(2)所挖掘的局部信息表征(压缩句,论元等)融合,全面对每个事件实例进行表示。在KBP2016和KBP2017语料库上的实验结果表明,本文提出的方法优于几个最先进的基准。本文通过以上三种方法,解决了文档级事件同指消解任务中存在的一些问题,从而在一定程度上提高了该任务的性能。

关键词：事件同指消解句子重写句子压缩全局信息

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种融合语法信息的文本压缩方法研究

一种融合语法信息的文本压缩方法研究

作者：陈诚广东工业大学

学位级别：硕士

文本压缩又称句子压缩,是一种将冗长句子转换成精炼简短句子的方法。该项技术广泛地用于主题自动获取、摘要生成、问答系统等技术中。相比于生成式句子压缩,使用删除的方式更能够保证压缩后的句子中的更稳定可控,却主要面临以下几种挑战... 详细信息

文本压缩又称句子压缩,是一种将冗长句子转换成精炼简短句子的方法。该项技术广泛地用于主题自动获取、摘要生成、问答系统等技术中。相比于生成式句子压缩,使用删除的方式更能够保证压缩后的句子中的更稳定可控,却主要面临以下几种挑战:(1)词向量的词典大小有限,而深度学习端到端的训练方式容易导致句子中的核心词误删。(2)模型大多隐式从单词序列中捕捉语法相关信息,导致模型对语法相关信息的捕捉有限,影响了输出结果和模型的鲁棒性。(3)单一领域的训练数据集训练出来的模型鲁棒性不强,在不同写作风格数据集中的适用性不强。针对现有句子压缩问题面临的以上挑战,本文提出了通过显式加入语法信息的句子压缩方法,包括了一个基于带有语法门控的长短期记忆网络(LSTM)组成的Syntax-Res模型,以及一个基于自注意力模型加入句法依存结构的TransformerDependency模型。论文主要工作包括:(1)基于长短期记忆网络,提出了基于序列模型的加入词性信息的句子压缩模型Syntax-Res。LSTM-Res是一种带有短路机制的三层LSTM模型,使用LSTMRes对单词序列进行编码。通过捕捉序列中的词性信息,并使用双向LSTM进行编解码。在单词序列的解码阶段提出一种加入语法门控的LSTM结构Syntax-LSTM,使用词性序列的输出对门控进行控制,进而对单词序列的输出结果进行引导。通过加入词性序列特征一定程度上缓解了因词典规模有限的问题,使得最终的输出语句的语义保留更完整且模型的鲁棒性更强。(2)基于自注意力机制,提出一种加入句法依存结构的句子压缩模型。自注意力模型基于Transformer结构,拥有强大的特征捕捉能力和可并行性,但对句子中的语法结构相关特征捕捉较差。本文基于依存结构树中的深度信息进行编码将结构信息加入模型,加强了模型对结构特征的捕捉能力,增强了模型的效果和鲁棒性。(3)通过实验对上述模型与相关对比算法进行了比较。包括比较了在相同来源测试集上的泛化能力,以及在不同来源测试集上的模型跨领域应用能力比较。对实验结果做了详细的分析,验证了通过加入语法信息能够提高模型在文本压缩任务下的应用效果,最后对实际压缩案例做了进一步的分析。

关键词：句子压缩序列模型语法门控句法依存结构自注意力模型

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

汉语依存句法分析树库构建与应用研究

汉语依存句法分析树库构建与应用研究

作者：郭丽娟苏州大学

学位级别：硕士

随着深度学习的发展,依存句法分析的性能取得了非常显著的提升。然而,利用已有树库训练的模型进行不规范网络文本依存句法分析时,准确率急剧下降。其主要原因是,已有树库资源大多面向规范的新闻语料构建,而针对网络文本的树库资源较少... 详细信息

随着深度学习的发展,依存句法分析的性能取得了非常显著的提升。然而,利用已有树库训练的模型进行不规范网络文本依存句法分析时,准确率急剧下降。其主要原因是,已有树库资源大多面向规范的新闻语料构建,而针对网络文本的树库资源较少。因此,本文面向多领域多来源汉语文本（尤其是网络文本）,制定了一个依存句法数据标注规范,进行了大规模依存句法树库构建,并尝试将依存句法信息应用到句子压缩任务中。本文的主要研究内容如下:（1）汉语依存句法数据标注规范的制定由于目前还没有一个公开、完整、系统的汉语依存句法数据标注规范,并且已有的树库标注工作对网络文本中的特殊语言现象考虑较少。本文充分参考了已有的数据标注工作和诸多语言学著作,制定了一个适应多领域多来源文本的汉语依存句法数据标注规范（目前版本约70页）。另外,为保证标注一致性,本文结合实际标注中遇到的问题进行分析,给出了明确的优先级策略。我们将该规范作为树库构建工作的理论基础。（2）基于主动学习的汉语依存句法树库构建基于制定的标注规范及可视化在线标注系统,开展了大规模数据标注。首先,利用主动学习方法进行数据选取;其次,使用可视化系统进行程序化标注和质量控制;最后,从标注数据的准确率与一致性、依存关系类型分布情况以及基于标注数据的依存句法分析性能对比等方面进行实验分析。（3）基于汉语依存句法分析的句子压缩为了将汉语依存句法信息应用到句子压缩任务中,本文提出并尝试了三种方法:1)基于句法规则的方法;2)基于融合句法信息的双向长短期记忆网络-条件随机场（BiLSTM-CRF）;3)基于融合句法信息的多任务学习（MTL）方法。为了验证方法的有效性,本文人工构建了两个不同领域的汉语数据集。实验表明,基于融合句法信息的BiLSTM-CRF方法对句子压缩的性能提升效果最好。综上所述,本文首先制定了汉语依存句法数据标注规范,进而基于该规范进行了大规模汉语依存句法树库构建工作,最后,利用汉语依存句法分析信息有效地提升了句子压缩的性能。本研究取得了一些初步的成果,我们希望这些研究成果可以促进句法分析和自然语言处理其他领域的发展。

关键词：依存句法分析标注规范树库构建句子压缩长短期记忆网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向新媒体的新闻缩写关键技术研究

面向新媒体的新闻缩写关键技术研究

作者：赵连伟北京理工大学

学位级别：硕士

随着新媒体的快速发展,网络新闻呈现出雨后春笋的态势,人们面临信息选择困难、信息超载等问题。大量的冗余信息一方面增加了用户阅读信息的时间,另一方面还增加了用户发现和理解热点话题的困难。移动设备的普及更是带动了新闻客户端的... 详细信息

随着新媒体的快速发展,网络新闻呈现出雨后春笋的态势,人们面临信息选择困难、信息超载等问题。大量的冗余信息一方面增加了用户阅读信息的时间,另一方面还增加了用户发现和理解热点话题的困难。移动设备的普及更是带动了新闻客户端的大量产生,这些移动设备的特点是屏幕小,信息量过大时不能单屏显示,分屏又会导致阅读的不便。因此,新闻自动缩写技术应运而生,新闻缩写不仅可以获得简约而明了、有深度且有态度的内容资源,而且能提升网络新闻的品质,实现网络新闻的增值阅读。本文对新闻标题和新闻正文的缩写技术展开一系列研究。针对新闻标题,借助于词对齐技术应用规则与统计结合的方法进行压缩。针对新闻正文内容,提出句子压缩与句子选择结合的框架来生成新闻正文的压缩结果。该框架中,首先应用句子多特征融合的方法进行摘要句子预选择,根据句子多特征权重排序抽取最具有代表性的句子。然后针对预选择的摘要句子,提出一种基于关键词的启发式句子压缩算法,该算法作为中间阶段被应用于生成原句子的压缩变体。最后通过整数线性规划算法去除冗余,选取出信息量最大的最终新闻摘要。在评测方面,本文提出一种句子压缩基础上的自动摘要评测方法。该方法通过信息的重要性、语法规范性和压缩比对压缩后的句子进行打分,随后在摘要的评测中结合句子压缩分数计算出准确率、召回率以及F值分别为79.26%、76.32%和77.76%。实验结果表明,本文提出的新闻缩写算法切实可行,能对给定的新闻文章自动生成一段连贯且具有象征性的高密度新闻摘要。

关键词：特征句子压缩启发式规则句子选择