检索结果-南通市图书馆

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

中文长文本自动摘要关键技术研究与应用

中文长文本自动摘要关键技术研究与应用

作者：皮洲苏州科技大学

学位级别：硕士

是自然语言处理领域中一个重要的任务。随着深度学习技术的发展,相比于短文本摘要技术,长文本摘要发展缓慢。一方面缺乏可用的大规模数据集;另一方面,当文本序列过长时会产生长距离依赖问题。针对上述问题,本文基于深度神经网络技术,开... 详细信息

是自然语言处理领域中一个重要的任务。随着深度学习技术的发展,相比于短文本摘要技术,长文本摘要发展缓慢。一方面缺乏可用的大规模数据集;另一方面,当文本序列过长时会产生长距离依赖问题。针对上述问题,本文基于深度神经网络技术,开展长文本摘要建模方法研究。本文从以下四个方面对长文本自动摘要任务展开研究:(1)针对当前中文长文本数据集缺乏的问题,本文采用中文专利数据构建了一个大型的专利数据集。该数据集在关键信息分布、实体衔接性、摘要新颖性等方面与CLTS(中文新闻领域长文本摘要数据集)和CNN/DM(英文新闻领域数据集)进行了对比分析,相关数据表明LCP在长文本摘要任务上更具有挑战性。(2)针对抽取式摘要生成中句子重要性评估和句子选择过程分离的问题,提出了基于BERT打分和Ranking选择机制联合建模的文档摘要方法。该方法将这两个任务结合到一个序列模型中。首先,输入文档中的句子经过BERT映射为高维表征后经过全连接层进行分类;然后,使用Ranking机制抽取出候选句子,再将抽取出的句子用于下一轮的句子抽取,直到生成事先设定长度的摘要。在LCP数据集上的实验表明,本文模型比其他分开建模的模型在Rouge-1、Rouge-2、Rouge-L得分上分别高出1.4%、3.8%、1.6%。(3)针对生成式文档摘要中不能充分捕获输入文档中关键信息的问题,本文提出了一种全局选择编码机制。序列模型的编码器在读取输入后,全局选择编码机制根据文档整体的含义,判断每个单词的重要性,然后选出关键的语义信息和文档的语义向量作为解码器的输入,生成最终的摘要。在LCP数据集上的实验表明,本文模型比基线模型在Rouge-1、Rouge-2、Rouge-L的评分上分别高出0.4%、0.2%、0.7%。(4)针对笔录案情摘要自动生成任务,本章将第四章提出的基于BERT的句子重要性评估和基于Ranking机制抽取的联合模型和第五章提出的全局选择编码模型应用在这一任务上。实验结果表明,第四章提出的联合模型在这一任务上优于其他抽取式摘要方法。而全局选择编码模型在这一任务上,比基线模型在Rouge-1、Rouge-2、Rouge-L的得分上分别提高17%、3%、21%。同时,由于笔录案情数据集不够充足,支撑深度神经网络模型的训练有些乏力,因此,本文提出了面向小样本数据的长文本自动摘要任务的增强策略,这一策略可以有效提高基线模型在笔录案情评估数据上的性能,比未使用策略的基线模型在Rouge-1、Rouge-2、Rouge-L上分别提高了14%、17%、12%。本文面向长文本自动摘要任务,构建了一个中文长文本专利数据集,提出了基于BERT的句子评估和Ranking机制的联合模型以及全局选择编码模型,为长文本摘要任务的发展提供了数据支撑,同时两种模型的提出也可以为后续基于序列到序列模型的长文本自动摘要研究提供重要支持。

关键词：文本摘要中文长文本数据集 BERT 编码-解码模型文本增强笔录文本摘要

基于机器学习的锌离子电池循环寿命预测方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于机器学习的锌离子电池循环寿命预测方法研究

作者：廖生俊电子科技大学

学位级别：硕士

可充电水系锌离子电池因为其安全环保的电解质,对大规模储能技术具有广泛的吸引力。但这并不代表锌离子电池不存在安全隐患,电池剩余使用寿命(Remaining Useful Life,RUL)预测是保障其进一步安全使用的关键技术。随着机器学习的兴起,越... 详细信息

可充电水系锌离子电池因为其安全环保的电解质,对大规模储能技术具有广泛的吸引力。但这并不代表锌离子电池不存在安全隐患,电池剩余使用寿命(Remaining Useful Life,RUL)预测是保障其进一步安全使用的关键技术。随着机器学习的兴起,越来越多的研究开始用机器学习预测电池的RUL,但是准确地预测每一个电池RUL仍然是困难的事情,这是因为电池的退化过程很复杂,其内部的化学反应具有很大的随机性,从而每个电池的退化趋势都不相同。此外,电池RUL预测的研究都集中在锂离子电池领域,在锌离子电池领域还没有相关报道。本论文以锌离子电池RUL的准确预测为目标,围绕常规机器学习模型预测不够准确、泛化性能不好以及递归预测存在累积误差的问题开展了相关研究,着重对模型结构的改进和优化方法的研究进行了探讨。主要研究工作如下:(1)针对充放电数据一致性差的问题,研究了锌离子电池的制作工艺和数据采集的方法。通过多次的实验和研究,优化电池制作流程中的每一步工艺,改善手工制作电池一致性差的问题。然后尽可能地保持电池测试设施的一致,降低数据采集的差异。多批次电池的充放电数据表明,这些优化方法可以有效地改善一致性差的问题。(2)针对常规机器学习模型对锌离子电池RUL预测不够准确和泛化性不好的问题,提出了基于注意力机制的非对称编码-解码模型。启发于生物大脑具有非对称结构的现象,本文通过让编码器和解码器结构不一样,来构造一个非对称的神经网络模型。注意力机制的引入可以让编码-解码模型重点关注对预测有帮助的输入信息,dropout技术的应用可以提高模型的泛化性能。最后,用贝叶斯优化寻找这个计算昂贵的模型的近似最佳超参数。实验结果表明,改进的编码-解码模型可以更加准确地预测锌离子电池RUL,而且泛化性能比常规机器学习模型要好。(3)针对改进编码-解码模型存在累积误差的问题,提出了一个基于高斯过程回归和改进编码-解码模型的锌离子电池RUL融合预测方法。为了能让高斯过程回归能够准确地预测训练集附近的电池容量,本文设计了一个新的核函数。随后用Savitzky-Golay对训练集进行平滑处理,让高斯过程回归不受编码-解码模型输出噪声的影响,仍可以预测容量衰减趋势。最后,将两个模型的预测值的按照一组动态权值进行加权求和。实验结果表明,融合预测方法可以有效地降低累积误差。

关键词：锌离子电池循环寿命预测编码-解码模型高斯过程贝叶斯优化

融合序列语法知识的卷积-自注意力生成式摘要方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

北京理工大学学报 2021年第1期41卷 93-101页

作者：罗森林王睿怡吴倩潘丽敏吴舟婷北京理工大学信息与电子学院北京100081 国家计算机网络应急技术处理协调中心北京100094

针对基于编码-解码的生成式摘要模型不能充分提取语法知识导致摘要出现不符合语法规则的问题,循环神经网络易遗忘历史信息且训练时无法并行计算导致处理长文本时生成的摘要主旨不显著以及编码速度慢的问题,提出了一种融合序列语法知识... 详细信息

针对基于编码-解码的生成式摘要模型不能充分提取语法知识导致摘要出现不符合语法规则的问题,循环神经网络易遗忘历史信息且训练时无法并行计算导致处理长文本时生成的摘要主旨不显著以及编码速度慢的问题,提出了一种融合序列语法知识的卷积-自注意力生成式摘要方法.该方法对文本构建短语结构树,将语法知识序列化并嵌入到编码器中,使编码时能充分利用语法信息;使用卷积-自注意力模型替换循环神经网络进行编码,更好学习文本的全局和局部信息.在CNN/Daily Mail语料上进行实验,结果表明提出的方法优于当前先进方法,生成的摘要更符合语法规则、主旨更显著且模型的编码速度更快.

关键词：生成式摘要编码-解码模型语法分析卷积-自注意力模型注意力机制

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于深度神经网络模型的中文分词方案

哈尔滨工程大学学报 2019年第9期40卷 1662-1666页

作者：许峰张雪芬忻展红北京邮电大学经济管理学院北京100876 北京联合大学智慧城市学院北京100101

针对目前已有的分词算法和程序在处理海量网络文本分词时性能下降的问题,本文提出了一种基于深度神经网络模型的中文分词方案。该方案利用基于长短期记忆网络的编码-解码模型对数据模型进行训练,并采用得到的模型进行分词。为了提升分... 详细信息

针对目前已有的分词算法和程序在处理海量网络文本分词时性能下降的问题,本文提出了一种基于深度神经网络模型的中文分词方案。该方案利用基于长短期记忆网络的编码-解码模型对数据模型进行训练,并采用得到的模型进行分词。为了提升分词性能,进一步提出了一种基于词向量的修正方法,对采用上述模型的分词结果进行修正。对典型微博语料数据集的实验结果表明,提出基于模型的分词性能相对于传统的分词软件的分词性能有了较大提升。采用提出的词向量修正方法修正后的分词准确率和F值略优于未修正的分词准确率和F值,从而验证了论文提出的分词方案的有效性。

关键词：中文分词长短期记忆网络编码-解码模型词向量准确率 F值

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于深度学习的图像生成古诗方法研究

基于深度学习的图像生成古诗方法研究

作者：王小宇武汉理工大学

学位级别：硕士

古诗是中华民族两千年多来思想、文化、精神、情感的一种艺术表现。随着新一轮人工智能及深度学习技术的发展,古诗自动生成研究近年来得到了相当多的关注,出现了大量的在线计算系统用于实现古诗的自动创作。现有的研究大多集中于给定关... 详细信息

古诗是中华民族两千年多来思想、文化、精神、情感的一种艺术表现。随着新一轮人工智能及深度学习技术的发展,古诗自动生成研究近年来得到了相当多的关注,出现了大量的在线计算系统用于实现古诗的自动创作。现有的研究大多集中于给定关键词或者文本序列生成古诗。受图像描述最新进展的启发,从图像输入中生成古诗描述实现传统文化的数字化体验,将是一项有趣且极具挑战性的任务。这项任务作为一个跨模态问题包含多个挑战:从图像中获取意象信息、依据意象信息生成古诗、同时还需要考虑生成古诗的文学效果。基于上述挑战,本文依据图像信息的复杂程度,提出了两种针对不同图像输入的古诗生成方法。同时针对现有古诗生成模型中诗句语义连贯性弱化问题进行优化。本文的主要工作如下:（1）提出适用于单目标图像输入的图像古诗生成方法,建立单目标图像古诗生成模型。该模型通过控制行首词将图像和古诗联系起来,包含两个模块:图像关键词提取以及基于关键词的古诗生成。模型通过图像特征提取器获得图像的目标信息,将目标信息作为古诗的写作大纲,而后基于字符级循环神经网络逐行生成古诗。设计实验分析不同层数模型对实验结果有效性的影响。实验结果表明使用3层网络结构生成的古诗获得的认可度更高。同时,相比于七言诗句,模型在五言诗句上的效果表现更好。（2）针对单目标图像古诗生成模型只能识别单一目标信息的问题,提出适用于复杂图像输入的图像古诗生成方法,建立基于场景的图像生成古诗模型。考虑到场景信息在古诗创作中的重要性,模型在图像处理模块加入对图像场景信息的识别。模型通过两个图像特征提取器获得图像的目标信息和场景信息,并基于这些信息进行扩展,生成四个主题词用于指导后续古诗的生成。在古诗生成模块,采用基于注意力机制的编码-解码模型逐行生成古诗,并以主题词作为外部输入,每个主题词对应生成一行诗句。同时,针对现有研究中古诗前后连贯性较弱问题,模型当前行诗句的输出只与前两行诗句信息相关。设计图灵测试对模型进行有效性评估。（3）设计对比实验对单目标图像古诗生成模型和基于场景的图像古诗模型进行评估。对比实验从两个方面展开,其一是对古诗生成结果的对比分析,其二是对图像古诗生成模型的相关性进行对比分析。采用困惑度和人工打分作为评价指标。将上述两个模型生成的古诗与SMT模型、RNNPG模型、以及PPG模型生成的古诗进行对比。实验结果表明相比字符级循环网络结构,编码-解码框架在解决古诗生成问题时得到的结果更好。同时,相比于选择前文所有信息,选择前两行诗句作为参考信息更有利于生成效果较好的古诗。设计两个对比实验对上述两个模型的图像和古诗相关性进行评估。实验结果表明当输入图像的信息较为单一时,单目标图像古诗生成模型效果更好,当图像信息量增多时,基于场景的图像生成古诗模型经由两个图像特征提取器生成的古诗更贴合图像内容表达。

关键词：古诗生成图像描述神经网络注意力机制编码-解码模型

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向复杂结构文本识别的编解码模型研究

面向复杂结构文本识别的编解码模型研究

作者：吴昌杰中国科学技术大学

学位级别：硕士

文本识别技术旨在从静态图片或者在线轨迹点中自动识别文本内容。一方面,文本识别和网络空间安全息息相关。该技术能够自动破解图片或者轨迹格式的验证码,检测图片中嵌入的暴恐信息和违法广告,识别交通车辆的车牌号码和身份证件号码等... 详细信息

文本识别技术旨在从静态图片或者在线轨迹点中自动识别文本内容。一方面,文本识别和网络空间安全息息相关。该技术能够自动破解图片或者轨迹格式的验证码,检测图片中嵌入的暴恐信息和违法广告,识别交通车辆的车牌号码和身份证件号码等。另一方面,文本识别技术更是能够极大地提高人们的工作效率,促进社会经济发展。例如手写输入法、纸质文档电子化、拍照翻译和机器阅卷等应用给人们带来了极大的便利。复杂结构文本的是文本识别任务中的难点之一。不同于普通的文本行,复杂结构文中除了包含基本的文本符号外,还包含了多种空间关系。比如在数学公式中,被开方数在根号的内部,根指数位于根号的左上部。这些空间结构的存在,增加了文本表示的多样性,但也极大地提高了文本识别的难度。本文主要以汉字和公式为例,研究基于深度学习中编解码模型的复杂结构文本识别方法。本文从编码器的优化、注意力机制的改进和解码器的重构三个角度出发,以汉字和数学公式为例,来设计性能更好和鲁棒性更强的复杂结构文本识别模型:1.在编码器中结合空间变换网络,来改善编码器提取旋转或扭曲文本特征的能力,使得模型在识别旋转或扭曲文本时具有更好的鲁棒性。本工作以街景扭曲汉字识别为例,提出了结合空间的部首分析网络,该模型能够很好的纠正并识别旋转或扭曲的汉字。2.使用后验注意力机制来改进软注意力机制,提高模型学习输入和输出之间对齐的能力。我们以在线手写数学公式为例,提出了基于笔划级别后验注意力机制的编解码模型。后验注意力机制能够有效地改善模型输入和输出之间的对齐效果,并因此提高模型的识别性能。3.构建一个通用树形解码器,来解码任意能够转换成树形结构的文本,并提高模型在复杂结构文本上的泛化性。本工作提出了一个新型的树形解码器,该模型中的节点分类模块和分支预测模块能更直接地学习复杂结构文本中字符之间的空间关系。通过在数学公式和汉字上的大量实验,证明了新型树形解码器在面对复杂结构文本时,拥有更好的泛化能力和更高的性能。

关键词：汉字识别数学公式识别编码-解码模型后验注意力机制树形解码器

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于高层语义的图像描述生成模型研究

基于高层语义的图像描述生成模型研究

作者：王难寻合肥工业大学

学位级别：硕士

图像描述生成旨在为给定的图像生成相应的自然语言文字描述。图像描述生成涉及计算机视觉和自然语言处理领域,具有很强的挑战性。近年来,基于深度神经网络的图像描述生成方法虽已取得极大进展,然而现有方法仍无法避免因图像高层语义的... 详细信息

图像描述生成旨在为给定的图像生成相应的自然语言文字描述。图像描述生成涉及计算机视觉和自然语言处理领域,具有很强的挑战性。近年来,基于深度神经网络的图像描述生成方法虽已取得极大进展,然而现有方法仍无法避免因图像高层语义的缺失而造成的描述文本不准确不自然等问题。因此,本文结合图像的高层语义信息,研究图像描述生成的方法和技术。本文的主要工作如下:（1）基于神经网络的编码-解码模型虽能依赖大规模训练集学习到编码后的图像特征与解码生成的描述文本之间的关联关系,但仍无法避免生成的描述存在语义缺失、语义错误等缺陷。针对此问题,本文在经典的编码-解码模型基础上进行了改进,提出了一种融合高层语义再生成的图像描述生成模型,即先利用Faster R-CNN检测出图像中的高层语义词,再通过注意力机制将高层语义信息融入到网络模型中,对初始图像描述进行再生成。实验结果表明,融合高层语义信息有助于改善图像描述文本的质量。（2）研究发现,人对图像进行描述时,不仅依赖自身的语言水平,还依赖图像内容中未明显包含的常识性知识,而现有的图像描述生成模型很少能充分利用这类常识性知识。针对此问题,本文提出一种基于图像高层语义引入外部知识的图像描述生成模型。该模型根据图像的高层语义信息获取与图像相关的外部知识,之后通过注意力机制,将获取到的相关外部知识融入到网络模型中,从而生成更好的图像描述文本。实验结果验证了该模型的有效性。

关键词：图像描述神经网络编码-解码模型高层语义注意力机制

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于注意机制的图像描述生成方法研究

基于注意机制的图像描述生成方法研究

作者：张悦东北大学

学位级别：硕士

随着近年来互联网技术的革新和不断创新,深度学习技术逐渐爆发,人们向往着能实现与机器的“交流”,希望机器能够模拟人的思考方式,做到人类能够做到的一些简单的或者重复的工作和内容,从而实现人机交互与智能。本文结合计算机视觉和自... 详细信息

随着近年来互联网技术的革新和不断创新,深度学习技术逐渐爆发,人们向往着能实现与机器的“交流”,希望机器能够模拟人的思考方式,做到人类能够做到的一些简单的或者重复的工作和内容,从而实现人机交互与智能。本文结合计算机视觉和自然语言处理两大领域的知识,提出解决图像自动生成描述句子的问题,即如何让机器理解图像并表达出来,这是学术界和工业界的一个尤为吸引人的跨学科研究领域。图像描述生成的任务是将一幅图像中所涵盖的内容,包括图像中的对象、图像中对象的动作及位置关系、图像中的场景等等,翻译成具有特定的语句结构和语法规则的自然语言的过程,其最终的目的是将一幅图片“翻译”成一段人类可读的文字描述。基于此,本文的工作主要有以下三个方面:首先,本文提出了一种卷积神经网络和递归神经网络的联合模型,用于处理图像描述问题。对于图像部分,使用卷积神经网络处理图像内容,提取图像的显著性特征如颜色、纹理、轮廓等等;对于文本部分,使用递归神经网络中的长短期记忆网络处理文本词语的生成,包括前后语句的连贯、上下文语义和前后文情感的协调。随后通过将两个模型串联的方式解决图像描述问题,利用第三方数据验证了该模型的表现。其次,本文提出了一种基于注意力机制的改进算法,通过将模仿人眼“看”事物的方法转化成概率注意公式加入到模型中,用于辅助生成描述重点词汇和上下文的衔接。通过比较该改进算法与之前提出的方法,明确了该方案在图像描述任务上的表现更胜于未添加注意机制之前,并通过对比实验证明了该方法的优越性。最后,由于本文研究的是图像描述,自然而然地要将其延伸到中文领域进行研究,本文对于中文自然语言处理问题之中的分词技术也进行了分析,并且提出了一种基于最大熵模型的改进字典分词算法对中文文本分词,并基于Glove算法提出了改进的Glove算法适用于中文词向量化方法,进而利用特有的中文图像描述数据集验证该算法的效果,实现了中文图像描述生成。

关键词：图像描述自然语言处理计算机视觉词向量化编码-解码模型

交通场景下基于LiDAR点云的3D目标检测

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

交通场景下基于LiDAR点云的3D目标检测