检索结果-南通市图书馆

译文质量估计中基于Transformer的联合神经网络模型

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

中文信息学报 2021年第6期35卷 47-54页

作者：陈聪李茂西罗琪江西师范大学计算机信息工程学院江西南昌330022

译文质量估计作为机器翻译中的一项重要任务,在机器翻译的发展和应用中发挥着重要的作用。该文提出了一种简单有效的基于Transformer的联合模型用于译文质量估计。该模型由Transformer瓶颈层和双向长短时记忆网络组成,Transformer瓶颈... 详细信息

译文质量估计作为机器翻译中的一项重要任务,在机器翻译的发展和应用中发挥着重要的作用。该文提出了一种简单有效的基于Transformer的联合模型用于译文质量估计。该模型由Transformer瓶颈层和双向长短时记忆网络组成,Transformer瓶颈层参数利用双语平行语料进行初步优化,模型所有参数利用译文质量估计语料进行联合优化和微调。测试时,将待评估的机器译文使用强制学习和特殊遮挡与源语言句子一起输入联合神经网络模型以预测译文的质量。在CWMT18译文质量估计评测任务数据集上的实验结果表明,该模型显著优于在相同规模训练语料下的对比模型,和在超大规模双语语料下的最优对比模型性能相当。

关键词：机器翻译译文质量估计 Transformer 联合训练

在线全文

学校读者我要写书评

暂无评论

机器翻译译文质量估计综述

中文信息学报 2022年第11期36卷 20-37页

作者：邓涵铖熊德意天津大学智能与计算学部天津300350

机器翻译译文质量估计(Quality Estimation,QE)是指在不需要人工参考译文的条件下,估计机器翻译系统产生的译文的质量,对机器翻译研究和应用具有很重要的价值。机器翻译译文质量估计经过最近几年的发展,取得了丰富的研究成果。该文首先... 详细信息

机器翻译译文质量估计(Quality Estimation,QE)是指在不需要人工参考译文的条件下,估计机器翻译系统产生的译文的质量,对机器翻译研究和应用具有很重要的价值。机器翻译译文质量估计经过最近几年的发展,取得了丰富的研究成果。该文首先介绍了机器翻译译文质量估计的背景与意义;然后详细介绍了句子级QE、单词级QE、文档级QE的具体任务目标、评价指标等内容,进一步概括了QE方法发展的三个阶段:基于特征工程和机器学习的QE方法阶段,基于深度学习的QE方法阶段,融入预训练模型的QE方法阶段,并介绍了每一阶段中的代表性研究工作;最后分析了目前的研究现状及不足,并对未来QE方法的研究及发展方向进行了展望。

关键词：机器翻译译文质量估计文献综述

基于XLM-R预训练模型的译文质量估计技术研究

在线全文

学校读者我要写书评

暂无评论

基于XLM-R预训练模型的译文质量估计技术研究

作者：李娅楠沈阳航空航天大学

学位级别：硕士

随着神经网络的飞速发展,机器翻译有了巨大的突破和进步,为了告知用户机器译文的可靠性,提出了译文质量估计方法。译文质量估计技术是指在无需参考译文的情况下对机器译文进行自动评估的一种方法。译文质量估计的发展从基于机器学习到... 详细信息

随着神经网络的飞速发展,机器翻译有了巨大的突破和进步,为了告知用户机器译文的可靠性,提出了译文质量估计方法。译文质量估计技术是指在无需参考译文的情况下对机器译文进行自动评估的一种方法。译文质量估计的发展从基于机器学习到基于深度神经网络,近年来预训练语言模型的出现给译文质量估计技术开辟了新的道路。本文基于XLM-R预训练模型构造译文质量估计模型,研究工作概括如下。针对译文质量估计在使用预训练模型时只依靠了CLS位进行直接预测的情况,本文提出了加入注意力机制和门控机制来融合预训练模型两个输出的方法来进一步增强句子的语义信息,这样在句子级质量估计中可以更多关注到关键单词的信息。针对译文质量估计语料缺少,模型在训练时容易造成过拟合问题本文提出了三种构建伪语料的方法。同时针对译文质量估计模型在训练过程并没有利用后编辑译文的情况,本文提出将后编辑译文引入模型训练,采用两个XLM-R模型进行向量交互的模型结构自动学习机器译文与后编辑译文的关系,在测试时,构造伪后编辑译文信息作为辅助来预测译文质量。以上方法都在CCMT2021和WMT2020两个数据集上进行了实验,实验结果均得到了提升。最后,设计并实现了基于XLM-R预训练模型的译文质量估计系统,该系统属于一个测试系统,可以直接进行句子级和词级的质量估计,同时可以实现最佳译文的推荐。

关键词：译文质量估计 XLM-R 注意力机制门控机制后编辑译文

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

利用依存句法关系改进神经译文质量估计

中文信息学报 2021年第9期35卷 46-57页

作者：叶娜黎天宇蔡东风徐佳沈阳航空航天大学人机智能研究中心辽宁沈阳110136

译文质量估计技术是指在无参考译文的情况下对机器译文进行评价的方法。近年来,深度学习技术取得了重大突破,融合深度学习技术的神经译文质量估计方法逐渐取代了传统的译文质量估计方法成为主流。神经译文质量估计模型具有一定的隐式学... 详细信息

译文质量估计技术是指在无参考译文的情况下对机器译文进行评价的方法。近年来,深度学习技术取得了重大突破,融合深度学习技术的神经译文质量估计方法逐渐取代了传统的译文质量估计方法成为主流。神经译文质量估计模型具有一定的隐式学习源语言句法结构的能力,但无法从语言学的角度有效地捕捉句子内部的句法关系。该文提出了一种将源语句的句法关系信息显式融入神经译文质量估计的方法,在源语言的依存句法关系和译文质量之间建立联系。实验结果表明,该文提出的句法关系特征能够提高译文质量估计模型的准确性。同时还提取了多个层面的语言学特征,在不同的网络模型中进行融合,并从多个角度分析了不同特征所起到的效果。最后使用集成学习算法,将多个有效模型进行融合,获得了最佳性能。

关键词：译文质量估计依存句法关系特征融合集成学习

在线全文

学校读者我要写书评

暂无评论

句子级别机器译文质量估计研究综述

情报工程 2022年第2期8卷 34-50页

作者：罗兰何贤敏李茂西江西师范大学计算机信息工程学院南昌330022 江西师范大学管理科学与工程研究中心南昌330022

[目的/意义]近年来,随着估计结果与人工评价的相关性逐步增强,译文质量估计引起了机器翻译研究者们的广泛关注和高度重视,因此对句子级别译文质量估计方法进行归纳整理具有重要意义。[方法/过程]该文主要是将它们分为基于传统机器学习... 详细信息

[目的/意义]近年来,随着估计结果与人工评价的相关性逐步增强,译文质量估计引起了机器翻译研究者们的广泛关注和高度重视,因此对句子级别译文质量估计方法进行归纳整理具有重要意义。[方法/过程]该文主要是将它们分为基于传统机器学习的方法、基于神经翻译模型的方法和基于预训练语言模型的方法,梳理和对比了这三种译文质量估计方法的代表性工作、交叉工作以及不同方法的发展路线,并介绍了推动译文质量估计研究的相关评测活动和性能评价指标,最后展望句子级别译文质量估计今后的研究方向和发展趋势,并对全文进行总结。[结果/结论]机器译文质量估计未来的研究方向将会越来越成熟,应用场景也会越来越广泛,有逐步取代传统译文自动评价任务的趋势。

关键词：机器翻译译文质量估计深度神经网络预训练语言模型评价指标

基于Transformer的联合神经网络译文质量估计方法

在线全文

学校读者我要写书评

暂无评论

基于Transformer的联合神经网络译文质量估计方法

作者：陈聪江西师范大学

学位级别：硕士

在经济全球化的背景之下,国际之间的交流越来越频繁,使用计算机进行翻译可以极大的减轻不同母语使用者之间交流的负担。虽然使用计算机进行翻译有很多的优点,但这种方法仍然还有诸多的局限性,难以定量的评价计算机翻译结果的质量就是其... 详细信息

在经济全球化的背景之下,国际之间的交流越来越频繁,使用计算机进行翻译可以极大的减轻不同母语使用者之间交流的负担。虽然使用计算机进行翻译有很多的优点,但这种方法仍然还有诸多的局限性,难以定量的评价计算机翻译结果的质量就是其中之一。想要提高计算机翻译系统的质量,从而让计算机翻译系统服务更多的客户,关键步骤是评估翻译结果的质量。因此,有了机器译文质量估计评测任务。机器译文质量估计的目标是,抛开规范的参考译文,计算机自动评估翻译结果的质量。机器译文质量估计不仅可以提高机器翻译的质量,而且在机器翻译后编辑和辅助机器翻译中发挥着重要的作用。本文提出了基于Transformer的联合神经网络质量估计方法—TUNQE。为了利用Transformer模型从双语平行语料中学习得到的双语关联知识,我们将Transformer瓶颈层和Bi-LSTM网络层组合形成一个大型的联合神经网络用于机器译文质量估计。TUNQE模型由两个子模块组成:首先是使用Transformer编码器—解码器实现的特征提取模块;其次是使用循环神经网络实现的质量估计模块,用作计算译文质量分数,该模块实质上是一个有监督的回归模块。我们把这两个模块进行组合,得到一个端到端的神经网络模型。在模型训练的过程中,首先使用大规模的双语语料对特征提取模块该进行预先训练,然后使用机器译文质量估计任务提供的训练数据集对完整的TUNQE模型参数进行训练。本文使用WMT2018、WMT2019以及CWMT2018句子级别的质量估计评测任务提供的质量估计数据集,对本文提出的TUNQE模型的性能进行了验证以及分析。实验的结果显示该方法可以明显提高译文质量估计分数与人工评价分数的相关性,并且融合BERT语境词向量后的译文质量估计方法性能有进一步的提升。实验分析进一步的展示了Transformer解码器的mask方式对模型性能的影响。

关键词：机器翻译译文质量估计 Transformer 联合训练

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

融合多特征的译文质量估计技术研究

融合多特征的译文质量估计技术研究

作者：黎天宇沈阳航空航天大学

学位级别：硕士

近年来,深度学习取得重大突破,机器翻译领域得到迅速发展,而机器翻译必然伴随着译文评价。译文质量估计技术是指在无参考译文的情况下对机器译文进行评价的方法,在计算机辅助翻译中具有重要意义。目前,在该领域中,主流方法是融合深度学... 详细信息

近年来,深度学习取得重大突破,机器翻译领域得到迅速发展,而机器翻译必然伴随着译文评价。译文质量估计技术是指在无参考译文的情况下对机器译文进行评价的方法,在计算机辅助翻译中具有重要意义。目前,在该领域中,主流方法是融合深度学习技术的神经译文质量估计方法。与传统的译文质量估计方法相比,该方法能够更好的对双语及其特征进行充分学习。但神经译文质量估计模型仍存在一些问题需要解决,主要分为以下两方面。首先训练译文质量估计模型的语料需要人工标注,成本较高,所以规模较小,导致模型受到语料的限制,对双语信息提取不充分。其次神经网络虽然具有很好的自学习特征的能力,但它将双语句子简单地看作一个词序列,无法从语言学的角度上有效地捕捉句子内部的词法、句法信息。本文提出一种融合多特征的译文质量估计方法,通过提取多个层面的特征,来缓解上述问题。针对问题一,本文提取词预测特征和预训练语言模型特征,该特征可以为译文质量估计模型引入先验知识,同时能够克服下游模型过拟合现象的发生。针对问题二,本文提取词性特征和句法特征,以外部知识的形式补充到神经网络中,丰富了质量向量所蕴含的词法、句法信息。本文通过实验,对不同层面的特征进行了评价和筛选,然后将特征在不同的网络模型中进行融合,并从多个角度分析了不同特征组合所起到的不同效果。最后本文使用集成学习算法,将多个有效子模型进行集成,得到泛化性能最好的模型。

关键词：译文质量估计多特征融合语言学特征词性特征句法特征

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的译文质量估计技术研究

基于深度学习的译文质量估计技术研究

作者：王远远沈阳航空航天大学

学位级别：硕士

译文质量估计是在无参考译文的情况下对机器译文质量进行评价,在计算机辅助翻译中具有重要意义。传统的译文质量估计方法基于特征工程,通过对双语特征进行设计与选择,进一步学习特征与译文质量分数之间的映射函数。随着深度学习技术的发... 详细信息

译文质量估计是在无参考译文的情况下对机器译文质量进行评价,在计算机辅助翻译中具有重要意义。传统的译文质量估计方法基于特征工程,通过对双语特征进行设计与选择,进一步学习特征与译文质量分数之间的映射函数。随着深度学习技术的发展,目前被广泛采用的译文质量估计方法利用神经网络自动学习双语特征,克服了传统方法需要人工设计及挑选特征的局限性。但是通过对具体模型及细节的详细分析,发现目前效果较好的基于深度学习的译文质量估计方法中仍存在一些问题需要解决,本文将这些问题总结为两个方面。第一,目前被广泛采用的基于端到端的两阶段的译文质量估计方法虽然能够学习一定的双语结构信息,但是仍然不能挖掘出更深层次的句法知识。针对该问题,本文提出了一种融入句法知识的译文质量估计方法,通过将句法知识显式地融入当前模型中,有效提高了译文质量估计的准确性。第二,预训练的词嵌入不仅可以为译文质量估计模型引入先验知识,同时能够克服下游模型过拟合现象的产生,但是当前研究中所采用的预训练的词嵌入未能携带较为全面的上下文信息。针对此问题,本文在句子级子任务上引入了语境化词嵌入特征以及依存句法特征,并提出了一种多特征融合的译文质量估计方法,且证实了该方法的有效性。最后,集成本文提出的两种方法,设计并实现了基于深度学习的译文质量估计系统,该系统能够从不同粒度上对译文质量进行估计,与单个方法相比,进一步提高了译文质量估计的效果。

关键词：译文质量估计深度学习句法知识语境化词嵌入多特征融合

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

多特征融合的句子级译文质量估计方法

厦门大学学报（自然科学版） 2020年第2期59卷 167-174页

作者：叶娜王远远蔡东风沈阳航空航天大学人机智能研究中心辽宁沈阳110136

与传统的机器译文评价方法不同,译文质量估计技术旨在无参考译文的情况下对机器译文质量进行评价.针对目前流行的基于深度学习的译文质量估计方法因数据匮乏和模型限制导致所提取的深度学习特征不充分的现状,提出一种多特征融合的方法.... 详细信息

与传统的机器译文评价方法不同,译文质量估计技术旨在无参考译文的情况下对机器译文质量进行评价.针对目前流行的基于深度学习的译文质量估计方法因数据匮乏和模型限制导致所提取的深度学习特征不充分的现状,提出一种多特征融合的方法.该方法将词预测特征、语境化词嵌入特征、依存句法特征和基线特征等从不同模型中提取到的特征分别输入到基于循环神经网络的下游模型中,进一步学习后采用不同的特征融合方式进行融合,以此来提高译文质量估计的准确性.通过对比实验表明,本文所提出的多特征融合策略相比于单个特征能更好地对双语信息进行表达,且进一步提高了译文质量估计的皮尔逊相关系数等评价指标.

关键词：译文质量估计特征融合语境化词嵌入语言表示句法