检索结果-南通市图书馆

作者：翁荣祥南京大学

学位级别：硕士

全球化现象在当今世界不断增强,国际交流也随之变得日益频繁,语言交流的障碍正逐步凸显。机器翻译凭借高效的翻译效率和低廉的成本,成为了克服上述障碍,增强跨国跨文化交流的重要手段,这使其成为了人工智能及自然语言处理领域中研究的... 详细信息

全球化现象在当今世界不断增强,国际交流也随之变得日益频繁,语言交流的障碍正逐步凸显。机器翻译凭借高效的翻译效率和低廉的成本,成为了克服上述障碍,增强跨国跨文化交流的重要手段,这使其成为了人工智能及自然语言处理领域中研究的热点。随着深度学习的快速发展,基于神经网络的机器翻译模型得到了广泛地关注。相较于之前的机器翻译模型,神经机器翻译模型直接使用双语对齐数据进行训练,而没有利用任何额外的语言信息进行指导。训练过程会将输入的源语言和输出的目标语言分别投影成高维的向量,而翻译所需的语言信息则完全包含在这些向量表示中。然而双语数据是由人工翻译整理而成的,通常规模不会很大,但神经网络的参数规模却是极其庞大的,这种不平衡导致了现有的神经机器翻译模型生成的向量表示无法包含有足够语言信息。语言表示的不完整则会产生很多翻译问题,如翻译过程中局部字词信息不够精确会导致多翻,漏翻,或者错翻等现象;缺少语义或结构的全局信息则会导致翻译结果在语义和结构上产生很大偏差等。因此,通过引入各类语言信息来约束和指导神经机器翻译模型的训练和生成,可以针对性的解决这些问题,使得翻译生成的结果更加的完整和准确,从而大幅提高机器翻译的质量。本文从如何将语言信息引入神经机器翻译模型的角度出发,基于模型结构和外部资源两个方向展开研究。本文的主要内容如下:1.针对神经机器翻译模型的局部表示不够精确的问题,提出在神经机器翻译模型中结合一种词预测机制对语言表示进行额外的约束。通过这种方式可以利用目标端的词信息使翻译过程中每个向量表示能包含有更精确的局部语言信息。实验结果表明引入词预测机制能使得模型的翻译结果更加准确和完整。2.针对神经机器翻译模型的全局语言信息建模不完整导致其容易出现一些语义和结构偏差的问题,提出在模型中显式建模句子级的全局表示,并将其动态地结合到翻译过程中。通过这种方式,可以使得翻译的句子在全局表示的指导下能更加准确地反映源端句子的语义信息,从而提高整体的翻译质量。3.针对有限的双语数据不足以使翻译模型学习到足够好的语言表示的问题,提出了一种双向自注意力语言模型来利用外部的大规模单语数据学习语言表示,并将学习到的语言表示加入到翻译过程中辅助神经机器翻译模型进行翻译。实验结果表明外部数据提供的语言信息能够显著提高翻译的质量。4.另一方面,本文提出了一种新型的双向记忆交互式神经机器翻译模型,在人机交互中,更好地利用用户提供的外部语言信息进行生成和学习。实验结果表明,本文提出的方法,可以充分利用用户在交互过程中提供的语言信息提高翻译质量。

关键词：神经机器翻译语言信息模型结构外部资源

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于数据增强的机器翻译质量评估方法研究

基于数据增强的机器翻译质量评估方法研究

作者：崔渠南京大学

学位级别：硕士

随着当今全球化进程的不断发展,机器翻译作为一种沟通不同语言的技术越来越重要。如何定量的评价机器产生的翻译结果在机器翻译领域是一个重要的问题,正被越来越多的研究者们所关注。机器翻译质量评估是指在给定原文以及机器翻译系统产... 详细信息

随着当今全球化进程的不断发展,机器翻译作为一种沟通不同语言的技术越来越重要。如何定量的评价机器产生的翻译结果在机器翻译领域是一个重要的问题,正被越来越多的研究者们所关注。机器翻译质量评估是指在给定原文以及机器翻译系统产生的译文时直接预测译文翻译质量的机器翻译评价方法,该方法并不依赖参考译文。传统的机器翻译质量评估方法需要人类专家针对原文语言以及译文语言设计特征,这种方法代价较大。之后研究者们使用深度学习模型自动的从机器翻译质量评估数据中提取特征,但是训练深度学习模型需要大量的有监督数据,而现有的质量评估数据规模教较小,限制了模型的性能。目前流行的方法是基于知识迁移的机器翻译质量评估方法,该方法能从大规模的平行语料中提取双语知识,而后将双语知识迁移到质量评估任务中。但是平行语料中并没有机器翻译译文中可能存在的翻译错误,同时也没有相应的质量标记。最终的机器翻译质量评估模型依旧只能在少量的质量评估数据上训练。为了解决现有工作的问题,本文提出使用数据增强的方法来伪造新的质量评估数据。本文的主要工作如下:1.针对质量评估数据获取困难,现有规模较小的问题,本文提出使用数据增强技术来扩充现有的机器翻译质量评估数据,最大程度上利用已有数据。具体上,本文尝试了根据译后编辑结果进行采样、对原文进行改述以及加入噪音等数据增强方式。本文所提出的数据增强方法能够在保持质量评估标签正确性的情况下使有限的机器翻译质量评估数据更加多样化,进而使模型可以更好地学到质量评估方面的特征,提升鲁棒性。2.针对平行语料与机器翻译质量评估语料分布不一致的问题,本文提出一种基于平行语料伪造质量评估数据的方法以及相应的训练框架,从而能够最大程度的利用现有平行语料,学习到更加适合机器翻译质量评估任务的双语知识。比起平行语料,本文提出的方法所伪造的数据与真实质量评估数据的分布更加接近。同时,基于伪造的质量评估数据,模型可以直接使用质量评估任务的方式进行预训练,而现有方法只能在平行语料上使用词预测作为训练目标。这使得本文提出的方法可以更好地从平行语料中学习质量评估所需要的特征。本文主要在WMT2017、2019英德语向的机器翻译质量评估任务数据集上进行实验,实验结果证明了本文提出的方法的有效性,并且可以达到并超过现有最好的机器翻译质量评估模型。

关键词：机器翻译质量评估数据增强预训练

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于句子表示的复述检测与生成研究

基于句子表示的复述检测与生成研究

作者：刘小雪南京大学

学位级别：硕士

随着深度学习的快速发展,自然语言处理基础技术不断成熟,人们越来越关注语义理解的相关研究。应用中判断机器是否理解自然语言的标准之一是相同语义的不同表达,即复述。复述任务在机器翻译、摘要生成、信息检索、信息抽取和自动问答等... 详细信息

随着深度学习的快速发展,自然语言处理基础技术不断成熟,人们越来越关注语义理解的相关研究。应用中判断机器是否理解自然语言的标准之一是相同语义的不同表达,即复述。复述任务在机器翻译、摘要生成、信息检索、信息抽取和自动问答等多项自然语言处理任务上被广泛应用,有着极其重要的研究价值。复述研究主要分为复述检测和复述生成两个研究方向。复述检测是判断两个句子是否具有相同的语义信息的分类任务,复述生成则是研究多样化表达方式的自然语言句子的生成任务,要求生成的句子具有相同的语义含义。复述研究与语义理解息息相关,自然语言句子的多样性和复杂性,导致相同的词语在不同的语境下含义不同,相同的句意也可以对应不同的表达,这为复述研究带来了挑战。早期的复述技术依赖于规则模板,需要根据语言设计规则,耗时费力并且可扩展性差。随着深度学习技术的成熟,基于注意力机制的端到端的序列生成模型成为复述生成的研究热点之一。这种方法强调通过训练数据学习序列间具体的映射关系,并不能很好做到语义理解。不同于此类工作,本文认为语义理解的基础是能建模普适性句子表示,并通过此表示得到满足复述问题的结果。本文立足于语义理解的研究,研究通过集成学习得到增强的句子表示的方法,并将其应用于复述检测和复述生成的研究,主要工作如下:1.本文对句子表示和语义理解相关研究进行了大量的调研,针对不同表示方法的特点,本文选择其中的五种作为基础句子表示模型,提出一种基于门控机制的集成表示模型。在复述检测和语义理解基线任务上的实验结果表明,本文提出的集成方法能获取相较于基础表示模型更好的表示。2.表示与生成一直是自然语言处理的研究难点,不同于序列到序列的建模方式,本文将上述的表示模型应用在复述生成任务上。基于先表示、后生成的思想,填补了从深度语义表示到复述生成研究方向的空缺,利用集成表示建立起从表示到复述生成上比较强的一个基线模型。实验结果表明,本文可以得到多种语义相似表达方式不同的复述句子。3.本文实现了一个基于句子表示的复述检测和生成系统,该系统主要有复述检测、复述生成功能,同时利用集成表示方法,扩展短语相似度等基础自然语言辅助功能。系统能更好的展示本文的研究结果,有助于对表示和复述研究的思考。

关键词：语义理解句子表示复述检测复述生成集成

对神经机器翻译模型隐式学习能力的挖掘与应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

对神经机器翻译模型隐式学习能力的挖掘与应用

作者：孙泽维南京大学

学位级别：硕士

自人类进入近代社会,国际间的跨语言交流日趋频繁。人们依靠互联网打破了物理的空间束缚,却仍然难以跨越语言的屏障。以往单纯依赖人类译员的模式在翻译需求指数倍增的信息时代也显得捉襟见肘,而机器翻译作为高效便捷的自动化工具,在这... 详细信息

自人类进入近代社会,国际间的跨语言交流日趋频繁。人们依靠互联网打破了物理的空间束缚,却仍然难以跨越语言的屏障。以往单纯依赖人类译员的模式在翻译需求指数倍增的信息时代也显得捉襟见肘,而机器翻译作为高效便捷的自动化工具,在这一背景下应运而生并取得长足发展。目前使用最广泛的是基于大规模神经网络的神经机器翻译,学术界对其提出过大量的改进思路,包括模型结构、训练目标、解码速度等。这些工作着眼于对基本框架的改动,但对模型自身学习能力的挖掘与探索还不够充分。然而,神经机器翻译模型本身就隐含着较强的学习能力,其内在机制蕴藏着大量可开发与可解释的空间。一方面,在训练过程中,其局部的子模块能隐式地学习翻译流程中的分解特征,如词向量空间、注意力(词对齐)等;另一方面,其自身端到端的训练方式拥有强大的适应性,可以拓展到多个任务中。这两项学习能力值得进一步挖掘。本文将聚焦于神经机器翻译模型自身的隐式学习能力,在三个机器翻译的扩展任务上展开研究与应用:1.在多样性翻译任务上,挖掘神经机器翻译模型多头注意力模块隐式习得的规律,并利用该规律增强模型自身的翻译多样性,动态地实现翻译质量与翻译多样性的平衡,同时将其与反向翻译技术结合进一步提升模型的性能。2.在低资源翻译任务上,分析神经机器翻译模型内部的注意力头组件训练不平衡问题,同时提出局部屏蔽策略针对性地缓解该问题,实现低资源语言对翻译质量的提升。3.在文档翻译任务上,延伸神经机器翻译模型端到端的训练方式,发掘其自身长距离文本建模的潜力,构建新型的文档翻译范式,并提出新的大规模数据集及针对性评价指标,打破了过往对于训练数据与训练场景的限制。

关键词：神经机器翻译隐式学习能力多样性低资源文档

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

短语翻译系统中的交互翻译研究

短语翻译系统中的交互翻译研究

作者：程善伯南京大学

学位级别：硕士

当今社会,不同国家之间的交流越来越频繁。为了满足不同语言之间的交流需求,跨语言的翻译迫在眉睫。利用人工进行翻译效率相对低下,并且非常昂贵,所以自动化翻译技术(机器翻译技术)的研究已经成为一个非常重要的研究方向。在长期的发展... 详细信息

当今社会,不同国家之间的交流越来越频繁。为了满足不同语言之间的交流需求,跨语言的翻译迫在眉睫。利用人工进行翻译效率相对低下,并且非常昂贵,所以自动化翻译技术(机器翻译技术)的研究已经成为一个非常重要的研究方向。在长期的发展后,统计机器翻译逐渐成为主流。虽然经历了飞速发展,但是由于自然语言的复杂性,统计机器翻译的翻译质量仍不完美,用户还需要通过人机交互来进一步提高翻译质量。交互式机器翻译是一种将用户与机器翻译技术相结合,通过人机交互提升翻译质量、提升用户翻译效率的技术。在机器翻译仍不完美的今天,交互式机器翻译技术的需求非常大。当前主流的交互式翻译系统中,用户只能从左到右地修正翻译错误,导致用户可提供的信息相对少。这就限制了机器翻译系统利用用户提供的信息来提高翻译质量的能力。在本文中,我们针对目前的交互式翻译系统的弱点做出改进。首先,提出了一种新型交互框架及该框架下的限制解码算法,该框架改变自左向右的修正操作,让用户可以修正任意位置的翻译错误;系统结合人机交互信息,使用限制解码算法进行解码,生成更优翻译。其次,提出了基于新型交互框架的自动建议模型,自动为用户的操作提供建议。再次,扩展了新型交互框架,以减少翻译系统的翻译调序错误。最后,将人机交互过程中产生的信息用于模型自适应,提升翻译系统本身的能力。实验结果表明,本文提出的交互框架相比传统的交互框架能够更快地提升翻译质量,显著降低用户交互代价;自动建议模型可以进一步降低用户交互代价;基于新型交互框架的扩展交互方法能够根据用户提供的信息一定程度上减少翻译系统的调序错误;模型自适应方法能够根据用户历史信息更新翻译系统,提高翻译系统能力。

关键词：短语机器翻译交互框架解码自动建议框架扩展模型自适应

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于参考译文图的机器翻译质量评价方法研究

基于参考译文图的机器翻译质量评价方法研究

作者：季红洁南京大学

学位级别：硕士

随着科技日新月异的发展,机器翻译技术得到了越来越多人的关注,其理论研究以及实际应用都已成为机器学习领域的一大热点。与人工翻译相比,机器翻译在翻译效率上有较明显的提高,且代价较低,所以自动化翻译技术(机器翻译技术)的研究已经... 详细信息

随着科技日新月异的发展,机器翻译技术得到了越来越多人的关注,其理论研究以及实际应用都已成为机器学习领域的一大热点。与人工翻译相比,机器翻译在翻译效率上有较明显的提高,且代价较低,所以自动化翻译技术(机器翻译技术)的研究已经成为一个非常重要的研究方向。随着机器翻译技术的飞速发展,机器翻译质量评价这一研究课题应运而生,对于机器翻译系统产生的翻译结果,我们需要衡量其翻译质量如何。完成机器翻译本身并不是最终目的,我们希望知道机器译文能够在多大程度上帮助到人们,同时,对机器译文质量有大致的评估,也有助于学习得到一个更好的机器翻译系统,这两者相辅相成。对于机器译文的评测,传统的方式是进行人工评价,但是这种方式由于其耗时、代价昂贵且结果不可重现,现已被自动评测方法部分取代。当前主流的自动评测方法,采用的都是相同的策略:将机器译文与一个或是多个人工译文(参考译文)进行比较,并且认为一个与参考译文非常相似的机器译文肯定比那些与参考译文有较大差异的译文更准确。但是,由于语义和表达方式的多样性,源语言中的一个句子可能有很多不同的正确翻译结果(即翻译多样性),而参考译文是有限的,这就会导致在一些情况下,自动评测方法不能准确的对译文质量有一个评估,同时这一问题也限制了机器翻译系统的翻译能力。在本文中,我们针对目前的自动评测方法在翻译多样性方面的的缺陷做出了改进。由于人工翻译的昂贵代价,我们能够获取到的参考译文是有限的,因此,本文提出了一种从有限的资源中获取到更多信息的自动方法。首先,我们探索了不同的评价方法以及选择不同的参考译文对机器翻译系统的影响;其次,对已有的参考译文进行拓展,对于部分存在多个参考译文的数据集,通过构建一个参考译文图以获取更多的信息,对于大部分只存在一个参考译文的数据集,利用外部单语资源英文复述表,对当前的参考译文进行拓展,得到一个含有更加丰富信息的参考译文图;最后,通过从参考译文图中寻找最优路径以提高效率,并将该自动方法应用到已有的自动评测方法中,帮助提升机器翻译系统本身的翻译能力。实验结果表明,本文提出的从有限的资源中获取到更多信息的自动方法能够更快地获取到更加丰富且多样的参考译文信息。对于多个参考译文的拓展,能够对机器译文作出更加准确的评价;对于单个参考译文的拓展,不仅能够更准确地评价系统译文,同时还减小了使用不同译文带来的系统性能的差异;将该方法应用于翻译系统的训练过程,有效的提高了翻译系统能力。

关键词：机器翻译自动评价参考译文图翻译能力翻译多样性

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多样化文本表示的文本分类研究

基于多样化文本表示的文本分类研究

作者：李念奇南京大学

学位级别：硕士

文本分类是自然语言处理领域一项非常重要的基础工作,在学术界与产业界均得到广泛的应用与研究。提升文本表示质量是改进文本分类的重要途径。文本是由字或字符构成词,由词构成短语,再由短语构成句、段、节、章、篇等。机器学习算法无... 详细信息

文本分类是自然语言处理领域一项非常重要的基础工作,在学术界与产业界均得到广泛的应用与研究。提升文本表示质量是改进文本分类的重要途径。文本是由字或字符构成词,由词构成短语,再由短语构成句、段、节、章、篇等。机器学习算法无法对文本直接进行处理,需要转化成特定的格式作为机器学习模型的输入。文本表示是将文本数字化的过程,将文本表示成机器学习模型可以识别的实数向量或矩阵的形式。文本表示的核心是真实地反映文本内容的同时,对不同的文本保持区分度。文本数据包含多样化的内容特征,如主题、语言风格、情感倾向等。每个内容特征分别包含文本不同的关键信息点。当前的文本表示方法,如向量空间模型、主题模型、词向量模型等,均只生成单一的文本表示。使用单一的文本特征还原具有多样化内容特征的文本信息,会削弱文本不同内容特征的特征描述,不利于还原文本的真实内容。针对该问题,本文提出一种新的文本表示方式方法,即多样化文本表示。本文认为,使用多样化的内容特征,可以增强特征提取的能力,更好的还原文本的真实信息。多样化文本表示是一种使用无监督学习强化特征提取的方法,其关键在于如何获取多样化的文本表示。本文提出了如下三种解决方案:*** K-Means模型。Alter k-Means模型可以生成多组、差异较大的聚类,每个聚类对应一组表示向量。聚类的差异性将在下文中进行详细描述。每个聚类的一组表示向量作为基底,将样本映射到新的特征空间当中,通过捕获样本在新的特征空间当中的位置信息,强化对样本的特征提取。*** LDA模型。Alter LDA模型是对主题模型LDA的泛化。可以生成多组、差异较大的主题结构,捕获文本在不同主题结构下的特征表示。Alter LDA模型使用“主题-词”分布描述文本的主题结构,使用“文档-主题”分布作为样本的特征表示,主题结构的差异将使用KL散度进行度量。3.横向多样化文本表示模型。横向多样化文本表示模型使用不同的文本表示模型,分别挖掘文本数据中不同的内容特征,生成差异较大、包含不同特征信息的文本表示。实验结果表明,多样化文本表示可以提升文本分类的效果。同时,多样化文本表示相较于已有的文本表示方法有着明显的降维效果。

关键词：文本表示多聚类多样化特征文本分类

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

统计机器翻译重排序和特定领域应用研究

统计机器翻译重排序和特定领域应用研究

作者：李小婉南京大学

学位级别：硕士

随着全球化进程的推进,跨国企业的发展,越来越多的语言进行互相翻译。统计机器翻译具有效率高、成本低的特点,具有广阔的应用前景。但是目前统计机器翻译系统的翻译性能还有待进一步提高。目前,很多工作都提出用重排序的方法提高统计机... 详细信息

随着全球化进程的推进,跨国企业的发展,越来越多的语言进行互相翻译。统计机器翻译具有效率高、成本低的特点,具有广阔的应用前景。但是目前统计机器翻译系统的翻译性能还有待进一步提高。目前,很多工作都提出用重排序的方法提高统计机器翻译的翻译性能。但目前的重排序方法还可以进一步改进。当统计机器翻译系统应用到某个特定领域时,则需要利用有限的领域内数据,有针对性地提高系统在该领域内专有词汇的翻译性能,而且系统的训练方式需要对非专业人员更清晰友好,以降低系统使用成本。故本文工作从三个方面展开。第一,利用重排序提高机器翻译质量。引入卷积神经网络以增强排序学习中实例之间的对比。我们提出使用卷积神经网络进行特征抽取,利用两个实例对应特征之间更多的组合,以更好地对比两个实例,以此提升排序学习的性能,获得更好的翻译性能。我们根据这个想法,设计了一系列排序学习框架,并在通用领域数据上对这些排序框架进行实验。因为我们发现目前建模两个翻译候选对比的方式仅仅利用两个实例对应特征的一种组合,而目前其他排序方法并不能从原子特征的角度对两个实例进行比较。在其他领域数据上验证我们排序框架的通用性。本文提出的配对排序框架适用于其他结构化预测任务,在信息检索和并列结构识别两个任务中的实验表明,我们的框架效果不错并且表现比较稳定。第二,针对商品领域调优系统翻译性能。利用基于短语的统计机器翻译系统翻译商品领域内数据,需要利用相对较少的商品领域的数据进行训练,同时获得比较好的领域内数据的翻译质量。由于少量商品领域内的数据缺乏常用词汇的翻译信息,我们提出加入通用领域数据可以提高常见词汇的翻译性能,添加领域相关数据可以大大提升领域相关数据的翻译性能。考虑到训练效率的问题,需要注意数据的比例。本文还通过实验证明,对商品品牌等多词组成的短语无论分词与否,系统都能正确识别和翻译该类型的术语。第三,利用可视化优化系统训练控制流程,增强系统的可用性。该系统被应用在其他领域时,往往需要利用该领域的数据进行训练,以便获得更好的领域内专有名词的翻译性能。通过可视化整个训练流程,降低非专业人员手动运行脚本和配置训练过程中所需参数的成本,简化了系统训练流程。该可视化系统将训练流程分割成几个大步骤,将每个步骤的具体操作界面显示在网页端。网页端将每个步骤所需要配置参数的可选项显示在下拉框,方便用户选择,并且能自动检测每个步骤系统训练是否正确结束。

关键词：统计机器翻译排序学习方法卷积神经网络可视化

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于知识迁移的机器翻译质量评估方法研究

基于知识迁移的机器翻译质量评估方法研究

作者：侯琦南京大学

学位级别：硕士

随着当今社会经济文化科技的快速发展,机器翻译技术作为连接不同语言之间的桥梁变得至关重要。对于机器翻译系统产生的翻译结果,需要用量化的评判标准评价其翻译质量,这就是机器翻译评测。机器翻译评测已经成为了机器翻译领域一个被广... 详细信息

随着当今社会经济文化科技的快速发展,机器翻译技术作为连接不同语言之间的桥梁变得至关重要。对于机器翻译系统产生的翻译结果,需要用量化的评判标准评价其翻译质量,这就是机器翻译评测。机器翻译评测已经成为了机器翻译领域一个被广泛研究和讨论的问题。机器翻译质量评估是给定机器翻译系统的源端句子和翻译结果,在不依赖参考译文的情况下,对翻译结果的质量进行评估的机器翻译评测方法。传统的机器翻译质量评估方法通过人工设计的语言学特征等来反映翻译结果的质量,但依赖于语言本身、以及特定的语言学资源和工具。最初引入深度学习技术的机器翻译质量评估方法利用建模能力更强的神经网络模型学习词向量特征、语言模型特征等,但这些特征仍需要人工事先定义好。而目前流行的基于“预测器-评估器”架构的机器翻译质量评估方法,首先使用预测器借助大规模的双语平行语料和机器翻译模型自动学习高维特征表示,然后使用评估器基于学习到的特征进行翻译质量评估。这种方法不需要人工设计特征,同时可以将单向翻译任务中的翻译知识迁移到质量评估任务中。但是该方法只迁移了单向的翻译知识,这使得质量评估模型不能充分建模出源端句子和翻译结果之间互为翻译的关系;而且预测器和评估器是使用平行语料和质量评估任务的数据分开训练的,这使得预测器学习到的特征向量表示并不一定完全适用于质量评估任务本身;此外,一些低资源语言对双语平行语料有限,无法有效对这种需要大规模平行语料的质量评估模型建模,这使得模型具有一定的应用局限性。本文的工作主要在基于“预测器-评估器”架构的机器翻译质量评估方法的研究背景下,探究如何有效地将可用知识迁移到机器翻译质量评估任务中。针对上述问题,本文的主要工作如下:1.为加强源端句子和翻译结果之间的翻译关系,本文提出了一种融合双向翻译知识的机器翻译质量评估模型。一方面,通过使用两个语向的机器翻译模型,可以起到互相监督的作用,自动学习到信息量更加丰富的有效特征表示;另一方面,通过结合双语向机器翻译模型与质量评估模型,可以将双向翻译任务中的翻译知识迁移到质量评估任务中,建模源端句子和翻译结果之间双向的翻译关系,增强整个机器翻译质量评估模型的表示能力。此外,为了得到更适用于质量评估任务的特征,本文将联合学习的训练方法应用到机器翻译质量评估模型中,使得预测器自动学习到的特征表示更加适用于质量评估任务本身。2.针对低资源语言对平行语料有限,无法有效对模型建模的问题,本文提出了一种融合单语知识的机器翻译质量评估模型,将更易获取的单语语料和目前效果最好的表示学习模型应用到质量评估任务中。这种通过单语语料预训练好的表示学习模型,可以建模源端句子和翻译结果之间的语义关系,并将大规模的单语知识迁移到质量评估任务中,辅助质量评估模型取得更好的模型性能。本文在WMT 2017英德语向的机器翻译质量评估任务数据集上进行实验,实验结果证明了本文提出的机器翻译质量评估模型的有效性,而且可以达到并超过目前最好的质量评估模型。

关键词：机器翻译质量评估知识迁移表示学习联合学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

层次短语翻译模型中翻译规则约束问题的研究

层次短语翻译模型中翻译规则约束问题的研究

作者：孙辉丰南京大学

学位级别：硕士

在快速发展的互联网时代,传统的人工翻译已经不能满足目前海量的翻译需求,机器翻译的重要性就凸显出来。在多种机器翻译方法中,统计机器翻译由于良好的可拓展性以及较好的翻译性能而受人们的青睐。层次短语翻译模型是统计机器翻译模型... 详细信息

在快速发展的互联网时代,传统的人工翻译已经不能满足目前海量的翻译需求,机器翻译的重要性就凸显出来。在多种机器翻译方法中,统计机器翻译由于良好的可拓展性以及较好的翻译性能而受人们的青睐。层次短语翻译模型是统计机器翻译模型中的优秀代表,很多研究工作都在该模型上展开。相比于短语翻译模型,层次短语翻译模型能够更好地处理非局部的短语调序问题。层次短语翻译模型的一个重要特性就是从一个短语对中学习到的层次规则可以应用到其他任意相同形式的短语对中去。因此,在翻译中正确使用翻译规则就显得非常重要。本文针对层次短语翻译模型中存在的翻译规则匹配缺乏限制的问题展开了深入研究,提出一个新的规则约束模型。该模型引入句法树、短语边界和丰富的上下文信息,综合多方面的信息有效地约束规则的使用,从而提高了基线系统的翻译质量。该模型提取的上下文信息都来自源语言端,在实际解码中可以提前将相关特征值计算出来,因此并不会引入额外的时间开销。并且该模型可以很方便地加入到现有统计机器翻译系统中的对数线性框架中进行训练。在大规模的中英翻译上进行实验的结果和分析表明,该模型能够稳定提高基线系统的翻译性能。另外,本文利用Hadoop分布式计算平台来处理翻译数据,能够快速训练机器翻译中用到的翻译模型以及本文提出的规则约束模型,通过实验表明该方法可以大幅缩短线下数据处理时间,提升工作效率。

关键词：层次短语翻译模型规则约束句法树短语边界分布式计算平台