检索结果-南通市图书馆

基于自注意力机制神经机器翻译的软件缺陷自动修复方法

在线全文

学校读者我要写书评

暂无评论

电子学报 2024年第3期52卷 945-956页

作者：曹鹤玲刘昱韩栋粮食信息处理与控制教育部重点实验室(河南工业大学) 河南郑州450001 河南工业大学信息科学与工程学院河南郑州450001 河南工业大学河南省粮食信息处理国际联合实验室河南郑州450001

循环神经网络对于代码序列数据有着良好的处理能力,软件缺陷修复的补丁生成模型大多采用循环神经网络实现.然而,基于循环神经网络的补丁生成模型在处理代码序列中长距离依赖问题时仍然具有局限性,其修复成功率和修复效率较低.针对此问题... 详细信息

循环神经网络对于代码序列数据有着良好的处理能力,软件缺陷修复的补丁生成模型大多采用循环神经网络实现.然而,基于循环神经网络的补丁生成模型在处理代码序列中长距离依赖问题时仍然具有局限性,其修复成功率和修复效率较低.针对此问题,提出一种基于自注意力神经机器翻译的软件缺陷自动修复方法(Self-attention Neural machine translation based automatic software Repair,SNRepair).首先,为有效缓解源码中的未登录词问题,对数据集引入子词切分技术进行预处理;其次,为解决源代码中棘手的长距离依赖问题并更充分地利用局部信息,构建融合局部建模的Transformer程序补丁生成模型;然后,采用缺陷自动定位技术定位缺陷语句位置,利用参数优化后的Transformer补丁生成模型生成候选补丁;最后,运行测试用例验证候选补丁.在具有395个真实Java软件缺陷的Defects4J缺陷库上实验评估,结果表明SNRepair方法与对比方法比较,修复成功率和修复效率更高.

关键词：软件缺陷自动修复神经机器翻译自注意力机制子词切分局部建模

在线全文

学校读者我要写书评

暂无评论

神经机器翻译中课程学习研究综述

计算机科学与探索 2024年

作者：胡春月斯琴图王斯日古楞内蒙古师范大学计算机科学技术学院

课程学习作为一种新兴技术，近年来逐渐受到关注。它符合人类的学习习惯，由简到难、由浅至深。其核心思想是让模型从简单的、基础的概念开始学习，逐渐过渡到更复杂、更高层次的内容。在神经机器翻译中，课程学习作为一种训练策略，旨... 详细信息

课程学习作为一种新兴技术，近年来逐渐受到关注。它符合人类的学习习惯，由简到难、由浅至深。其核心思想是让模型从简单的、基础的概念开始学习，逐渐过渡到更复杂、更高层次的内容。在神经机器翻译中，课程学习作为一种训练策略，旨在帮助模型按照一定规律学习。通过调整训练样本的学习顺序，将易于学习的样本优先呈现给模型，然后逐步增加难度，以避免模型面对过于复杂的样本而无法有效学习。课程学习现已被证明是可以加速模型收敛，提高模型翻译质量和稳定性的。本文首先从机器学习方向介绍了课程学习的定义、框架以及数据选择方法。然后基于课程学习的基础框架，详细说明了在神经机器翻译中，预定义课程学习和动态课程学习的方法和应用。分别从样本难度评估、模型训练调度策略两方面进行介绍。帮助读者全面了解神经机器翻译领域中课程学习的发展动态和研究现状。最后，分析了神经机器翻译领域中课程学习的未来研究趋势，并提出了三个值得研究的方向，为该领域的进一步研究提供参考。

关键词：课程学习神经机器翻译难度评估训练调度

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于知识蒸馏的神经机器翻译综述

计算机科学与探索 2024年第7期18卷 1725-1747页

作者：马畅田永红郑晓莉孙康康内蒙古工业大学数据科学与应用学院呼和浩特010000

机器翻译(MT)是利用计算机将一种语言转换为与其同语义的另一种语言的过程。随着神经网络的提出,神经机器翻译(NMT)作为一种强大的机器翻译技术,在自动翻译领域和人工智能方向上取得了显著成功。由于传统神经翻译模型存在参数、结构冗... 详细信息

机器翻译(MT)是利用计算机将一种语言转换为与其同语义的另一种语言的过程。随着神经网络的提出,神经机器翻译(NMT)作为一种强大的机器翻译技术,在自动翻译领域和人工智能方向上取得了显著成功。由于传统神经翻译模型存在参数、结构冗余的问题,提出了使用知识蒸馏(KD)技术手段对神经机器翻译进行模型压缩和加速推理,该方法在机器学习和自然语言处理领域引起了广泛的关注。主要从评价指标、技术创新等角度对各种引入知识蒸馏的翻译模型进行了系统的考察和比较。首先简要回顾了机器翻译的发展历程、主流框架和评价指标;接着详细介绍了知识蒸馏技术;然后分别从多语言模型、多模态翻译、低资源语言以及自回归和非自回归四个角度详述了基于知识蒸馏的神经机器翻译发展方向,并简要介绍其他领域的研究现状;最后针对现有的大语言模型、零资源语言及多模态机器翻译所存在的问题进行分析,展望神经机器翻译发展趋势。

关键词：机器翻译神经机器翻译知识蒸馏模型压缩

在线全文

学校读者我要写书评

暂无评论

文档级神经机器翻译综述

软件学报 2024年

作者：吕星林李军辉陶仕敏杨浩张民苏州大学计算机科学与技术学院华为翻译中心

机器翻译(Machine Translation, MT)研究旨在构建一个自动转换系统,将给定源语言序列自动地转换为具有相同语义的目标语言序列.由于机器翻译广阔的应用场景,使其成为自然语言理解领域乃至人工智能领域的一个重要的研究方向.近年来,端到... 详细信息

机器翻译(Machine Translation, MT)研究旨在构建一个自动转换系统,将给定源语言序列自动地转换为具有相同语义的目标语言序列.由于机器翻译广阔的应用场景,使其成为自然语言理解领域乃至人工智能领域的一个重要的研究方向.近年来,端到端的神经机器翻译(Neural Machine Translation, NMT)方法显著超越了统计机器翻译方法,成为目前机器翻译研究的主流方法.然而,神经机器翻译系统通常以句子为翻译单位,在面向文档的翻译场景中,将文档中每个句子独立地进行翻译,会因脱离文档的篇章语境引起一些篇章级的错误,如词语错翻、句子间不连贯等.因此将文档级的信息融入到翻译的过程中去解决跨句的篇章级错误是更加自然和合理的做法,文档级的神经机器翻译(Document-level Neural Machine Translation, DNMT)的目标正是如此,成为了机器翻译研究的热门方向.本文调研了近年来在文档级神经机器翻译研究方向的主要工作,从篇章评测方法、使用的数据集和模型方法等方面系统地对当前研究工作进行了归纳与阐述,目的是帮助研究者们快速了解文档级神经机器翻译研究现状以及未来的发展和研究方向.同时在文中也阐述了在文档级神经机器翻译的一些展望,困难和挑战,希望能带给研究者们一些启发.

关键词：神经机器翻译 Transformer模型文档上下文篇章评测

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

融合目标端上下文的篇章神经机器翻译

中文信息学报 2024年第4期38卷 59-68页

作者：贾爱鑫李军辉贡正仙张民苏州大学计算机科学与技术学院江苏苏州215006

神经机器翻译在句子级翻译任务上取得了令人瞩目的效果,但是句子级翻译的译文会存在一致性、指代等篇章问题,篇章翻译通过利用上下文信息来解决上述问题。不同于以往使用源端上下文建模的方法,该文提出了融合目标端上下文信息的篇章神... 详细信息

神经机器翻译在句子级翻译任务上取得了令人瞩目的效果,但是句子级翻译的译文会存在一致性、指代等篇章问题,篇章翻译通过利用上下文信息来解决上述问题。不同于以往使用源端上下文建模的方法,该文提出了融合目标端上下文信息的篇章神经机器翻译。具体地,该文借助推敲网络的思想,对篇章源端进行二次翻译,第一次基于句子级翻译,第二次翻译参考了全篇的第一次翻译结果。基于LDC中英篇章数据集和WMT英德篇章数据集的实验结果表明,在引入较少的参数的条件下,该文方法能显著提高翻译性能。同时,随着第一次翻译(即句子级译文)质量的提升,所提方法也更有效。

关键词：神经机器翻译推敲网络篇章翻译

在线全文

学校读者我要写书评

暂无评论

预训练神经机器翻译研究进展分析

中文信息学报 2024年第6期 1-23页

作者：曹智泉穆永誉肖桐李北张春良朱靖波东北大学自然语言处理实验室

神经机器翻译(NMT)模型通常使用双语数据进行监督训练，而构建大规模双语数据集是一个巨大挑战。相比之下，大部分语言的单语数据集较为容易获取。近年来，预训练模型(PTM)能够在海量的单语数据上进行训练，从而得到通用表示知识，来帮... 详细信息

神经机器翻译(NMT)模型通常使用双语数据进行监督训练，而构建大规模双语数据集是一个巨大挑战。相比之下，大部分语言的单语数据集较为容易获取。近年来，预训练模型(PTM)能够在海量的单语数据上进行训练，从而得到通用表示知识，来帮助下游任务取得显著的性能提升。目前基于预训练的神经机器翻译(PTNMT)在受限资源数据集上已被广泛验证，但如何高效地在高资源NMT模型中利用PTM仍亟待研究。该文致力于对PTNMT的现状和相关问题进行系统性的整理和分析，从引入PTM的预训练方法、使用策略以及特定任务等角度对PTNMT方法进行详细的分类，并对PTNMT方法解决的问题进行总结，最后对PTNMT的研究进行展望。

关键词：自然语言处理预训练模型神经机器翻译

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

融合指代消解的神经机器翻译研究

中文信息学报 2024年第6期 67-76页

作者：冯勤贡正仙李军辉周国栋苏州大学计算机科学与技术学院

篇章中的同一实体经常会呈现出不同的表述，形成一系列复杂的指代关系，这给篇章翻译带来了很大的挑战。该文重点探索指代消解和篇章神经机器翻译的融合方案，首先为指代链设计相应的指代表征；其次使用软约束和硬约束两种方法在翻译系... 详细信息

篇章中的同一实体经常会呈现出不同的表述，形成一系列复杂的指代关系，这给篇章翻译带来了很大的挑战。该文重点探索指代消解和篇章神经机器翻译的融合方案，首先为指代链设计相应的指代表征；其次使用软约束和硬约束两种方法在翻译系统中实现指代信息的融合。该文建议的方法分别在英语-德语和中文-英语语言对上进行了实验，实验结果表明，相比于同期最好的句子级翻译系统，该方法能使翻译性能获得明显提升。此外，在英语-德语的代词翻译质量的专门评估中，准确率也有显著提升。

关键词：指代表征神经机器翻译篇章级机器翻译

融合乌尔都语词性序列预测的汉乌神经机器翻译

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

计算机工程与科学 2024年第3期46卷 518-524页

作者：陈欢欢王剑 Muhammad Naeem Ul Hassan 昆明理工大学信息工程与自动化学院云南昆明650500 昆明理工大学云南省人工智能重点实验室云南昆明650500

面向南亚和东南亚的小语种机器翻译,目前已有不少研究团队开展了深入研究,但作为巴基斯坦官方语言的乌尔都语,由于稀缺的数据资源和与汉语之间的巨大差距,有针对性的汉乌机器翻译方法研究非常稀少。针对这种情况,提出了基于Transformer... 详细信息

面向南亚和东南亚的小语种机器翻译,目前已有不少研究团队开展了深入研究,但作为巴基斯坦官方语言的乌尔都语,由于稀缺的数据资源和与汉语之间的巨大差距,有针对性的汉乌机器翻译方法研究非常稀少。针对这种情况,提出了基于Transformer的融合乌尔都语词性序列的汉乌神经机器翻译模型。首先利用Transformer对目标语言乌尔都语的词性序列进行预测,然后将翻译模型的预测结果和词性序列模型的预测结果相结合进行联合预测,从而实现语言知识到翻译模型的融入。在现有小规模汉乌数据集上的实验表明,所提方法在数据集上的BLEU值相较于基准模型提升了0.13,取得了较为明显的效果。

关键词： Transformer 神经机器翻译乌尔都语词性序列

在线全文

学校读者我要写书评

暂无评论

融合句法感知的双向解码神经机器翻译模型

哈尔滨理工大学学报 2024年

作者：徐欣瑶陈海龙张秀霞周信澎魏海月哈尔滨理工大学计算机科学与技术学院

针对Transformer采用自回归解码器从左向右进行解码，不能充分利用上下文信息等问题，该文提出了一种融入句法感知的双向解码神经机器翻译模型。首先，在传统Transformer模型的基础上增加一个反向解码器，采用前向解码器和后向解码器进... 详细信息

针对Transformer采用自回归解码器从左向右进行解码，不能充分利用上下文信息等问题，该文提出了一种融入句法感知的双向解码神经机器翻译模型。首先，在传统Transformer模型的基础上增加一个反向解码器，采用前向解码器和后向解码器进行双向解码，使得生成的解码结果可以包含上下文信息。其次，针对机器翻译中常见的曝光偏差问题，在模型中又加入一个前向解码器，通过优化Teacher Forcing机制来平衡Teacher Forcing训练阶段和自回归测试阶段解码环境的差异，缓解曝光偏差问题。最后，融合依存句法，生成具有句法指导的目标语言句子。实验结果表明，提出的翻译模型在中-英翻译任务上的BLEU值可以达到24.38，比基准模型提高了1.17个BLEU点，在英-德翻译任务上的BLEU值可以达到28.06，比基准模型提高了0.96个BLEU点。

关键词：神经机器翻译 Transformer模型依存句法自回归解码器