神经机器翻译中的推测解码技术研究

作     者：夏鹤明 

作者单位：北京大学 

学位级别：硕士

导师姓名：穗志方

授予年度：2023年

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：深度学习 自然语言处理 神经机器翻译 非自回归翻译 

摘      要：作为自然语言处理研究中的一个重要研究领域,机器翻译旨在尽可能保持语义不变的情况下,将源语言语句通过模型自动转换为目标语言语句。近年来,随着人工智能和深度学习技术的不断发展,神经机器翻译模型逐渐成为机器翻译的主流模型。相比于统计机器翻译的方法,神经机器翻译模型在翻译的可靠性和准确性上都取得了显著的提升,在多种翻译任务上甚至可以达到和人类翻译专家相近的水平。因此,神经机器翻译技术已广泛应用于谷歌、百度等在线翻译系统中,解决广大互联网用户的在线翻译需求。然而,由于神经机器翻译模型采用自回归解码的方式,在解码目标语句时,其需要逐字地进行解码,生成整个目标语句的时间会随着序列长度的增加而增加。这限制了神经机器翻译模型在在线商用翻译系统中的应用和推广。为了解决上述问题,相关研究提出了基于非自回归解码的机器翻译模型。相比于自回归模型从左到右逐字生成的解码方式,非自回归翻译提出在多个位置并行解码目标语句,因此极大地提升了模型的解码效率。然而,由于非自回归模型在解码时无法利用目标单词之间的上下文信息,其翻译质量相比于自回归模型存在较大程度的下滑。如何同时兼顾较高的翻译质量和较快的翻译速度,是目前的非自回归模型研究关注的核心问题。针对这一问题,受计算机体系结构中推测执行技术的启发,本文提出了结合自回归模型和非自回归模型优势的推测解码技术,并从推测解码的模型设计、推测解码的翻译效率提升和推测解码的翻译质量优化多个角度对该项技术展开深入分析,为目前的非自回归翻译和并行解码研究提供了新的思路:1.受计算机体系结构中推测执行技术的启发,本文首次提出用于高效序列生成的推测解码技术。推测解码技术综合利用了自回归翻译和非自回归翻译模型的优势,在保证翻译质量和自回归模型质量相当的前提下大幅提升了解码效率。具体来说,在每个解码步,推测解码首先利用一个高效的非自回归模型并行推测后续多个解码步的结果,随后使用一个高质量的自回归模型对这些结果进行并行验证。通过自回归模型和非自回归模型的协同合作,推测解码在一个解码步可以同时生成后续多个解码步的结果,同时保证了翻译的高质量性。本文设计并实现了推测解码的基础模型,并进一步探索了不同约束程度的验证策略。该模型在和自回归模型翻译质量相当的情况下,实现了三到五倍的解码加速,在“翻译质量-解码效率的平衡指标上优于当时国内外并行解码的前沿研究。2.从推测解码基础模型结构压缩的角度,为了进一步提升模型的解码效率,挖掘非自回归模型的并行解码潜力,本文提出将多元文法模型应用于推测解码技术中,作为计算高效的自回归模型提供验证结果。相比于推测解码的基础模型,基于多元文法模型的推测解码在牺牲一定翻译质量的条件下实现了更高的解码效率,达到三到十四倍的解码加速,适用于对翻译质量要求较低而对解码效率要求更高的应用场景。3.从推测解码基础模型性能优化的角度,本文提出将连接时序分类模型应用于推测解码技术中,以强化非自回归推测模型对于源语句到目标语句之间对齐关系的建模,实现更为准确的推测过程。相比于推测解码的基础模型,实验结果显示基于连接时序分类模型的推测解码在牺牲一定解码效率的条件下实现了更高的翻译质量,适用于对解码加速要求较低而对翻译质量要求更高的应用场景。同时,该研究表明作为一种通用的并行解码策略,推测解码技术可以进一步从目前仍在蓬勃发展的非自回归模型研究中受益。