面向语音噪声的鲁棒神经机器翻译方法研究

作     者：梁晓珂 

作者单位：北京交通大学 

学位级别：硕士

导师姓名：陈钰枫

授予年度：2022年

学科分类：0711[理学-系统科学] 07[理学] 08[工学] 081203[工学-计算机应用技术] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：神经机器翻译 自动语音识别 对抗样本 

摘      要：机器翻译旨在利用机器实现不同语言之间的自动翻译,是自然语言处理(Natural Language Processing,NLP)领域的重要研究任务之一。近年来,神经机器翻译(Neural Machine Translation,NMT)发展十分迅速,特别是面向无噪声数据的NMT系统已经达到了一个较好的性能水平,在很多真实场景中被广泛应用。然而在常用的语音翻译系统中,NMT作为自动语音识别(Automatic Speech Recognition,ASR)的下游任务,需要接收ASR的结果作为输入,这些识别结果往往含有噪音,而NMT模型极易受到这些噪音的干扰而性能大幅下降,使得语音翻译系统在工业场景落地时缺乏鲁棒性和安全性。为了提高NMT模型在面向语音识别噪音时的鲁棒性,本文从融合外部知识和对抗样本两个角度展开研究。本文的主要研究内容如下:(1)针对NMT模型无法自动识别ASR噪音的问题,提出了一种自适应融合发音信息的鲁棒翻译方法。与以往简单融合发音信息的方法相比,该方法通过借助额外的二分类任务预测每个词被识别为ASR噪音词的概率,使得每个词以不同的发音权重与文本信息进行融合,得到的联合嵌入作为翻译任务的输入向量,从而使模型自适应地学习发音信息。该方法不仅能够借助外部发音信息弥补输入错误,也能在一定程度上增强文本语义信息的理解,提高了模型的翻译性能和鲁棒性。(2)针对NMT模型训练过程中缺乏ASR噪音样例的问题,提出了一种基于白盒对抗样本的鲁棒翻译方法。该方法借助翻译模型在反向传播过程中产生的梯度值信息,并结合相似度函数来拉近替换词和原始词之间的语义距离,从ASR噪音词表中选择出对模型攻击性最大的噪音替换词,生成对抗样本,从而增加训练数据中的ASR噪音样例,提高模型对该错误的适应能力。该方法不仅能够为训练数据增加噪音样例,提高模型的抗噪能力,同时也能弥补因为替换而带来的语义损失,相比于黑盒方式更有优势,进一步提升了模型的鲁棒性。实验结果表明,在大规模中英翻译数据集上,本文提出的两种鲁棒翻译方法,无论是在人工构造的还是在真实场景下的ASR噪音测试集上,都能够提高NMT的翻译性能和鲁棒性,而且,本文提出的白盒对抗样本生成方法在小语种的维中数据集上也具有一定的优势。