基于参数共享的篇章级蒙汉神经机器翻译
Mongolian-Chinese Neural Machine Translation at Text Level Based on Parameter Sharing作者机构:河南工学院智能工程学院河南新乡453000 内蒙古工业大学数据科学与应用学院内蒙古呼和浩特010080
出 版 物:《中央民族大学学报(自然科学版)》 (Journal of Minzu University of China(Natural Sciences Edition))
年 卷 期:2024年第33卷第2期
页 面:48-53页
学科分类:081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术(可授工学、理学学位)]
基 金:新乡市社科联调研课题(SKL-2023-246) 新乡市社科联调研课题(SKL-2023-248)
摘 要:针对传统蒙汉神经机器翻译缺少对篇章上下文的有效利用问题,构建了基于Transformer模型的篇章级蒙汉神经机器翻译模型,编码端使用相对注意力机制对多个句子检索全局上下文信息,解码端使用基于缓存的方法记录已翻译句子的相关信息,在预测当前句子的过程中,使用缓存的句子信息作为篇章上下文信息,同时利用分组策略共享层与层之间的参数,减少模型的参数量,在有限的内存中尽可能多地提高语料的利用率。实验结果表明,融合参数共享策略的篇章级模型比句子级Transformer模型在BLEU4上高8.7,比不加入参数共享的篇章级机器翻译模型在BLEU4上高2.49。