检索结果-南通市图书馆

电子与信息学报 2024年第7期46卷 2932-2941页

作者：邵舒羽杜垚范晓丽北京物资学院物流学院北京101149 北京航空航天大学自动化科学与电气工程学院北京100191 空军特色医学中心北京100142

为了解决多模态数据的对齐及手语翻译速度较慢的问题,该文提出一个基于自注意力机制模型Transformer的非自回归手语翻译模型(Trans-SLT-NA),同时引入了对比学习损失函数进行多模态数据的对齐,通过学习输入序列(手语视频)和目标序列(文本... 详细信息

为了解决多模态数据的对齐及手语翻译速度较慢的问题,该文提出一个基于自注意力机制模型Transformer的非自回归手语翻译模型(Trans-SLT-NA),同时引入了对比学习损失函数进行多模态数据的对齐,通过学习输入序列(手语视频)和目标序列(文本)的上下文信息和交互信息,实现一次性地将手语翻译为自然语言。该文所提模型在公开数据集PHOENIX-2014T(德语)、CSL(中文)和How2Sign(英文)上进行实验评估,结果表明该文方法相比于自回归模型翻译速度提升11.6~17.6倍,同时在双语评估辅助指标(BLEU-4)、自动摘要评估指标(ROUGE)指标上也接近自回归模型。

关键词：手语翻译自注意力机制非自回归翻译深度学习多模态数据对齐

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

神经机器翻译中的推测解码技术研究

神经机器翻译中的推测解码技术研究

引用

作者：夏鹤明北京大学

学位级别：硕士

作为自然语言处理研究中的一个重要研究领域,机器翻译旨在尽可能保持语义不变的情况下,将源语言语句通过模型自动转换为目标语言语句。近年来,随着人工智能和深度学习技术的不断发展,神经机器翻译模型逐渐成为机器翻译的主流模型。相比... 详细信息

作为自然语言处理研究中的一个重要研究领域,机器翻译旨在尽可能保持语义不变的情况下,将源语言语句通过模型自动转换为目标语言语句。近年来,随着人工智能和深度学习技术的不断发展,神经机器翻译模型逐渐成为机器翻译的主流模型。相比于统计机器翻译的方法,神经机器翻译模型在翻译的可靠性和准确性上都取得了显著的提升,在多种翻译任务上甚至可以达到和人类翻译专家相近的水平。因此,神经机器翻译技术已广泛应用于谷歌、百度等在线翻译系统中,解决广大互联网用户的在线翻译需求。然而,由于神经机器翻译模型采用自回归解码的方式,在解码目标语句时,其需要逐字地进行解码,生成整个目标语句的时间会随着序列长度的增加而增加。这限制了神经机器翻译模型在在线商用翻译系统中的应用和推广。为了解决上述问题,相关研究提出了基于非自回归解码的机器翻译模型。相比于自回归模型从左到右逐字生成的解码方式,非自回归翻译提出在多个位置并行解码目标语句,因此极大地提升了模型的解码效率。然而,由于非自回归模型在解码时无法利用目标单词之间的上下文信息,其翻译质量相比于自回归模型存在较大程度的下滑。如何同时兼顾较高的翻译质量和较快的翻译速度,是目前的非自回归模型研究关注的核心问题。针对这一问题,受计算机体系结构中推测执行技术的启发,本文提出了结合自回归模型和非自回归模型优势的推测解码技术,并从推测解码的模型设计、推测解码的翻译效率提升和推测解码的翻译质量优化多个角度对该项技术展开深入分析,为目前的非自回归翻译和并行解码研究提供了新的思路:1.受计算机体系结构中推测执行技术的启发,本文首次提出用于高效序列生成的推测解码技术。推测解码技术综合利用了自回归翻译和非自回归翻译模型的优势,在保证翻译质量和自回归模型质量相当的前提下大幅提升了解码效率。具体来说,在每个解码步,推测解码首先利用一个高效的非自回归模型并行推测后续多个解码步的结果,随后使用一个高质量的自回归模型对这些结果进行并行验证。通过自回归模型和非自回归模型的协同合作,推测解码在一个解码步可以同时生成后续多个解码步的结果,同时保证了翻译的高质量性。本文设计并实现了推测解码的基础模型,并进一步探索了不同约束程度的验证策略。该模型在和自回归模型翻译质量相当的情况下,实现了三到五倍的解码加速,在“翻译质量-解码效率”的平衡指标上优于当时国内外并行解码的前沿研究。2.从推测解码基础模型结构压缩的角度,为了进一步提升模型的解码效率,挖掘非自回归模型的并行解码潜力,本文提出将多元文法模型应用于推测解码技术中,作为计算高效的自回归模型提供验证结果。相比于推测解码的基础模型,基于多元文法模型的推测解码在牺牲一定翻译质量的条件下实现了更高的解码效率,达到三到十四倍的解码加速,适用于对翻译质量要求较低而对解码效率要求更高的应用场景。3.从推测解码基础模型性能优化的角度,本文提出将连接时序分类模型应用于推测解码技术中,以强化非自回归推测模型对于源语句到目标语句之间对齐关系的建模,实现更为准确的推测过程。相比于推测解码的基础模型,实验结果显示基于连接时序分类模型的推测解码在牺牲一定解码效率的条件下实现了更高的翻译质量,适用于对解码加速要求较低而对翻译质量要求更高的应用场景。同时,该研究表明作为一种通用的并行解码策略,推测解码技术可以进一步从目前仍在蓬勃发展的非自回归模型研究中受益。

关键词：深度学习自然语言处理神经机器翻译非自回归翻译

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：