检索结果-南通市图书馆

低资源场景下基于联合训练与自训练的跨语言摘要方法

在线全文

学校读者我要写书评

暂无评论

电子科技大学学报 2024年第5期53卷 762-770页

作者：程绍欢唐煜佳刘峤陈文宇电子科技大学计算机科学与工程学院成都611731

随着全球化的不断发展,跨语言摘要任务已成为自然语言处理领域的一项重要课题。在低资源场景下,现有方法存在表征转换受限和数据利用不充分等问题。为此,该文提出了一种基于联合训练与自训练的跨语言摘要方法。该方法使用两个模型分别... 详细信息

随着全球化的不断发展,跨语言摘要任务已成为自然语言处理领域的一项重要课题。在低资源场景下,现有方法存在表征转换受限和数据利用不充分等问题。为此,该文提出了一种基于联合训练与自训练的跨语言摘要方法。该方法使用两个模型分别建模翻译任务和跨语言摘要任务,以统一输出端的语言向量空间,从而避免模型间表征转换受限的问题。此外,通过对齐平行训练对的输出特征和概率进行联合训练,增强模型间的语义共享。同时,在联合训练的基础上引入自训练技术,利用额外的单语摘要数据生成合成数据,有效缓解了低资源场景下数据稀缺的问题。实验结果表明,该方法在多个低资源场景下均优于现有对比方法,实现了ROUGE分数的显著提升。

关键词：跨语言摘要联合训练低资源场景机器翻译自训练

在线全文

学校读者我要写书评

暂无评论

跨语言摘要研究综述

小型微型计算机系统 2023年第8期44卷 1616-1628页

作者：潘航宇席耀一陈宇飞曹蓉南煜战略支援部队信息工程大学郑州450001

跨语言摘要能将一种语言的文本总结为另一种语言的摘要,旨在帮助人们快速准确地获取陌生语言文本的关键信息.目前,针对该研究的全面综述工作十分稀缺.因此,本文回顾跨语言摘要的研究发展,在全面调研和深入分析的基础上,从研究方法、数... 详细信息

跨语言摘要能将一种语言的文本总结为另一种语言的摘要,旨在帮助人们快速准确地获取陌生语言文本的关键信息.目前,针对该研究的全面综述工作十分稀缺.因此,本文回顾跨语言摘要的研究发展,在全面调研和深入分析的基础上,从研究方法、数据集、评价方法以及未来方向等4个方面对跨语言摘要的研究工作展开综述.首先,全面梳理了现有跨语言摘要方法,概括为“先翻译后摘要”、“先摘要后翻译”、间接学习方法、辅助学习方法以及特征增强方法等5大类,并进行了优缺点分析.其次,归纳和分析了跨语言摘要数据集的构建方法,并对现有数据集进行了详尽整理.然后,系统地总结和分析了跨语言摘要评价方法.最后,进一步讨论了未来研究方向.

关键词：跨语言摘要方法模型数据集评价方法未来研究方向

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

基于强化语言关联的中缅越跨语言摘要研究

计算机工程 2024年

作者：何志磊高盛祥朱恩昌余正涛昆明理工大学信息工程与自动化学院昆明理工大学云南省人工智能重点实验室

（CLS）旨在用目标语言（例如中文）的文本对源语言（例如缅甸语）的文本核心内容进行概括和总结。CLS实质上是机器翻译和单语摘要的联合任务，需要模型同时具备这两方面的能力。在面向越南语、缅甸语等低资源语言场景下，跨语言摘要训... 详细信息

（CLS）旨在用目标语言（例如中文）的文本对源语言（例如缅甸语）的文本核心内容进行概括和总结。CLS实质上是机器翻译和单语摘要的联合任务，需要模型同时具备这两方面的能力。在面向越南语、缅甸语等低资源语言场景下，跨语言摘要训练数据稀缺，且中文和缅甸语、越南语属于不同的语系，语言差异较大，导致当前的跨语言摘要方法泛化性较差。基于此，以缅-中，越-中为研究对象，提出了语言关系增强的跨语言摘要方法，该方法首先将输入序列转化为连续的词对，然后，计算源语言和目标语言之间的这些连续词对之间的关系；最后，引入机器翻译和单语摘要的联合训练方法，有效地捕捉目标语言和源语言之间的关系，提高模型的泛化性和对连续文本的处理能力。在自建数据集上进行广泛的实验，相较于其他基线模型，研究提出的方法在ROUGE-1、ROUGE-2和ROUGE-L评价指标上分别提升了5%、1%和4%。

关键词：跨语言摘要低资源语言语言差异连续文本泛化性

使用词对齐半监督对抗学习的汉越跨语言摘要生成方法

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

小型微型计算机系统 2022年第5期43卷 992-997页

作者：王剑张莹余正涛黄于欣昆明理工大学信息工程与自动化学院昆明650500 昆明理工大学云南省人工智能重点实验室昆明650500

是将输入的源语言文本生成目标语言摘要的过程.目前跨语言摘要任务大多是借助于机器翻译,而针对越南语这类低资源语言,机器翻译效果不佳是汉越跨语言摘要面临的挑战.针对该问题,提出了一种基于词对齐的半监督对抗学习汉越跨语言摘要生... 详细信息

是将输入的源语言文本生成目标语言摘要的过程.目前跨语言摘要任务大多是借助于机器翻译,而针对越南语这类低资源语言,机器翻译效果不佳是汉越跨语言摘要面临的挑战.针对该问题,提出了一种基于词对齐的半监督对抗学习汉越跨语言摘要生成方法,其思想是将汉越双语对齐到同一空间,得到对齐的双语特征,然后同时利用双语特征生成跨语言摘要.具体来讲,基于编解码框架,首先利用Bert编码器分别对输入的汉越文本进行向量表征;然后基于汉越双语词典的半监督对抗学习方法,实现双语词向量在同一语义空间对齐;最后基于注意力机制同时关注双语上下文向量,解码得到目标语言摘要.在收集的汉越摘要数据集上的实验结果表明,该方法可以有效提升汉越跨语言摘要模型的性能.

关键词：跨语言摘要 Bert 半监督对抗学习词对齐

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

融入翻译知识的汉越跨语言摘要方法研究

融入翻译知识的汉越跨语言摘要方法研究

作者：贾伟强昆明理工大学

学位级别：硕士

随着“一带一路”倡议的推进,中越两国之间的交流日趋紧密,互联网中网络文本逐渐成为双方获取信息的主要方式,由于承载大量信息的网络文本数量迅猛增长,为实现快速、高效地获取对方语言文本的主旨信息,汉越跨语言摘要技术的研究具有重... 详细信息

随着“一带一路”倡议的推进,中越两国之间的交流日趋紧密,互联网中网络文本逐渐成为双方获取信息的主要方式,由于承载大量信息的网络文本数量迅猛增长,为实现快速、高效地获取对方语言文本的主旨信息,汉越跨语言摘要技术的研究具有重大应用价值。本文面向汉越跨语言摘要任务,针对该任务中存在的训练数据稀缺、摘要中含有冗余信息、双语语义对齐困难等问题,主要完成了以下研究工作:(1)汉越跨语言语料库构建。通过往返翻译策略,构建汉越跨语言摘要数据集;同时,在scrapy爬虫框架下,从多言语的维基百科、越南语学习网等网站中爬取并构建汉越双语翻译数据集,汉越双语翻译和汉越跨语言摘要数据集的构建为接下来的研究奠定了基础。(2)基于对比注意力机制的多任务汉越跨语言摘要。针对汉越跨语言摘要语料稀缺、生成的摘要易产生冗余信息的问题,提出一种基于对比注意力机制的多任务汉越跨语言摘要。基于编解码框架,在编码端,采用在输入序列前添加特殊标签的方式将汉越双语翻译数据应用于跨语言摘要任务中;在解码端,针对不同任务使用相应的解码器进行解码,其中利用对比注意力机制,以减少源文本不相关信息对摘要生成的干扰;最终,实现了多任务方式下的汉越跨语言摘要。(3)基于多类型词信息引导的汉越跨语言摘要生成方法。汉越跨语言摘要任务面临着摘要信息不符合原文事实、及数据稀缺下双语语义对齐困难的问题。针对该问题,提出了一种基于多类型词信息引导的汉越跨语言摘要生成方法。首先,利用显式的关键词信息引导对源文本重要信息的编码;然后,利用外部汉越双语概率词典中的词对齐信息,引导编解码器对关键信息的双语对齐;最后,基于指针-生成网络,将两类词信息引入越南语摘要的生成过程中,有效指导摘要信息的生成。(4)搭建汉越跨语言摘要原型系统。集成上述研究成果,设计和实现了汉越跨语言摘要原型系统。该系统能够根据输入的中文文本生成越南语摘要,为用户提供可视化的汉-越跨语言摘要平台。

关键词：跨语言摘要汉语-越南语翻译知识对比注意力机制多任务学习多类型词信息

基于深度学习的英—中跨语言摘要关键技术研究

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的英—中跨语言摘要关键技术研究

作者：潘航宇战略支援部队信息工程大学

学位级别：硕士

互联网的蓬勃发展使人们比以往任何时候都更容易获取信息。随着大数据时代的到来,文本资源呈指数级增长。然而,海量文本中包含的冗余和无效信息愈发增多,人们反而难以及时有效地获取有用信息。跨语言摘要能够将陌生语言的文本总结为人... 详细信息

互联网的蓬勃发展使人们比以往任何时候都更容易获取信息。随着大数据时代的到来,文本资源呈指数级增长。然而,海量文本中包含的冗余和无效信息愈发增多,人们反而难以及时有效地获取有用信息。跨语言摘要能够将陌生语言的文本总结为人们所熟悉语言的摘要,便于人们准确、高效地获取陌生语言文本中的主要信息。鉴于英语是当前世界上使用范围最广泛的语言,本文重点研究了英-中跨语言摘要关键技术。目前,跨语言摘要的主流方法多采用深度学习技术,而基于深度学习的英-中跨语言摘要研究至少存在以下三方面问题:数据集质量低下且规模不足;模型的语义理解、跨语言对齐以及文本生成能力不高;传统目标函数仅依赖字符统计信息,而忽略了语义信息对训练的指导意义。针对上述三方面问题,本文分别进行了研究和改进,主要完成了以下工作:1.针对数据集质量低下且规模不足的问题,提出了一种基于过滤和文本增强的跨语言摘要数据集构建方法。首先,采用多策略过滤算法,从字符和语义角度去除单语言摘要数据集的低质量样本,提高数据源质量;然后,使用基于源端翻译的转换法,通过可靠的机器翻译系统将单语言摘要数据集转换为跨语言摘要数据集,形成初始数据集;最后,运用基于预训练模型的文本增强算法,通过自注意力机制和掩码语言模型产生跨语言摘要样本对,在保证质量的前提下扩大数据集规模。对构建过程和结果的综合评估表明,该方法能够以较低成本获得质量高且规模大的英-中跨语言摘要数据集。此外,在两个跨语言摘要基准集的实验中,三个基线模型中的最优模型经基于预训练模型的文本增强算法优化后,将ROUGE-1值分别提升了2.06%、2.04%,ROUGE-2值分别提升了4.23%、2.18%,ROUGE-L值分别提升了4.65%、2.05%,这表明该算法能够提升模型的跨语言摘要性能。2.针对模型的语义理解、跨语言对齐以及文本生成能力不高的问题,提出了一个基于多阶段训练的英-中跨语言摘要模型。首先,进行多语言去噪预训练,同时学习中、英文的通用语言知识并获得良好的初始化参数;然后,进行多语言机器翻译微调,同时学习对英文的语义理解能力、从英文到中文的跨语言对齐能力以及对中文的文本生成能力;最后,进行跨语言摘要微调,进一步学习特定于跨语言摘要任务的语义理解、跨语言对齐以及文本生成能力。实验结果表明该模型的跨语言摘要性能较好,且多语言去噪预训练和多语言机器翻译均可提高模型的跨语言摘要性能。与三个基线模型中的最优性能相比,该模型在两个英-中跨语言摘要数据集上将ROUGE-1值分别提升了79.65%、78.05%,ROUGE-2值分别提升了108.54%、147.37%,ROUGE-L值分别提升了84.05%、81.44%。3.针对传统目标函数仅依赖字符统计信息,而忽略了语义信息对训练的指导意义的问题,提出了一种语义融合目标函数,并基于该目标函数完成了跨语言摘要模型训练。首先,基于BERT模型设计一种单语言语义相似度fast BERTScore,并将其作为单语言语义目标函数;然后,基于XLM-Ro BERTa模型设计一种跨语言语义相似度XLMRo BERTa Score,并将其作为跨语言语义目标函数;最后,将两种语义目标函数与跨语言摘要的传统目标函数融合,得到语义融合目标函数,实现通过文本字符的具象监督信息和文本语义的抽象监督信息共同指导训练。实验结果表明该目标函数能够有效提升模型的跨语言摘要性能。在两个英-中跨语言摘要数据集的实验中,五个基线模型中的最优模型采用该目标函数进行训练后,与在传统目标函数上的训练结果相比,ROUGE-1值分别提升了1.81%、2.12%,ROUGE-2值分别提升了2.23%、8.14%,ROUGE-L值分别提升了2.49%、3.02%。

关键词：跨语言摘要深度学习数据集构建多阶段训练语义融合目标函数

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多阶段训练的跨语言摘要技术

信息工程大学学报 2024年第2期25卷 139-147页

作者：潘航宇席耀一周会娟陈刚郭志刚信息工程大学河南郑州450001

为解决跨语言摘要(Cross-Lingual Summarization,CLS)模型语义理解、跨语言对齐和文本生成能力不高的问题,提出了一个基于多阶段训练的英-中跨语言摘要模型。首先,进行多语言去噪预训练,同时学习中、英文的通用语言知识;其次,进行多语... 详细信息

为解决跨语言摘要(Cross-Lingual Summarization,CLS)模型语义理解、跨语言对齐和文本生成能力不高的问题,提出了一个基于多阶段训练的英-中跨语言摘要模型。首先,进行多语言去噪预训练,同时学习中、英文的通用语言知识;其次,进行多语言机器翻译微调,同时学习对英文的语义理解、从英文到中文的跨语言对齐以及中文的文本生成能力;最后,进行CLS微调,进一步学习特定于CLS任务的语义理解、跨语言对齐和文本生成能力,最终获得一个性能优异的英-中跨语言摘要模型。实验结果表明所提模型的CLS性能有明显提升,且多语言去噪预训练和多语言机器翻译均可提高模型性能。与众多基线模型中的最优性能相比,所提模型在英-中跨语言摘要基准集上将ROUGE-1、ROUGE-2和ROUGE-L值分别提升了45.70%、60.53%和43.57%。

关键词：跨语言摘要多阶段训练多语言去噪预训练多语言机器翻译

在线全文

学校读者我要写书评

暂无评论

跨语言主题摘要研究与应用

跨语言主题摘要研究与应用

作者：郑博飞内蒙古工业大学

学位级别：硕士

随着全球信息交流的加速与多媒体技术的快速发展,互联网上的多种语言信息日益增加。与单语言信息相比,多语言信息能够提供更为丰富的内容。例如,同一新闻主题下不同国家不同记者会以不同角度报道出来,同时也会产生不同角度的观点,从而... 详细信息

随着全球信息交流的加速与多媒体技术的快速发展,互联网上的多种语言信息日益增加。与单语言信息相比,多语言信息能够提供更为丰富的内容。例如,同一新闻主题下不同国家不同记者会以不同角度报道出来,同时也会产生不同角度的观点,从而有助于用户更好地了解某一事件的全貌。跨语言摘要是利用计算机从多种语言文本中提炼出一种能反映文本主旨的方法。然而,世界上很多语言都是低资源的,这使得高资源跨低资源语言的大规模并行数据集稀缺,没有足够的训练集来训练跨语言摘要模型。基于上述问题,本文聚焦跨语言主题摘要的方法研究,为了解决数据资源不平衡的问题,以及提升摘要的质量。我们采用基于管道式的跨语言摘要方法,在摘要任务中采用基于异构图与Multi-GCN相结合的提取式摘要方法,在翻译任务中采用基于Transformer的摘要重写方法。论文完成的研究工作如下:1、构建一种基于异构图与Multi-GCN结合的提取式摘要方法针对已有的传统的RNN与LSTM模型不能利用词之间有价值的关系信息、以及过高的GCN层数会导致节点特征多样性丧失等问题,本论文构建了一种基于异构图与Multi-GCN结合的提取式摘要方法。该方法能引入更多的语义单元作为额外的节点,从而增强词汇之间的联系。同时,利用GCN来对初始化的句子特征向量进行编码,融合了词之间的语义关系,弥补了RNN与LSTM模型的无法利用词之间有价值的关系信息的不足。此外,引入了两种跳跃连接方法,解决了GCN层数过高或者过度使用卷积操作带来的过平滑的问题。实验表明,利用本方法做提取式摘要能够很好的将关键词信息结合到句子中,同时能够很好的融合词之间的语义相似关系,更准确地提取出质量较高的句子,并且减少了重复内容的产生,提高所提取摘要的覆盖率。2、构建一种基于Transformer的摘要重写方法构建了一种基于Transformer的摘要重写方法,旨在解决传统的机器翻译方法无法准确识别翻译错误的问题。该方法利用Transformer的解码器组成定位器与修改器,定位器模块可准确标记出翻译中的错误位置,而修改器则能够将这些错误位置修正为正确的位置。为了进一步提高翻译的准确性,本方法延续了迭代策略,不断利用定位器与修改器将生成更为准确的目标语言摘要。实验结果表明,与传统方法相比,本方法有效提高了翻译摘要的准确率,并且减少了迭代次数。

关键词：跨语言摘要自动摘要提取式摘要异构图

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

融合图像信息的越汉跨语言新闻文本摘要方法

厦门大学学报（自然科学版） 2024年第4期63卷 714-723页

作者：吴奇远余正涛黄于欣谭凯文张勇丙昆明理工大学信息工程与自动化学院云南昆明650500 云南省人工智能重点实验室云南昆明650500 昆明理工大学云南省南亚东南亚语言机器翻译及应用国际联合实验室云南昆明650500 昆明理工大学南亚东南亚语言语音信息处理教育部工程研究中心云南昆明650500

[目的]为了有效剔除冗余文本信息,提高摘要简洁性同时充分利用图像信息提高摘要准确性,对融合图像信息的越汉跨语言新闻文本摘要方法进行研究.[方法]首先利用文本编码器和图像编码器对越南语新闻文本和图像进行表征,其次利用图文对比损... 详细信息

[目的]为了有效剔除冗余文本信息,提高摘要简洁性同时充分利用图像信息提高摘要准确性,对融合图像信息的越汉跨语言新闻文本摘要方法进行研究.[方法]首先利用文本编码器和图像编码器对越南语新闻文本和图像进行表征,其次利用图文对比损失增强图像和文本表征的一致性,迫使越南语的表征空间趋近于与语言无关的图像表征空间,然后利用图文融合器进行图像和文本的有效融合,增强新闻文本的关键信息提取能力,最后利用摘要解码器生成中文摘要.[结果]在本文构建的越汉多模态跨语言摘要数据集上,相较于对比方法,本方法生成的摘要具备更高的ROUGE分数、信息量、简洁度和流畅度.[结论]引入图像信息有利于生成高质量的跨语言摘要;采用单任务直接学习两种语言的互动信息可以降低将跨语言摘要分解为多任务带来的误差累积.

关键词：跨语言摘要越汉跨语言新闻摘要图文融合图文对比损失