检索结果-南通市图书馆

基于规则和基于统计相结合的中英双语平行句对短语对齐方法

在线全文

学校读者我要写书评

暂无评论

基于规则和基于统计相结合的中英双语平行句对短语对齐方法

作者：王思宽北京邮电大学

学位级别：硕士

双语短语对齐是当今双语信息检索和辅助机器翻译研究的热点和难点问题。在自然语言处理领域,“短语”一词没有一个统一的定义,根据研究方法的不同常常有不同的含义。有的研究者认为“短语”是短语结构语法中有一定结构和层次关系的语言... 详细信息

双语短语对齐是当今双语信息检索和辅助机器翻译研究的热点和难点问题。在自然语言处理领域,“短语”一词没有一个统一的定义,根据研究方法的不同常常有不同的含义。有的研究者认为“短语”是短语结构语法中有一定结构和层次关系的语言单位,而有的则不要求“短语”有内部结构关系,只要是连续的有一定意义的词串就是“短语”,因此涵盖的范围更广。本文的“短语”是属于后者,部分短语有较简单的内部结构关系(指基本名词短语,Base Noun Phrase,以下简称BaseNP),而大部分也只是连续的词串而已。本文采取的方法是先对中英文句对进行分类,分为简单的短句和复杂的长句两类,对于简单的短句,使用本文提出的基于规则和基于统计相结合的方法进行对齐;对于较复杂的长句,先使用浅层句法分析将长句分为若干个短句,然后再使用短句的方法进行对齐。在短语识别阶段,首先利用汉英双语的“标记词”集合对汉英句子进行短语切分,得到“标记词”短语。然后,用基于双语语料的方法识别出基本名词短语。最后,将“标记词”短语和基本名词短语的识别结果归并起来,得到本文中所说的“混合”名词短语。在短语对齐阶段,第一步进行一对多的短语对齐。首先利用“锚点”词对齐得到“锚点”短语对齐;对于那些无法利用“锚点”词对齐信息进行对齐的短语,则利用词对齐生成其候选对齐,并利用最大熵排序模型对这些候选对齐进行打分排序,以得分最高的作为对齐结果。第二步是在一对多短语对齐的基础上得到多对多的短语对齐。

关键词： “锚点”词对齐短语对齐 “标记词”短语混合短语识最大熵排序模型

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于语言学知识和统计方法的短语对齐技术

黑龙江科技信息 2012年第6期 181-181页

作者：张春祥高雪瑶任明远哈尔滨理工大学软件学院黑龙江哈尔滨150000 哈尔滨理工大学计算机科学与技术学院黑龙江哈尔滨150000

介绍了双语语料加工的发展状况,分析了短语对齐技术。探索了使用语言学知识和统计方法来实现双语语料的对齐加工技术。

关键词：双语语料短语对齐语言学知识统计方法

在线全文

学校读者我要写书评

暂无评论

面向中英平行专利的双语术语自动抽取

清华大学学报（自然科学版） 2014年第10期54卷 1339-1343页

作者：孙茂松李莉刘知远清华大学计算机科学与技术系智能技术与系统国家重点实验室清华信息科学与技术国家实验室北京100084

双语术语自动抽取是自然语言处理领域的重要研究课题之一,对于跨语言检索、机器翻译,以及双语词典的构建等具有重要意义。该文提出了一种面向中英平行专利语料的无监督双语术语自动抽取算法。该算法利用基于短语的统计机器翻译模型中的... 详细信息

双语术语自动抽取是自然语言处理领域的重要研究课题之一,对于跨语言检索、机器翻译,以及双语词典的构建等具有重要意义。该文提出了一种面向中英平行专利语料的无监督双语术语自动抽取算法。该算法利用基于短语的统计机器翻译模型中的短语对齐和基于条件随机场的组块分析,实现双语术语自动抽取,同时借助专利语料的领域主题信息进一步提高双语术语抽取的准确率。实验表明:该算法在5 867组电通信技术领域的中英平行专利文档上进行双语术语的自动抽取,准确率达到94.00%。

关键词：短语对齐条件随机场组块分析双语术语

在线全文

学校读者我要写书评

暂无评论

汉英双语语料库中名词短语的自动对应

中文信息学报 2003年第5期17卷 6-12页

作者：刘冬明赵军杨尔弘山西大学计算机科学系太原030000 中国科学院自动化研究所北京100080

本文提出了一种在汉英双语语料库句子对齐的基础上,自动进行汉英名词短语划分和对应的方法。该方法的主要特点在于在无需严格识别汉语名词短语的情况下,对高频短语和低频短语分别进行处理,对于高频短语,利用英语短语和汉语词在双语语料... 详细信息

本文提出了一种在汉英双语语料库句子对齐的基础上,自动进行汉英名词短语划分和对应的方法。该方法的主要特点在于在无需严格识别汉语名词短语的情况下,对高频短语和低频短语分别进行处理,对于高频短语,利用英语短语和汉语词在双语语料库中的关联信息,采用一种迭代重估算法进行双语短语的对应;对于低频短语,根据双语词典中源词和译词之间的对应信息,结合一套人工编写的句法规则进行双语低频短语的对应。该方法能够从整体上把握对应信息,并具有很高的覆盖率。

关键词：人工智能机器翻译名词短语识别短语对齐迭代重估相似度

在线全文

学校读者我要写书评

暂无评论

基于英汉平行语料库的机器翻译知识获取研究

基于英汉平行语料库的机器翻译知识获取研究

作者：陈亮北京交通大学

学位级别：硕士

随着互联网信息资源的不断膨胀,人们可以通过互联网获取的资源也日益增加。目前世界上已知的语言约有3000多种,机器翻译及机器翻译知识的自动获取研究对人们突破语言障碍,充分利用互联网信息具有很强的现实意义。本文主要围绕以下... 详细信息

随着互联网信息资源的不断膨胀,人们可以通过互联网获取的资源也日益增加。目前世界上已知的语言约有3000多种,机器翻译及机器翻译知识的自动获取研究对人们突破语言障碍,充分利用互联网信息具有很强的现实意义。本文主要围绕以下几个方面进行了深入的研究： 1)词汇对齐。词汇对齐是从英汉平行语料库中,根据已有的句子级对齐的语料库,挖掘出词汇级的英汉词对应关系。对机器翻译、语义消歧、翻译词典获取以及跨语言信息检索等都具有重要的意义。 2)短语对齐。短语对齐能够反映出平行句对在短语级别上的对应关系,短语对齐也是机器翻译知识获取领域的一个重要研究工作。 3)句法结对齐。句法结构对齐是对双语句法结构树进行分析和总结,提取出双语句子在句法结构以及句子成分上的对应关系。句法结构对齐的结果能够直接应用于短语对齐的工作中。 4)机器翻译知识的应用。通过对双语平行语料库的知识挖掘,并且运用到机器翻译中,进行翻译前后的对比,可以看出机器翻译知识获取对机器翻译的质量的改善。研究取得的主要成果如下： 1)在词对齐方面,我们提出了基于N-Gram语言模型的多词对齐算法,有效的解决了对于词对齐过程中存在的一对多和多对多的对齐问题。并且实现了一个有效的英汉、汉英双语翻译词典。 2)在短语对齐方面,鉴于句子结构的复杂性,我们提出了分类短语对齐的思想,把短语对齐分成了名词性短语、动词短语、形容词性短语以及副词短语。实验结果显示分类词对齐能够很好的提高短语对齐的准确性。同时,设计了一个能够提取双语短语互译单元的系统。 3)建立了一个完整的基于英汉双语平行语料库的机器翻译知识获取系统。

关键词：词汇对齐短语对齐机器翻译知识获取

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于XLM-R的译文质量评估方法

基于XLM-R的译文质量评估方法

作者：陈世男苏州大学

学位级别：硕士

机器翻译(Machine Translation,MT)是指利用计算机将一种自然语言转换成另一种自然语言的过程。目前常用的机器翻译评价指标BLEU值的计算离不开人工标注的参考译文,但机器翻译的质量评估(Quality Estimation,QE)可以在不依赖参考译文的... 详细信息

机器翻译(Machine Translation,MT)是指利用计算机将一种自然语言转换成另一种自然语言的过程。目前常用的机器翻译评价指标BLEU值的计算离不开人工标注的参考译文,但机器翻译的质量评估(Quality Estimation,QE)可以在不依赖参考译文的情况下对译文进行自动评价。本文围绕深度学习框架下主流QE模型所面临的关键问题进行研究,主要包含以下三方面内容:(1)增强“预训练模型-评估器”QE模型的语义关联度的方法研究。将预训练模型引入译文质量评估任务是目前的常见做法,然而,由于多语言预训练模型通常是通过多语言的单语语料训练获得,不同语言对的对应词汇在语义空间存在差异。因此,本文提出为此类QE模型增加语义关联处理层,通过融入原文和译文的语义相似度分值来解决这一问题。实验结果表明,本文提出的拼接机制下的语义关联度增强的译文质量评估方法能显著提升机器翻译质量评估的性能。(2)运用数据增强策略对QE性能进行提升的研究。用于训练的QE标注语料往往造价高且规模小,数据增强是应对这一问题直接且有效的方法。为此,本文提出了两种不同的数据增强方法,一种是基于Dropout机制的间接数据增强方法,利用Dropout机制的随机性对相同的句子构造不同的表征,使得在不构造监督信号的情况下成倍扩充QE语料;另一种是基于降噪自编码器的直接数据增强方法,通过降噪自编码器对平行语料的目标端进行重构得到伪译文,并构造相应的监督信号。实验结果表明,两种方法都能有效提升质量评估的性能。(3)融合短语对齐信息的QE研究。现有工作表明词对齐能有效提升QE性能,但单词由于缺少上下文容易产生歧义,而短语所携带的信息相对更明确,因此在短语对齐的约束下极有可能减少词对齐信息对QE造成的干扰。为此,本文提出了融合短语对齐信息的译文质量评估方法,先从平行语料中提取可靠的短语,再融合其对齐概率到QE的特征表示中。实验结果表明,该方法能够显著提升译文质量评估的性能。综上所述,本文从QE的模型、数据和对齐粒度三方面出发开展了系列研究,在公开的WMT数据集上的实验结果表明本文建议的方法非常有效能达到或者超过目前具有领先水平的QE模型。

关键词：译文质量评估语义关联度增强数据增强降噪自编码器短语对齐

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

中文多词表达抽取研究

中文多词表达抽取研究

作者：狄颖南京师范大学

学位级别：硕士

多词表达是指由两个及以上具有一定的句法和语义关联的词语构成的意义相对完整的语义单元。多词表达问题是目前自然语言处理领域最棘手的问题之一,多词表达会导致分词和语义等方面的错误增加,进而影响机器翻译和句法分析等实际应用的性... 详细信息

多词表达是指由两个及以上具有一定的句法和语义关联的词语构成的意义相对完整的语义单元。多词表达问题是目前自然语言处理领域最棘手的问题之一,多词表达会导致分词和语义等方面的错误增加,进而影响机器翻译和句法分析等实际应用的性能。在中文多词表达里,“动词+名词”以及“名动词+名词”的多词表达最为常见,因此,本文主要以中文“动词+名词”以及“名动词+名词”的多词表达为研究对象,包含多词表达的自动抽取和应用。本文的研究的主要内容有以下的几个方面： 1、基于双语语料多词表达候选的抽取。利用印欧语言的边界来帮助确定汉语中完整语义单元的边界。本文利用短语对齐工具对中英双语句对齐语料进行对齐处理,然后抽取多词表达候选,并与基于词对齐工具的方法进行比较。本文对北大中英对齐语料进行实验,基于短语对齐抽取的多词表达候选F值为55.95%,基于词对齐抽取的多词表达候选F值为45.32%。 2、基于句法分析的多词表达候选的抽取。由于句法分析能够识别出句子的语法结构,对语言的处理可以深入语言的内部结构。本文利用三种句法分析器：哈工大句法分析器,伯克利句法分析器,斯坦福句法分析器分别对北大对齐语料的中文部分进行句法分析,然后再抽取特定依存关系的词语对作为多词表达候选,正确率分别为哈工大42.40%,伯克利41.00%,斯坦福39.73%。 3、构建中文“动词+名词”以及“名动词+名词”多词表达分类数据集。构建过程分两步：统计过滤、多词表达分类。基于统计的方法处理大规模语料时比较方便快捷,且不依赖具体领域。本文采用内部度量方法互信息,外部度量方法C-value等进行多词表达候选的过滤。多词表达分类是将过滤后的多词表达进行分类：定中类和述宾类,来构建分类数据集,这对以后的研究具有重要的意义。 4、句法分析结果纠错。将本文自动抽取的中文多词表达与句法分析结果进行比较,进行句法分析纠错。本文对哈工大句法分析器的分析结果与抽取的多词表达进行比较,结果发现哈工大的分析结果中出现本文抽取出的多词表达的定中结构正确率为98.87%,述宾结构正确率为99.98%。

关键词：多词表达多词表达抽取短语对齐多词表达分类句法纠错

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于WEB挖掘的双语对获取技术研究

基于WEB挖掘的双语对获取技术研究

作者：周辉天津大学

学位级别：硕士

互联网上各种语言的文本数据在以几何级数不断增加,这些文本数据自然成为自然语言处理研究的宝贵资源。本文先从互联网上获取感兴趣的语言资源,然后进一步获取互联网上的双语对。双语短语对齐在机器翻译领域具有重要意义。本文在词性标... 详细信息

互联网上各种语言的文本数据在以几何级数不断增加,这些文本数据自然成为自然语言处理研究的宝贵资源。本文先从互联网上获取感兴趣的语言资源,然后进一步获取互联网上的双语对。双语短语对齐在机器翻译领域具有重要意义。本文在词性标注时,针对兼类词与其前驱词以及后继词搭配时满足的规则不同的情况,采用统计和规则相结合的方法,设置规则的优先级,从而确定当前词的词性,提高了词性标注的正确率。在短语切分中,将汉语短语切分概率化,并结合一些成词率高的规则,通过求N-最短路径方法进行短语切分。本方法对于一个已经分词的句子,根据短语库找到这个句子中所有可能的短语,并构造有向无环图,求得最优路径,从而提高了短语切分的正确率。本文还利用从搜索引擎中自动获取共现短语对网络频率数的方法进行短语对齐。本方法利用词性标注和短语切分的结果,使用网络共现频率数来判断两个汉英短语是否互为翻译,然后根据贪心规则选出最佳候选。该方法能够获得双语语料库未能充分覆盖的部分新短语,将其作为双语语料库的补充,实验证明,这种方法有效的提高短语对齐的准确率和召回率。另一方面,本文基于Web挖掘技术,采用迭代策略实现汉英双语对获取,从而实现领域词典的自动扩充。本方法把一个有限的计算机专业词典中的英文短语及其中文解释组合成中英文二元组提交给搜索引擎,从返回的诸片段(snippets)中提取出相似的中英文二元组,选择置信度高的一个二元组,再次提交给搜索引擎进行相同的操作,多次迭代,直到计算机专业词典中的每个二元组都处理完毕。实验表明,该方法当用于扩充语料库的时候,能够有效地提高词典获取的正确率,同时也可以提高双语词典编撰效率。

关键词：双语对获取短语对齐 Web挖掘技术领域词典自动扩充