检索结果-南通市图书馆

北京大学学报（自然科学版） 2018年第3期54卷 481-486页

作者：杨萌李培峰朱巧明苏州大学计算机科学与技术学院苏州215006

在浅层句法树和依存关系树的基础上,提出两种结构化特征:基于短语的浅层句法树NPST和基于短语的依存树NPDT,并将它们与Tree-LSTM模型相结合,进行句子相似度计算。实验表明,使用结构化特征和Tree-LSTM会带来性能的提升。

关键词：句子相似度计算 Tree-LSTM 结构化特征

在线全文

学校读者我要写书评

暂无评论

句子相似度计算理论及应用研究

句子相似度计算理论及应用研究

作者：薛慧芳西北大学

学位级别：硕士

在自然语言处理领域,汉语句子的相似度计算是一项基础而又重要的工作,它直接决定着相关领域的研究发展状况。比如在FAQ自动问答系统、信息检索、复述、基于实例的机器翻译等领域,句子相似度计算都是一个非常关键的问题,长期以来一直是... 详细信息

在自然语言处理领域,汉语句子的相似度计算是一项基础而又重要的工作,它直接决定着相关领域的研究发展状况。比如在FAQ自动问答系统、信息检索、复述、基于实例的机器翻译等领域,句子相似度计算都是一个非常关键的问题,长期以来一直是人们研究的一个热点和难点。为了研究汉语句子相似度计算,本文分别对汉语中的义原、词语、句子三个层次的相似度计算进行了研究。并且针对目前句子相似度计算方法的不足,提出了一种改进的计算方法,最后以FAQ自动问答系统为例,给出句子相似度计算的应用实例。本文完成的主要工作包括： 1)义原相似度计算和词语相似度计算研究。由于义原相似度计算是词语相似度计算的基础,而词语相似度计算又是句子相似度计算的基础,所以,本文基于《知网》,对义原相似度计算、词语相似度计算分别做了详细研究。 2)提出了改进的句子相似度计算方法。在上述工作的前提下,本文对句子相似度计算进行了研究,并且对其进行了改进,提出了综合多种特征来计算句子相似度的方法。即综合句子的词形相似度、语义相似度、句法结构相似度三方面特征来计算句子相似度。并且,针对词形相似度计算以及语义相似度计算方法也进行了改进,力求最终的句子相似度计算结果更为准确。 3)以FAQ自动问答系统为例介绍句子相似度的应用情况。为了说明句子相似度计算的实际应用情况,本文对FAQ自动问答系统、以及句子相似度计算方法在其中的应用进行了介绍。

关键词：知网句子相似度计算 FAQ自动问答系统

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种基于本体的句子相似度计算方法

计算机科学 2013年第1期40卷 251-256页

作者：刘宏哲北京联合大学北京市信息服务工程重点实验室北京100101

提出了一种基于树结构本体的句子相似度计算方法。利用本体概念与句子中关键词之间建立的语义索引,构建句子与本体间的直接和间接语义联系,据此提取描述句子的语义向量,从而计算句子间的语义相似度。应用微软研究院的意译语料库(MSRP)... 详细信息

提出了一种基于树结构本体的句子相似度计算方法。利用本体概念与句子中关键词之间建立的语义索引,构建句子与本体间的直接和间接语义联系,据此提取描述句子的语义向量,从而计算句子间的语义相似度。应用微软研究院的意译语料库(MSRP)对本方法进行了验证,结果表明:与相关的计算方法相比,本方法在不完备附加信息应用前提下获得了较好的准确率和召回率。

关键词：句子相似度计算本体 WordNet

在线全文

学校读者我要写书评

暂无评论

基于句子相似度计算的信息抽取

现代图书情报技术 2007年第6期 38-41页

作者：廉站俊吕学强张玉杰施水才北京信息科技大学中文信息处理研究中心北京100101 大连工业大学信息学院大连116011

提出一种基于句子相似度的信息抽取方法。采用句子主题相似度计算,对测试语料进行小句主题识别;同时结合句子主题在整个文章中的概率分布特点,提高识别的准确性。以网络上个人信息资源为语料,在该系统上进行测试,取得较好效果。

关键词：信息抽取概率分布主题句子相似度计算

基于平滑逆频率和依存句法的句子相似度计算方法

在线全文

学校读者我要写书评

暂无评论

科学技术与工程 2019年第20期19卷 278-282页

作者：刘继明谭云丹袁野重庆邮电大学经济管理学院

综合考虑关键词、词向量及句法结构对句子相似度计算的影响,将平滑逆频率(smooth inverse frequency,SIF)与依存句法相结合以提高句子相似度计算的精准性。SIF的核心思想为利用加权和去除非信息噪音得到的句向量来计算句子相似度。借助... 详细信息

综合考虑关键词、词向量及句法结构对句子相似度计算的影响,将平滑逆频率(smooth inverse frequency,SIF)与依存句法相结合以提高句子相似度计算的精准性。SIF的核心思想为利用加权和去除非信息噪音得到的句向量来计算句子相似度。借助哈尔滨工业大学的语言技术平台,将句子的结构信息添加到句子相似度计算中,通过句子中“词语依存关系”三元组的相似性来度量句子间的相似度。实验结果表明,基于SIF和依存句法的句子相似度计算方法所得的反映准确率和召回率平衡度的指标为84.4%,与同类的句子相似度计算方法相比,能更为有效衡量句子间的相似程度。

关键词：平滑逆频率依存句法句子相似度计算

在线全文

学校读者我要写书评

暂无评论

基于多义词向量的句子相似度计算

基于多义词向量的句子相似度计算

作者：杨艺琛长安大学

学位级别：硕士

随着移动互联网的迅猛发展,网络文本数据也呈指数级增长。如何快速有效地从海量文本中获取人们感兴趣的内容,挖掘出其潜在的应用价值成为人们亟需解决的问题。对海量文本信息的分析处理常常会涉及到句子相似度计算,而词语的多义和歧义... 详细信息

随着移动互联网的迅猛发展,网络文本数据也呈指数级增长。如何快速有效地从海量文本中获取人们感兴趣的内容,挖掘出其潜在的应用价值成为人们亟需解决的问题。对海量文本信息的分析处理常常会涉及到句子相似度计算,而词语的多义和歧义现象是影响相似度计算的一个重要因素。近年来借助词向量技术强大的语义信息表达能力,深度学习在自然语言处理(NLP)任务中取得了巨大的成功。深度学习NLP中处理多义词现象的方法有静态的多原型词向量和动态词向量两种技术,其中动态词向量技术因其表现较好受到众多研究者的青睐。但是,受制于特定领域下语义表达的精度,或实时性要求较高的应用场景下如推荐、检索等任务中性能要求的限制,静态多原型词向量是这些应用的一个好的选择。为此,本文提出一种基于多原型词向量的句子相似度计算框架,该框架包含词语的多义归纳、多原型词向量的迭代求精、以及基于ESIM匹配的相似度计算。这种框架可以较好地适应随着语言发展的变化、使用场景的不同而导致的词语多义变化发展的情况。论文的主要工作内容包含以下几个方面:(1)针对词语的多义表达随着使用领域和场景的不同以及语言的发展而变化,论文设计了一种基于词向量构建复杂网络进行词义归纳的方法。该方法通过上下文单词的词向量来表征多义词本身,利用词向量所蕴含的语义信息构建更好的特征网络,从而提高社区检测算法划分词义的有效性和鲁棒性。实验证明该方法比经典的Hyper Lex算法更为有效。(2)通过词义归纳推导得到的多原型词向量仍有语义表达不精确的问题,为此论文提出一种迭代求精的多原型词向量训练模型。模型通过歧义消除和词义标注模块、基于多义标记语料的词向量训练模块进行联合学习,不断精炼多义词向量。该方法还可以根据多义词的使用场景去适应特定场景下的语义表达和语义个数,改进多义词向量表达精度的问题。单词语义相似度计算实验验证了算法的有效性。(3)基于深度学习的句子相似度计算模型可以捕捉句子的结构、上下文等信息去提升评判效果。论文集成词语的多义推导、多原型词向量求精和ESIM匹配计算技术设计了一个句子相似度计算框架。该框架可以随着词语使用场景的变化、语言的发展更新多原型词向量的表达,从而得到更好的句子相似度计算准确度。实验证明,这种计算模型的准确度较传统ESIM模型改进了22.1%,较融合类信息的句子相似度计算方法提高了6.7%,其性能得到了很好的提升。

关键词：句子相似度计算词义归纳多义词向量词向量求精

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

汉老双语平行句子相似度计算方法研究

汉老双语平行句子相似度计算方法研究

作者：贾善崇昆明理工大学

学位级别：硕士

句子的相似度是指两个句子的相似程度,句子相似度的计算在人工智能大火的如今也受到了很大的关注,例如在问答系统中,检索对话中相似句等自然语言处理的方向中,句子相似度计算起着至关重要的作用。平行语料库的构建,是双语机器翻译的基础... 详细信息

句子的相似度是指两个句子的相似程度,句子相似度的计算在人工智能大火的如今也受到了很大的关注,例如在问答系统中,检索对话中相似句等自然语言处理的方向中,句子相似度计算起着至关重要的作用。平行语料库的构建,是双语机器翻译的基础,在此基础之上,可以进一步进行双语的其他研究。双语平行语料库的建立也是许多自然语言处理研究的重要基础资料。作为翻译的研究重要前提,双语句子平行语料库的建立无疑成为了重中之重,而双语句子相似度的计算是构建平行语料库的基础。平行语料库的好坏与否,直接影响到了后面语言研究的效果。目前,老挝语的自然语言处理过程当中,语料问题是亟待解决的一个问题,老挝语与中文的研究目前还处于初级阶段,本文基于这样的一个实际情况,通过研究如何使用光学字符识别(Optical Character Recognition,OCR)方法获取老挝语语料,并在原有人工收集以及网上爬取的老-汉双语语料的基础上,利用深度学习的方法研究老-汉双语句子上下文信息以计算出双语句子相似度,最后在已有的上下文信息中,融入老挝语与中文中一些特征,进行双语句子相似度的计算。具体研究内容如下:(1)光学字符识别的老挝语语料获取目前,世界范围内光学字符识别(Optical Character Recognition,OCR)技术的研究主要是针对中文、英文等主流语种,本文针对老挝语纸质资料人工数字化录入过程中速度较慢,精确度受录入者水平影响的问题,提出一种基于卷积神经网络的老挝语印刷体光学字符识别方法,根据数字图像技术、卷积神经网络技术,根据老挝语语言特征,实现老挝语印刷文本字符识别的技术,以此方法来获取语料。(2)融入上下文及共现词的老-汉句子相似度计算本文通过现有的数字语料提出了一种基于孪生网络(Siamese network)的老-汉双语句子相似度计算方法。并神经网络层使用Bi-LSTM算法来构建孪生网络,共享参数,分别对中文和老挝语进行训练,得到句子的语义特征,并在最后将两个网络得出的向量进行距离向量的计算,最终输出为句子与句子之间的相似度。在通过Bi-LSTM得出上下文信息的相似度后,结合句子中的共现词信息,来增加计算结果的准确率。实验证明,该方法能有效地计算老-汉双语句子相似度。(3)融合句长、共现词、词汇信息的老-汉双语句子相似度计算当前,老-汉双语语料存在比较匮乏的情况,在单纯通过Bi-LSTM算法的自动提取上,仍然受到很大的限制。为了进一步提高计算句子相似度的准确率,本文在孪生网络的基础上,进一步对老挝语以及中文句子进行分析,结合句子中的共现词特征、句长特征以及词汇特征进行汇总,通过特征融合的方式来达到提高计算结果得效果。

关键词：老挝语中文 OCR 句子相似度计算孪生网络特征融合

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

汉老双语句子相似度计算方法研究

汉老双语句子相似度计算方法研究

作者：何力昆明理工大学

学位级别：硕士

大规模的汉语和老挝语平行句对语料库是实现汉老双语机器翻译必不可少的资源,汉老双语句子的相似度计算无疑是构建平行语料库最基础、最重要的途径。受老挝语现有资源少、分词准确率低等因素影响,目前仍无很好的方法将汉老双语句子联系... 详细信息

大规模的汉语和老挝语平行句对语料库是实现汉老双语机器翻译必不可少的资源,汉老双语句子的相似度计算无疑是构建平行语料库最基础、最重要的途径。受老挝语现有资源少、分词准确率低等因素影响,目前仍无很好的方法将汉老双语句子联系起来并计算其相似度,针对这一问题,本文进行了以下方面的研究工作。第一,老挝语分词方法。本文受中文四词位标注分词方法的启发,根据老挝语词语由音节构成的语言特点,使用人工分词语料进行基于音节的四词位标注(BMES),并预训练双向长短期记忆BLSTM(Bidirectional Long Short-Term Memory)神经网络模型。首先将老挝语句子划分成音节并训练成向量,然后把这些向量作为BLSTM神经网络模型的输入预估该音节所属标签,再使用序列推断算法确定其标签,最后实验证明本方法的老挝语分词效果好于以往的分词方法。第二,计算汉老双语句子相似度。受跨语言分布表示学习的启发,本文使用汉老双语对齐句向量预训练深度典型关联分析DeepCCA(Deep Canonical Correlation Analysis)模型联系双语句子并计算其相似度。首先分别向量化表示双语句子,然后使用预训练的DeepCCA模型,将双语句向量映射到新的空间内,最后在新空间内利用映射后句向量的余弦距离来计算汉老双语句子相似度。实验证明本方法能有效计算汉老双语句子相似度。第三,进一步提升计算汉老双语句子相似度的准确率。为进一步提升相似度计算的准确率,本文在深度典型关联分析方法的基础上,抽取汉老双语之间的句长、数字匹配及其句向量之间线性与非线性的相似度特征,使用融合多特征的方法进一步计算汉老双语句子相似度。首先根据对齐语料,抽取汉老双语文本的数字匹配、句子长度、DeepCCA与线性CCA相似度四个特征,然后通过对不同特征进行加权来使计算结果达到最好。实验结果显示,本方法能够更好地计算汉老双语句子之间的相似度。

关键词：汉语和老挝语句子相似度计算老挝语分词深度典型关联分析多特征

基于分布式系统的句子相似度计算的研究与应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于分布式系统的句子相似度计算的研究与应用

作者：李元一郑州大学

学位级别：硕士

在自然语言处理领域，句子相似度计算是一项基础研究工作。它为与其相关的领域的发展提供支撑作用。在构建词义知识库的过程中，它对相似词和相似句子的判断作用巨大。本文对句子相似度计算进行了重点研究，提出了一种基于分布式系统的... 详细信息

在自然语言处理领域，句子相似度计算是一项基础研究工作。它为与其相关的领域的发展提供支撑作用。在构建词义知识库的过程中，它对相似词和相似句子的判断作用巨大。本文对句子相似度计算进行了重点研究，提出了一种基于分布式系统的句子相似度计算方法，通过实验对其有效性进行验证，然后结合项目中的构建过程给出了具体应用实例。本文主要做了以下工作：(1)对词语相似度计算进行了详细研究，提出了一种改进的基于《知网》的词语相似度计算方法。利用语义词典丰富的语言知识进行计算。本文对基于《知网》的词语相似度计算进行了研究，对其做出了改进。(2)提出了一种基于分布式系统的句子相似度计算方法。在上述工作的基础上，本文对句子相似度计算方法进行了研究和改进。使用MapReduce技术，在Hadoop平台的基础上对句子进行并行化的相似度计算。因为语言信息是结构化的，易于分割为多个可同时进行处理的子项目，本文给出了语言信息的切割方法，提出了基于分布式系统的句子相似度计算方法。(3)结合词义知识库的构建过程演示了基于分布式系统的句子相似度计算的实例。结合词义知识库的构建，详细阐述了基于分布式系统的句子相似度计算的实现过程和操作步骤，通过实验对其有效性进行验证。

关键词：自然语言处理词语相似度计算句子相似度计算 MapReduce

基于异构图和多关键词对交互矩阵的句子相似度计算方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于异构图和多关键词对交互矩阵的句子相似度计算方法研究

作者：卢鑫西北大学

学位级别：硕士

句子相似度计算是自然语言处理中广泛应用的技术,是句子语义理解的基础,能促进计算机对人类语言的深入理解。为了能准确地对句子进行相似度计算,本文首先提出一种能准确地对句子语义建模的句子表示方法,然后提出一种能高效地对句子之间... 详细信息

句子相似度计算是自然语言处理中广泛应用的技术,是句子语义理解的基础,能促进计算机对人类语言的深入理解。为了能准确地对句子进行相似度计算,本文首先提出一种能准确地对句子语义建模的句子表示方法,然后提出一种能高效地对句子之间的语义关系建模的句子匹配算法,最后在此基础上提出一种句子相似度计算方法。本文主要研究工作如下:（1）针对句子包含的空间信息的特征很难被准确提取的问题,提出了一种基于异构图的句子表示方法（Heterogeneous Graph-based Sentence Representation,HG-SR）。该方法首先基于句法依存树和上下文滑动窗口构建出句子的异构图,从而表达出句子丰富的空间信息。其次使用Bi LSTM来提取句子的时间特征,使用GCN来提取句子的空间特征,使用CNN来提取句子的句法关系特征。最终将这三种特征合在一起作为句子的向量表示。实验结果表明本文提出的句子表示方法优于大多数现存的句子表示方法。（2）针对句子中包含的冗余和噪声会影响句子匹配算法性能的问题,提出一种基于多关键词对的句子匹配（Multi Keyword-Pair based-sentence Matching,MKPM）算法。该方法首先设计一种基于句子对的注意力机制（Sentence Pair based Attention,SPAttention）来从两个句子中抽取多组关键词对,避免了句子中的冗余和噪声的干扰。其次通过双任务架构来对这些关键词对进行语义关系建模,从而完成句子对匹配。实验结果表明,该模型可以在多个句子匹配任务中达到最先进的性能。（3）针对少量的相似度度量特征和单一的度量方式会导致相似度计算准确率低下的问题,提出了一种基于相似度交互矩阵的句子相似度计算方法（Similarity Interaction Matrix-base Sentence Similarity calculation,SIM-SS）。该方法首先使用多种相似度度量方式来对两个句子的特征向量进行交互从而构建出SIM。其次使用神经网络技术对SIM进行深层语义特征的提取,从而更准确的计算相似度。最终将前两个研究与该研究结合,得到一种高性能的句子相似度计算模型,实验结果表明该模型具有最先进的性能。

关键词：句子相似度计算句子表示异构图多关键词对相似度交互矩阵