检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

融合多策略的短语识别方法

情报科学 2019年第6期37卷 49-54页

作者：胡小荣姚长青高影繁中国科学技术信息研究所北京100038

【目的/意义】针对基于统计特征的短语识别方法存在的噪声问题,提出了融合多策略的短语识别方法。【方法/过程】该方法融合多统计量提取候选短语,并基于停用词表进行初步过滤,利用词向量较强的语义表达能力对候选短语进行过滤,以提高短... 详细信息

【目的/意义】针对基于统计特征的短语识别方法存在的噪声问题,提出了融合多策略的短语识别方法。【方法/过程】该方法融合多统计量提取候选短语,并基于停用词表进行初步过滤,利用词向量较强的语义表达能力对候选短语进行过滤,以提高短语识别的准确率。在环保领域专利语料上进行实验,利用搜狗新闻语料与中文专利数据训练词向量库进行短语识别优化。【结果/结论】该方法对于语料规模较小以及阈值较低的结果过滤还有待进一步研究。实验结果表明,融合深度学习的方法提高了短语识别的准确率。

关键词：短语识别词向量 Word2Vec 互信息邻接熵

基于短语及依存的标注规则和短语识别算法研究

在线全文

学校读者我要写书评

暂无评论

中文信息学报 2024年第2期38卷 15-24页

作者：刘广涂刚李政刘译键华中科技大学计算机科学与技术学院湖北武汉430074

目前,自然语言处理大多是借助于分词结果进行句法依存分析,主要采用基于监督学习的端对端模型。该方法主要存在两个问题,一是标注体系繁多,相对比较复杂;二是无法识别语言嵌套结构。为了解决以上问题,该文提出了基于短语窗口的依存句法... 详细信息

目前,自然语言处理大多是借助于分词结果进行句法依存分析,主要采用基于监督学习的端对端模型。该方法主要存在两个问题,一是标注体系繁多,相对比较复杂;二是无法识别语言嵌套结构。为了解决以上问题,该文提出了基于短语窗口的依存句法标注规则,并标注了中文短语窗口数据集(CPWD),同时引入短语窗口模型。该标注规则以短语为最小单位,把句子划分为7类可嵌套的短语类型,同时标示出短语间的句法依存关系;短语窗口模型借鉴了计算机视觉领域目标检测的思想,检测短语的起始位置和结束位置,实现了对嵌套短语及句法依存关系的同步识别。实验结果表明,在CPWD数据集上,短语窗口模型比传统端对端模型F1值提升超过1个百分点。相应的方法应用到了CCL2018的中文隐喻情感分析比赛中,在原有基础上F1值提升了1个百分点以上,取得第一名成绩。

关键词：自然语言处理标注体系短语识别依存分析

基于遗传算法的隐马尔可夫模型在名词短语识别中的应用研究

在线全文

学校读者我要写书评

暂无评论

计算机科学 2009年第10期36卷 244-246,261页

作者：李荣郑家恒郭梅英忻州师范学院计算机系忻州034000 山西大学计算机与信息技术学院太原030006

为了进一步提高名词短语的识别精度,针对遗传算法和隐马尔可夫模型各自的特点,提出一种基于遗传算法的隐马尔可夫模型识别方法。该方法是在高准确率词性标注的基础上实现的。在训练阶段,用遗传算法获取HMM参数;识别阶段先用一种改进的Vi... 详细信息

为了进一步提高名词短语的识别精度,针对遗传算法和隐马尔可夫模型各自的特点,提出一种基于遗传算法的隐马尔可夫模型识别方法。该方法是在高准确率词性标注的基础上实现的。在训练阶段,用遗传算法获取HMM参数;识别阶段先用一种改进的Viterbi算法进行动态规划,识别同层名词短语,然后用逐层扫描算法和改进Viterbi算法相结合来识别嵌套名词短语。实验结果表明,此联合算法达到了94.78%的准确率和94.29%的召回率,充分融合了遗传算法和隐马尔可夫模型的优点,证明它较单一的隐马尔可夫模型识别法具有更好的识别效果。

关键词：短语识别遗传算法隐马尔可夫模型 Viterbi算法层次分析

在线全文

学校读者我要写书评

暂无评论

支持背景知识的多维端到端短语识别算法研究

计算机工程与应用 2022年第8期58卷 147-155页

作者：刘广涂刚李政刘译键占志强华中科技大学计算机科学与技术学院武汉430074

目前,实体识别与依存关系分析,采用的主要是基于监督学习的深度端到端方法。这种方法存在两个问题:不能引入背景知识;不能识别出自然语言的多粒度、嵌套特征。为了解决以上问题,提出了基于短语窗口的依存句法标注规则,并标注了中文短语... 详细信息

目前,实体识别与依存关系分析,采用的主要是基于监督学习的深度端到端方法。这种方法存在两个问题:不能引入背景知识;不能识别出自然语言的多粒度、嵌套特征。为了解决以上问题,提出了基于短语窗口的依存句法标注规则,并标注了中文短语窗口数据集(CPWD),同时设计了配套的多维端到端短语识别模型(MDM模型)。该标注规则以短语为最小单位,把句子分成7类可嵌套的短语类型,同时标示出短语之间的依存关系。MDM模型不仅可以引入背景知识,识别出句子中的各类嵌套短语,而且可以识别出短语之间的依存关系。实验结果表明,该标注规则方便易用。同时,MDM模型比传统端到端算法能更有效地处理短语嵌套的问题。在CPWD数据集上实验,MDM模型比端到端方法在F1值上提高1个百分点以上。相应的方法应用到了CCL2018的中文隐喻情感分析比赛中,在原有基础上提升了1个百分点以上,并取得第一名成绩。

关键词：自然语言处理标注体系短语识别依存分析

搜索引擎日志中“N+V+N”、“V+N+N”型短语识别

在线全文

学校读者我要写书评

暂无评论

计算机工程与应用 2013年第6期49卷 143-147,155页

作者：郑丽吕学强北京信息科技大学中文信息处理研究中心北京100101

短语识别是进行短语分析的前期准备工作。针对搜索引擎日志中"N+V+N"、"V+N+N"型短语特点,采用最大熵方法,按词信息、词性信息、音节数及前位标记信息提取特征构建训练集,得到最大熵方法进行短语识别的机器学习模型。实验结果显示,利用... 详细信息

短语识别是进行短语分析的前期准备工作。针对搜索引擎日志中"N+V+N"、"V+N+N"型短语特点,采用最大熵方法,按词信息、词性信息、音节数及前位标记信息提取特征构建训练集,得到最大熵方法进行短语识别的机器学习模型。实验结果显示,利用最大熵方法对两种短语进行开放性测试,两种短语的识别F值分别达到85.78%和76.47%,取得了较好的自动识别效果,在半开放性测试中,其识别结果更佳。

关键词：短语识别搜索引擎日志“ N+V+N”“ V+N+N” 最大熵方法

在线全文

学校读者我要写书评

暂无评论

基于语义分析的汉语短语识别方法研究

基于语义分析的汉语短语识别方法研究

作者：卢朝华河南科技大学

学位级别：硕士

汉语基本短语的识别和分析是自然语言浅层句法分析的重要任务之一。基本短语的分析结果使句子层次比较清晰,为进一步的句法分析打下基础。在汉语的基本短语类型中,汉语名词短语和介词短语占相当大的一部分。基本名词短语和介词短语识别... 详细信息

汉语基本短语的识别和分析是自然语言浅层句法分析的重要任务之一。基本短语的分析结果使句子层次比较清晰,为进一步的句法分析打下基础。在汉语的基本短语类型中,汉语名词短语和介词短语占相当大的一部分。基本名词短语和介词短语识别率的提高对机器翻译和信息检索都具有重要的意义。本文针对浅层句法分析的任务,采用不同的机器学习方法对文本中的名词短语和介词短语进行识别,构造了不同的识别系统,取得了比较满意的识别结果。其研究内容如下: 名词短语的识别:通过深入分析基于最大熵识别名词短语和基于转换规则识别名词短语两种方法,提出了基于最大熵和转换规则相结合的名词短语识别。在用最大熵识别汉语名词短语中,构建了最大熵模型的基本框架,根据名词短语的结构特点及上下文特征,进行特征提取、特征选择、参数估计。以此建立了识别名词短语的最大熵模型。用基于转换规则的方法识别名词短语时,充分利用上下文环境进行规则学习,得到了识别名词短语的有序规则序列。经过分析最大熵与转换规则方法各自的特点,提出基于两者相结合的名词短语识别方法。实验结果显示提高了整个汉语名词短语识别系统的速度和精度。汉语介词短语的识别:在研究分析基于最大熵识别汉语名词短语的基础上,针对介词短语右边界存在多种错误识别的问题,提出了一种基于最大熵的汉语介词短语自动识别方法。该方法结合了汉语介词短语左右边界词语的依存语法知识,先由最大熵模型对介词短语进行识别,然后利用依存树库中介词短语的左右边界词语的依存语法知识,对介词短语右边界的错误识别进行校正。提高了介词短语的识别率。

关键词：短语识别最大熵模型转换规则依存语法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于条件随机场的汉语短语识别研究

基于条件随机场的汉语短语识别研究

作者：郭永生东北大学

学位级别：硕士

随着机器翻译技术的不断发展,对完全句法分析质量的要求也越来越高。由于完全句法分析(full parsing)要确定句子所包含的全部句法信息,并确定句子中各成分之间的关系,这是一项十分困难的任务。到目前为之,无论是句法分析器的正确率,还... 详细信息

随着机器翻译技术的不断发展,对完全句法分析质量的要求也越来越高。由于完全句法分析(full parsing)要确定句子所包含的全部句法信息,并确定句子中各成分之间的关系,这是一项十分困难的任务。到目前为之,无论是句法分析器的正确率,还是其运行速度和鲁棒性等各方面,都还难以达到令人满意的程度,这种状况严重地制约了以完全句法分析为基础的自然语言处理相关研究的发展和应用系统的开发。为了降低问题的复杂度,同时获得一定的句法结构信息,短语识别应运而生。本文借鉴了英语chunk的定义、根据汉语自身的语言学特点以及Upenn ChineseTreeBank 5.1标注本身的特点,将汉语短语定义为十种基本短语结构。在该定义的指导下,从Upenn ChineseTreeBank 5.1中抽取语料。论文论述了条件随机场的基本原理,并通过与其他传统的标注模型进行了理论和实验方面的比较,阐述了条件随机场在标注任务中的性能优越性,在此基础上提出了基于条件随机场(CRFs)的汉语短语识别方法,并搭建汉语短语识别实验系统,对测试语料进行短语识别。实验结果表明,相对于Markov和HMMs模型来说,本文提出的短语定义和识别算法具有较高的识别性能;大规模的语料有助于汉语短语识别性能的提高。另外,在Upenn ChineseTreeBank 5.1上,二阶的CRFs识别结果并不比二阶的CRFs好很多,这是由于二阶CRFs在使用更多的上下文特征时,数据稀疏造成的。本文提出的短语识别方法在一定程度上使完全句法分析的任务得到了简化,同时也有利于完全句法分析在大规模真实文本处理系统中迅速得到运用。

关键词：短语识别句法分析机器翻译条件随机场

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

新闻语料中名词短语识别的研究

新闻语料中名词短语识别的研究

作者：邱强北京邮电大学

学位级别：硕士

短语识别在机器翻译、信息检索、信息抽取、文本分类和问题回答系统等自然语言处理应用领域中起着重要作用。随着互联网的应用越来越普及,网络中包含大量新闻性的语言信息,如果无法得到及时有效的处理,那么蕴含其中的巨大价值就无法利... 详细信息

短语识别在机器翻译、信息检索、信息抽取、文本分类和问题回答系统等自然语言处理应用领域中起着重要作用。随着互联网的应用越来越普及,网络中包含大量新闻性的语言信息,如果无法得到及时有效的处理,那么蕴含其中的巨大价值就无法利用。而在新闻性的语料中,名词短语占了文章中短语数目的大部分,因此,针对名词短语的识别研究具有很强的研究意义及实用价值。本文在分析了当前主要名词短语识别方法的基础上,提出一种识别算法,该方法选用Chinese TreeBank语料库,首先基于人工分析得到一些名词短语的识别规律知识,并将这些知识与一个基于语料库的基本名词短语识别系统相结合。最终得到的系统在开放测试下,准确率达到93%,召回率达到84%。识别知识包括内部知识和外部知识两部分。内部知识是指构成基本名词短语的词串构成的模板知识（本文中主要指短语的词性构成）,外部知识是指基本名词短语所在上下文环境的知识（本文中指词性构成模板前后若干个词的词性）。模板是识别基本名词短语的必要条件,不是充分条件,需要有外部知识（模板应用环境）指导才能做到模板的精确应用。本文对模板的应用环境做了较多基础性研究工作,使评价识别结果的主要指标都得到不同程度的提高。

关键词：基本名词短语短语识别新闻自然语言处理模版浅层句法分析

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于短语识别的自然语言理解搜索方法研究

基于短语识别的自然语言理解搜索方法研究

作者：齐波重庆大学

学位级别：硕士

随着Internet的快速发展和网络应用范围的不断扩大,WEB信息量呈指数增长,而传统的搜索引擎仅能从词的层面上来进行搜索,造成人们从WEB信息海洋中及时、全面、准确获取信息越来越困难。目前,搜索引擎的查全率和查准率还比较低。如Google... 详细信息

随着Internet的快速发展和网络应用范围的不断扩大,WEB信息量呈指数增长,而传统的搜索引擎仅能从词的层面上来进行搜索,造成人们从WEB信息海洋中及时、全面、准确获取信息越来越困难。目前,搜索引擎的查全率和查准率还比较低。如Google的网页索引量目前已经达到了33亿,但主要还是把用户的查询请求以关键词的形式与全文中的每一个词进行比较,而不考虑查询请求与文档语义上的匹配。类似的还有Baidu、Yahoo等。它们的检索方式都是基于词频分析技术,虽然返回信息很多,却有过多无关信息,用户必须从结果中进行筛选。本文针对传统的检索技术以及搜索引擎的弊端,对新一代的信息检索系统——基于自然语言理解的搜索引擎进行了研究。这是当前自然语言处理领域一个研究热点,同时也代表了将来搜索引擎的发展方向。该类搜索引擎综合运用了知识表示、信息检索、自然语言处理等技术,能够使用户以自然语言输入问题,而不是关键词的组合,大大方便了用户的操作。本文研究了在搜索引擎领域中一些自然语言处理上的相关技术,其中具体包括:①中文自动分词技术,分析了国内外分词技术的发展,列举并分析了比较经典的分词算法;②对现代汉语短语实现了机器识别,即通过短语优先合并算法将一个复杂短语实现了层次化的分解;③对动词谓语句的句法分析,定义了一种谓词链接法来分解自然语句,实现各块的分治,最终形成短语结构树;④概念提取和扩展检索技术,将短语树中的概念依次提取,并根据在树中的语义修饰关系,设定不同的权值,同时对这些提取出的概念实现了英语对照词的扩展检索;⑤聚类浏览技术,使用户的搜索结果不再是一组信息列表,而表现为具有类目和层次结构的新的信息反馈方式。本文的主要贡献是基本实现了基于自然语言理解的搜索引擎原型,并通过一系列测试来验证系统的查全率和查准率,具有工程实用价值。所做的研究工作及其结果对相关理论研究及实际系统的分析设计和实现也具有一定的参考价值和指导意义。

关键词：自然语言理解搜索引擎短语识别聚类浏览