检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

汉语文本自动分词算法的研究

计算机工程与应用 2010年第3期46卷 125-127,130页

作者：何国斌赵晶璐西南大学计算机与信息科学学院重庆400715

分析了中文分词词典的机制,提出了一种改进的整词分词字典结构,并针对机械分词算法的特点,将其与概率算法相结合,探讨了一种中文自动分词概率算法。采用哈希及二分法对词典进行分词匹配。实验表明,该算法具有较高的分词效率和准确率,对... 详细信息

分析了中文分词词典的机制,提出了一种改进的整词分词字典结构,并针对机械分词算法的特点,将其与概率算法相结合,探讨了一种中文自动分词概率算法。采用哈希及二分法对词典进行分词匹配。实验表明,该算法具有较高的分词效率和准确率,对于消去歧义词也有较好的性能。

关键词：自动分词分词算法字典歧义切分

在线全文

学校读者我要写书评

暂无评论

全二分快速自动分词算法构建

现代图书情报技术 2007年第4期 52-55页

作者：张海营襄樊学院网络中心襄樊441053

分析现有分词算法存在的不足,在此基础上提出一种新的分词词典,通过为分词词典建立首字Hash表和词索引表两级索引,使得该分词词典支持全二分最大匹配分词算法,利用该分词算法进行自动分词,其时间复杂度实现了大的改善。

关键词：分词算法汉语分词

在线全文

学校读者我要写书评

暂无评论

基于词表结构的中文分词算法研究

基于词表结构的中文分词算法研究

作者：贺艳艳中国地质大学（北京）

学位级别：硕士

众所周知,英文以词为单位,以空格隔开,而中文以字为单位,连字成句才能描述一个完整的意思。计算机可以很容易地理解英文单词,而对由词组成的中文句子,必须通过中文分词技术才得以理解。把中文的汉字序列切分成有意义的词,即中文分词,又... 详细信息

众所周知,英文以词为单位,以空格隔开,而中文以字为单位,连字成句才能描述一个完整的意思。计算机可以很容易地理解英文单词,而对由词组成的中文句子,必须通过中文分词技术才得以理解。把中文的汉字序列切分成有意义的词,即中文分词,又称切词。中文分词技术是信息处理领域中的重要技术,本文主要对中文分词技术进行了以下几方面的研究。本文简要介绍了中文分词的基本概念以及国内外研究现状;阐述了中文分词系统的基础架构和工作原理;重点研究了现有中文电子词表结构,并且探讨了现有的中文分词算法的技术特点。实践并提出相关的方法和技术。在深入分析的基础上,结合中文字词的一些特点,本文作者提出了一种全新的中文词表数据结构。该结构的基本原理是把所有的单字、词、词组统一作为词语,建立电子词典。基于这种全新的数据结构,本文作者讨论并且实现了一种改进的分词算法——近邻匹配法。鉴于中文姓名辨识困难并且大多属于未登录词这一特性,本文作者实践并推介了一种利用边界信息、候选姓名竞争、规则筛选等统计信息进行中文姓名识别的方法,同时,在姓名过滤和反馈等方面也作了相应的改进。作者在实验室环境下搭建测试平台,基于Lucene进行二次开发,对本课题的研究成果进行功能和性能测试。测试数据的结果表明,本课题研究的中文词表数据结构具有较高的访问效率,且大大降低了存储容量。近邻匹配法较以往使用的分词算法具有更高的切分速度和准确率。本文提出的中文名字识别方法也具有较好的识别效果。对于中文分词技术的研究并非一蹴而就,经过一两次研究所能解决的。有关词性和词义问题、对歧义的包容性以及对边界分级阈值筛选等问题,都是本文作者后续研究的选题。

关键词：中文分词词表分词算法近邻匹配姓名识别

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

规则和统计相结合的分词算法

规则和统计相结合的分词算法

作者：陈宏彦太原理工大学

学位级别：硕士

我们已经进入一个信息革命的新时代，这个信息时代的显著特点是计算机在人类生活的各个方面，起着越来越大的作用。自然语言是人们最重要的交际工具，它与信息处理有着十分密切的关系。在书面汉语中，词在句中没有显式的标记。因此，理... 详细信息

我们已经进入一个信息革命的新时代，这个信息时代的显著特点是计算机在人类生活的各个方面，起着越来越大的作用。自然语言是人们最重要的交际工具，它与信息处理有着十分密切的关系。在书面汉语中，词在句中没有显式的标记。因此，理解汉语的首要任务就是把连续的汉字串分割成词的序列，即自动分词。目前大多数分词研究都完全依赖计算机完成切分工作，不希望人工介入。但其结果往往不尽如人意。因为计算机要想准确切分文本，就一定要建立在对文本语义理解的基础之上;而要想让计算机能够理解中文语义，则首先要进行分词。不难理解，陷入这样的循环之中，是很难得到理想的切分结果的。作者在本文中提出了一种新的规则与统计相结合的分词方法。本方法的新颖之处在于，解决了理解与切分孰先孰后的两难问题，通过人工介入来选择特定领域词库，从而缩小了规则匹配的范围，提高了词库与待切分语料的匹配度;在此基础上，优先采用规则方法初分语料，最后使用统计方法对已切分的语料进行进一步处理。由于本实验的核心目的是为证明经过人工介入选择特定领域词库，会使规则与统计相结合的方法对文本的切分准确率明显提高，所以，作者采用了最有代表性的正向最大匹配的规则切分方法和切分准确率较高的md统计切分方法，分别使用规则切分、统计切分以及规则与统计相结合的方法处理相同语料，并对切分结果进行统计分析。实验用到的词库关键在于分类合理、内容准确以及符合实际。作者经过认真地总结和细心的整理，完成了词汇的归类和遴选的工作，包括地名、区划、计算机、俗语、动漫游戏、人名、网络新词以及各学科术语等等共25个专业领域词库，均采用文本文件格式保存。实验所用语料是《中国计算机》报《产品与应用》栏目的1423篇文章(.txt格式)为数据源建立语料库，不计空格，共含中文、英文及标点156，453个，其中，中文字符数为123，764个。经过具体实验验证，将上述两种分词方法通过新方法结合后，对语料的切分精度明显高于单纯使用规则或统计方法的精度。

关键词：专业词库分词算法规则分词统计分词

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于特殊标志符的中文分词算法研究

基于特殊标志符的中文分词算法研究

作者：李腊腊湖北工业大学

学位级别：硕士

中文信息处理是一个繁琐而庞大的信息处理工程,中文分词的处理则是整个工程当中的一个基础且重要的环节。计算机对汉语的理解,首先要对句子能够进行有效而正确的识别,要正确的理解一句话,则要进行正确而恰当的分词,在词的基础上来理解... 详细信息

中文信息处理是一个繁琐而庞大的信息处理工程,中文分词的处理则是整个工程当中的一个基础且重要的环节。计算机对汉语的理解,首先要对句子能够进行有效而正确的识别,要正确的理解一句话,则要进行正确而恰当的分词,在词的基础上来理解语句。然而,在对比中文和英文时了解到,英文句子的组成是以词为单位,并用空格来隔开相邻的单词;而中文却是以字为单位,由字连成句子来表达一个完整的意思。计算机可以很容易地理解一个英文单词,从而相应的做出判断;而对由单个字组成的中文句子则须先通过中文分词技术,将整句划分为单个词才能理解。因此,中文分词的过程就是用一定的分词规则将整句划分为分散的字或词的过程。本文主要对中文分词技术进行了以下几个方面的研究。首先,简要介绍了本课题的研究背景,本课题的主要研究内容和研究意义;明确研究的方向才能继续下一步的研究工作。介绍了中文分词及相关技术在国内外的发展现状,列举了一些典型的分词算法和分词系统,定义了中文分词的基本概念,为后来的深入学习研究提供前期可借鉴的经验基础。其次,在对前人提出的研究成果基础之上进行深入分析,比较现有的分词技术和分词系统各自的优点和缺点,并指出了中文分词所面临的难点;结合对以上的分析作者提出了一种基于特殊标志符的分词方法。在对汉语词性的分析和研究基础上,根据汉字在汉语中的词性表现,通过大量的文献参照,总结并提出了汉语特殊标志符集,为本文下一步进行的分词方法的研究和实现奠定基础。再者,对现有的分词词表结构进行分析比对,理解各种分词词典机制的优缺点,并结合中文字词的一些表象特性,作者提出了一种改进的以二字词为词根的中文词表结构,并对该词表结果做了详细的结构解释和说明,对比其在结构上的分词优势。最后,作者将特殊标志符集与改进的新词典结构相结合,在实验室环境下对本文的分词方法进行测试,使用SOUGOU训练语料库中的实验文本分别在本课题分词系统中和其他分词系统中进行分词实验,通过人工对本课题的研究成果进行准确度和分词速度的测试上的比对。最后对本课题进行了总结,也对本课题未来的研究方向作了展望。

关键词：中文分词分词算法特殊标识符词表

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

巧用黑盒法逆推百度中文分词算法

计算机技术与发展 2010年第4期20卷 136-139页

作者：盛启东谭守标徐超冯二媛陈军宁安徽大学电子科学与技术学院安徽合肥230039

为了更好地利用中文搜索引擎系统,需要了解搜索引擎的一些关键性技术。笔者选择了国内知名度最高的搜索引擎系统百度作为研究对象。介绍了几种常用的中文分词算法以及中文分词在搜索引擎中的作用,并在此基础上采用黑盒的方法推导出百度... 详细信息

为了更好地利用中文搜索引擎系统,需要了解搜索引擎的一些关键性技术。笔者选择了国内知名度最高的搜索引擎系统百度作为研究对象。介绍了几种常用的中文分词算法以及中文分词在搜索引擎中的作用,并在此基础上采用黑盒的方法推导出百度的中文分词算法——正向最大匹配分词算法。该算法是最常见的一种中文分词算法,比较符合人的思维习惯。了解了搜索引擎的分词算法有益于搜索词设置的优化以及搜索引擎系统的研究和改进。

关键词：中文分词分词算法搜索引擎百度

在线全文

学校读者我要写书评

暂无评论

垂直搜索引擎中的分词算法研究

网络安全技术与应用 2014年第4期 15-16,18页

作者：潘磊宁方建安金林骏上海市东华大学信息科学与技术学院上海201620

垂直搜索引擎是用户利用网络资源不可或缺的工具,而其中的索引引擎和查询引擎都使用到了分词算法。前者依据分词算法分析文本建立倒排索引表,后者依据分词算法将查询语句切分成关键词。为了提高垂直搜索引擎的检索效率,有必要研究一下... 详细信息

垂直搜索引擎是用户利用网络资源不可或缺的工具,而其中的索引引擎和查询引擎都使用到了分词算法。前者依据分词算法分析文本建立倒排索引表,后者依据分词算法将查询语句切分成关键词。为了提高垂直搜索引擎的检索效率,有必要研究一下垂直搜索引擎中的分词技术。在本文中,首先介绍了现有的中文分词算法并分析了其缺点,在此基础上构建了一种改进的分词算法。最后,本文通过实验证明了该改进算法的有效性。

关键词：垂直搜索引擎分词算法检索效率