基于双数组Trie树中文分词研究
Research of Chinese Word Segmentation Based on Double-Array Trie作者机构:湖南大学计算机与通信学院
出 版 物:《湖南大学学报(自然科学版)》 (Journal of Hunan University:Natural Sciences)
年 卷 期:2009年第36卷第5期
页 面:77-80页
核心收录:
学科分类:081401[工学-岩土工程] 08[工学] 0814[工学-土木工程]
摘 要:对双数组Trie树(Double-Array Trie)分词算法进行了优化:在采用Trie树构造双数组Trie树的过程中,优先处理分支节点多的结点,以减少冲突;构造一个空状态序列;将冲突的结点放入Hash表中,不需要重新分配结点.然后,利用这些方法构造了一个中文分词系统,并与其他几种分词方法进行对比,结果表明,优化后的双数组Trie树插入速度和空间利用率得到了很大提高,且分词查询效率也得到了提高.