基于统计规则的交集型歧义处理方法
Crossing Ambiguity Segmentation Based on Statistical Rules作者机构:吉林大学软件学院长春130012
出 版 物:《吉林大学学报(理学版)》 (Journal of Jilin University:Science Edition)
年 卷 期:2006年第44卷第2期
页 面:223-228页
核心收录:
学科分类:081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术(可授工学、理学学位)]
基 金:国家自然科学基金发展项目(批准号:60373099)
摘 要:中文分词是中文信息处理的基础,歧义问题是中文分词的一个难点,而交集型歧义问题占歧义问题的90%以上,因此对交集型歧义问题的研究是中文分词研究的一个重点.通过反复的实验和对实验结果的分析,提出了5条规则,并根据这5条规则给出了一种针对交集型歧义字段切分的算法,实验结果表明,基于该算法实现的分词系统DSfenci,对于交集型歧义消解的准确率高于95.22%.