基于改进位置成词概率的新词识别
A new method for Chinese new word identification based on the improved PWP作者机构：福州大学数学与计算机科学学院福建福州350108
出 版 物：《福州大学学报（自然科学版）》 (Journal of Fuzhou University(Natural Science Edition))
年 卷 期：2011年第39卷第1期
页 面：43-48页
学科分类：08[工学] 0835[工学-软件工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）]
基 金：福建省科技创新平台计划资助项目(2009J1007) 福建省教育厅科研资助项目(JA04161) 福建省发展改革委员会基金资助项目(SX2004-29)
摘 要：提出了一种基于改进位置成词概率的新词识别算法.该算法在位置成词概率的基础上,结合新词内部模式的特征提出了改进的位置成词概率,然后再综合互信息、邻接类别等统计量对新词进行识别.采用小说语料进行测试,实验结果表明该算法在一定程度上能有效提取新词.
维普期刊数据库
同方期刊数据库