基于条件随机场的中文分词算法改进

作     者：顾佼佼 杨志宏 姜文志 胡文萱 GU Jiao-jiao;YANG Zhi-hong;JIANG Wen-zhi;HU Wen-xuan

作者机构：海军航空工程学院兵器科学与技术系山东烟台264001 海军装备部驻武汉地区军事代表局湖北武汉430064 海军航空工程学院外训系山东烟台264001 

出 版 物：《信息与电子工程》 (information and electronic engineering)

年 卷 期：2012年第10卷第2期

页      面：184-187页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主　　题：中文分词 条件随机场 特征选择 置信度 

摘      要：在中文分词领域,基于字标注的方法得到广泛应用,通过字标注分词问题可转换为序列标注问题,现在分词效果最好的是基于条件随机场(CRFs)的标注模型。作战命令的分词是进行作战指令自动生成的基础,在将CRFs模型应用到作战命令分词时,时间和空间复杂度非常高。为提高效率,对模型进行分析,根据特征选择算法选取特征子集,有效降低分词的时间与空间开销。利用CRFs置信度对分词结果进行后处理,进一步提高分词精确度。实验结果表明,特征选择算法及分词后处理方法可提高中文分词识别性能。