基于修正SVM-KNN组合算法的汉语专有名词自动抽取

作     者：李丽双 党延忠 李丹 Li Lishuang;Dang Yanzhong;Li Dan

作者机构：大连理工大学计算机学院大连116023 大连理工大学系统工程研究所大连116023 

出 版 物：《情报学报》 (Journal of the China Society for Scientific and Technical Information)

年 卷 期：2011年第30卷第6期

页      面：610-617页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家高技术研究发展计划(863计划)资助(No.2008AA04Z107) 

主　　题：KNN SVM 专有名词抽取 不平衡数据 

摘      要：专有名词的自动抽取是文本挖掘、信息检索和机器翻译等领域的关键技术。本文研究了组合SVM和KNN两种分类器进行汉语专有名词自动抽取的方法。对样本在空间的不同分布使用不同的分类方法,当测试样本与SVM最优超平面的距离大于给定的阈值时使用SVM分类,否则使用KNN;在实际训练语料中,常常是负类样本数远多于正类样本数,而传统KNN方法对不平衡训练集存在敏感性,所以提出了用归一化的思想对传统的KNN方法进行修正。实验表明,用SVM与修正的KNN组合算法进行汉语专有名词抽取比单一的SVM方法以及原始的SVM-KNN方法更具优越性,而且这种方法可以推广到其他非平衡分布样本的分类问题。