基于BiLSTM-CRF的中文分词和词性标注联合方法

作     者：袁里驰 YUAN Lichi

作者机构：江西财经大学软件与物联网工程学院江西南昌330013 

出 版 物：《中南大学学报（自然科学版）》 (Journal of Central South University:Science and Technology)

年 卷 期：2023年第54卷第8期

页      面：3145-3153页

核心收录：

学科分类：0831[工学-生物医学工程（可授工学、理学、医学学位）] 1002[医学-临床医学] 08[工学] 081203[工学-计算机应用技术] 0805[工学-材料科学与工程（可授工学、理学学位）] 0714[理学-统计学（可授理学、经济学学位）] 0701[理学-数学] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(61962025 61562034)。 

主　　题：双向长短时记忆模型 中文分词 词性标注 马尔可夫族模型 树形概率 

摘      要：针对中文分词、词性标注等序列标注任务,提出结合双向长短时记忆模型、条件随机场模型和马尔可夫族模型或树形概率构建的中文分词和词性标注联合方法。隐马尔可夫词性标注方法忽略了词本身到词性的发射概率。在基于马尔可夫族模型或树形概率的词性标注中,当前词的词性不但与前面词的词性有关,而且与当前词本身有关。使用联合方法有助于使用词性标注信息实现分词,有机地将两者结合起来有利于消除歧义和提高分词、词性标注任务的准确率。实验结果表明:本文使用的中文分词和词性标注联合方法相比于通常的双向长短时记忆模型−条件随机场分词模型能够大幅度提高分词的准确率,并且相比于传统的隐马尔可夫词性标注方法能够大幅度提高词性标注的准确率。