基于LDA和BiGRU的文本分类

作     者：冼广铭 王鲁栋 曾碧卿 梅灏洋 陶睿 XIAN Guang-ming;WANG Lu-dong;ZENG Bi-qing;MEI Hao-yang;TAO Rui

作者机构：华南师范大学软件学院广东佛山528225 

出 版 物：《计算机技术与发展》 (Computer Technology and Development)

年 卷 期：2022年第32卷第4期

页      面：15-20页

学科分类：08[工学] 081104[工学-模式识别与智能系统] 081203[工学-计算机应用技术] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(61876067) 广东省普通高校人工智能重点领域专项(2019KZDZX1033)。 

主　　题：LDA主题模型 BiGRU Word2vec 深度学习 文本分类 

摘      要：文本分类是自然语言处理的基础任务,文本中的特征稀疏性和提取特征所用的神经网络影响后续的分类效果。针对文本中的特征信息不足以及传统模型上下文依赖关系方面不足的问题,提出经过TF-IDF加权的词向量和LDA主题模型相融合,利用双向门控循环神经网络层(BiGRU)充分提取文本深度信息特征的分类方法。该方法主要使用的数据集是天池比赛新闻文本分类数据集,首先用Word2vec和LDA模型分别在语料库中训练词向量,Word2vec经过TF-IDF进行加权所得的词向量再与LDA训练的经过最大主题概率扩展的词向量进行简单拼接,拼接后得到文本矩阵,将文本矩阵输入到BiGRU神经网络中,分别从前后两个反方向提取文本深层次信息的特征向量,最后使用softmax函数进行多分类,根据输出的概率判断所属的类别。与现有的常用文本分类模型相比,准确率、F1值等评价指标都有了较高的提升。