BERT-TECNN模型的文本分类方法研究

作     者：李铁飞 生龙 吴迪 LI Tiefei;SHENG Long;WU Di

作者机构：河北工程大学信息与电气工程学院河北邯郸056107 河北工程大学河北省安防信息感知与处理重点实验室河北邯郸056107 

出 版 物：《计算机工程与应用》 (Computer Engineering and Applications)

年 卷 期：2021年第57卷第18期

页      面：186-193页

学科分类：08[工学] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(61802107) 河北省高等学校科学技术研究项目(ZD2020171) 河北省自然科学基金(F2020402003) 

主　　题：bert transformer encoder CNN 文本分类 fine-tuning self-attention 过拟合 

摘      要：由于Bert-base,Chinese预训练模型参数巨大,在做分类任务微调时内部参数变化较小,易产生过拟合现象,泛化能力弱,且该模型是以字为单位进行的预训练,包含词信息量较少。针对这些问题,提出了BERT-TECNN模型,模型使用Bert-base,Chinese模型作为动态字向量模型,输出包含深度特征信息的字向量,Transformerencoder层再次对数据进行多头自注意力计算,提取特征信息,以提高模型的泛化能力,CNN层利用不同大小卷积核,捕捉每条数据中不同长度词的信息,最后应用softmax进行分类。该模型与Word2Vec+CNN、Word2Vec+BiLSTM、Elmo+CNN、BERT+CNN、BERT+BiLSTM、BERT+Transformer等深度学习文本分类模型在三种数据集上进行对比实验,得到的准确率、精确率、召回率、F1测度值均为最高。实验表明该模型有效地提取了文本中字词的特征信息,优化了过拟合问题,提高了泛化能力。