基于迁移学习和集成学习的医疗文本分类

作     者：郑承宇 王新 王婷 徐权峰 ZHENG Cheng-yu;WANG Xin;WANG Ting;XU Quan-feng

作者机构：云南民族大学数学与计算机科学学院云南昆明650500 

出 版 物：《计算机技术与发展》 (Computer Technology and Development)

年 卷 期：2022年第32卷第4期

页      面：28-33页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(61363022) 云南省教育厅科学研究基金项目(2021Y670) 

主　　题：迁移学习 集成学习 ALBERT Bi-LSTM-CNN 医疗文本 健康问句 

摘      要：针对医疗文本语义稀疏、维度过高的问题,提出一种基于迁移学习和集成学习的多标签医疗文本分类算法(Trans-LSTM-CNN-Multi,TLCM)。该算法采用ALBERT(A Lite BERT)模型内部的多层双向Transfomer结构对大型语料库展开训练,获取通用领域的文本动态字向量表示。然后,利用医学领域目标数据集通过迁移学习和模型微调技术实现ALBERT预训练语言模型在医学领域的文本语义增强。在此基础上,将上述通过迁移学习得到的文本语义增强模型输入到Bi-LSTM-CNN集成学习模块,进一步提取医学文本内容的重要信息特征。最后,基于二元交叉熵损失函数构造文本多标签分类器实现医疗文本分类。实验结果表明,通过迁移学习和集成学习的TLCM文本分类算法能有效提升医疗文本的分类性能,在中文健康问句数据集上整体F1值达到了91.8%。