融合预训练和双级元蒸馏的医学短文本分类方法

作     者：廖列法 姜炫至 

作者机构：江西理工大学信息工程学院 江西现代职业技术学院 

出 版 物：《计算机工程与应用》 (Computer Engineering and Applications)

年 卷 期：2024年

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 10[医学] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主　　题：文本分类 预训练模型 知识蒸馏 

摘      要：为解决医学文本使用预训练模型处理速度慢、对硬件的算力要求高、难以分辨少样本类别，使用传统小模型由于自身限制难以做到足够的准确度的问题，提出了一种融合预训练和元蒸馏的文本分类模型PTMD(Fusion of Pre Training and Meta Distillation models)。PTMD针对医学文本的多标签问题，通过对比训练对RoBERTa预训练方法进行微调，再由双向内置注意力简单循环单元充分获取语义信息。最后在传统蒸馏模型的基础上融合元学习和助教的思想，通过教学实验和双级模型等方法，提高模型的教学水平，最终在减少训练成本的基础上得到一个高性能医学文本分类模型。实验结果表明，教师模型在CHIP2019评测三数据集上的F1值达到了85.47%，同时学生模型在损失1.45%f1值的情况下，将模型规模缩小到教师模型的近1/6，效果高于大多数传统预训练模型和知识蒸馏模型，证明了该模型具有良好的实用价值。