融合预训练和双级元蒸馏的医学短文本分类方法
作者机构:江西理工大学信息工程学院 江西现代职业技术学院
出 版 物:《计算机工程与应用》 (Computer Engineering and Applications)
年 卷 期:2024年
学科分类:081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 10[医学] 0812[工学-计算机科学与技术(可授工学、理学学位)]
摘 要:为解决医学文本使用预训练模型处理速度慢、对硬件的算力要求高、难以分辨少样本类别,使用传统小模型由于自身限制难以做到足够的准确度的问题,提出了一种融合预训练和元蒸馏的文本分类模型PTMD(Fusion of Pre Training and Meta Distillation models)。PTMD针对医学文本的多标签问题,通过对比训练对RoBERTa预训练方法进行微调,再由双向内置注意力简单循环单元充分获取语义信息。最后在传统蒸馏模型的基础上融合元学习和助教的思想,通过教学实验和双级模型等方法,提高模型的教学水平,最终在减少训练成本的基础上得到一个高性能医学文本分类模型。实验结果表明,教师模型在CHIP2019评测三数据集上的F1值达到了85.47%,同时学生模型在损失1.45%f1值的情况下,将模型规模缩小到教师模型的近1/6,效果高于大多数传统预训练模型和知识蒸馏模型,证明了该模型具有良好的实用价值。