基于BERT-BiLSTM模型的短文本自动评分系统

作     者：夏林中 叶剑锋 罗德安 管明祥 刘俊 曹雪梅 XIA Linzhong;YE Jianfeng;LUO De’an;GUAN Mingxiang;LIU Jun;CAO Xuemei

作者机构：深圳信息职业技术学院人工智能技术应用工程实验室广东深圳518172 

出 版 物：《深圳大学学报（理工版）》 (Journal of Shenzhen University(Science and Engineering))

年 卷 期：2022年第39卷第3期

页      面：349-354页

核心收录：

学科分类：12[管理学] 0502[文学-外国语言文学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 05[文学] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 050211[文学-外国语言学及应用语言学] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：广东省教育厅高校科研平台资助项目(2020KTSCX301) 深圳市基础研究计划资助项目(JCYJ20190808093001772) 国家高层次人才特殊支持计划领军人才(教学名师)资助项目(组厅字6号) 

主　　题：信号与信息处理 自然语言处理 BERT语言模型 短文本自动评分 长短时记忆网络 二次加权kappa系数 

摘      要：针对短文本自动评分中存在的特征稀疏、一词多义及上下文关联信息少等问题,提出一种基于BERT-BiLSTM(bidirectional encoder representations from transformers-bidirectional long short-term memory)的短文本自动评分模型.使用BERT(bidirectional encoder representations from transformers)语言模型预训练大规模语料库习得通用语言的语义特征,通过预训练好的BERT语言模型预微调下游具体任务的短文本数据集习得短文本的语义特征和关键词特定含义,再通过BiLSTM(bidirectional long short-term memory)捕获深层次上下文关联信息,最后将获得的特征向量输入Softmax回归模型进行自动评分.实验结果表明,对比CNN(convolutional neural networks)、CharCNN(character-level CNN)、LSTM(long short-term memory)和BERT等基准模型,基于BERT-BiLSTM的短文本自动评分模型所获的二次加权kappa系数平均值最优.