基于轻量化网络和注意力机制的智能阅卷算法

作     者：梁聪聪 

作者单位：南京邮电大学 

学位级别：硕士

导师姓名：刘天亮

授予年度：2022年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：智能阅卷 轻量化网络 注意力机制 目标检测 文本识别 

摘      要：在目前教育产业背景下,智能阅卷相较于手工阅卷在时间和成本上具备巨大优势,而基于光标阅读机的智能阅卷算法在使用成本和应用场景上存在诸多限制。深度神经网络凭借着强大的特征抽取能力,逐步在智能阅卷领域占据一席之地。本文以深度神经网络为基础,针对算术试卷设计了一个端到端的智能阅卷算法,能够以较快的速度完成算数试卷的智能批阅,其研究内容主要如下:（1）为了降低网络参数和解决特征融合的冲突问题,提出基于深度卷积和坐标注意力的阅卷检测算法。算法选择YOLOv5网络作为检测的基础框架,首先使用Mobile Next模型作为特征提取的主干网络,利用深度卷积结构提高模型的推理速度;接着通过在特征融合前期引入坐标注意力机制,让网络自适应学习每个尺度的关键特征信息,缓解不同尺度特征融合造成的信息冲突;最终利用多尺度特征和NMS技术联合预测。实验表明,该算法能够在降低模型参数的同时,有效提升阅卷模型的检测精度。（2）针对算数试题的字符倾斜和粘连问题,提出基于空间变换和增强注意力的阅卷识别算法。算法选用CRNN网络作为识别的基础框架,首先通过在模型初始引入STN空间变换,利用仿射变换技术对试题图像的位置进行修正,加速识别模型的收敛;然后在特征提取网络中添加增强注意力机制,使得网络侧重关注粘连的字符区域;最终利用CTC解码机制得到题目的语义信息。结果表明,该算法以引入少量参数量的代价,显著提升阅卷模型的识别精度。（3）考虑到模型部署的局限性,提出了应用于移动端的轻量级阅卷算法。算法首先选用侧重于移动端任务的ESNet网络用于特征提取,提升模型在移动端的推理速度;然后对于特征融合网络中的CSP模块替换成更为轻量的DWBlock模块,多尺度预测也由三个尺度降低为两个尺度;最后调节深度和宽度乘子压缩网络的整体参数,利用ncnn框架实现移动端的部署。经过测试,该算法以损失少量精度的代价,实现阅卷模型在移动端的实时推理。