HSKDLR:同类自知识蒸馏的轻量化唇语识别方法

作     者：马金林 刘宇灏 马自萍 巩元文 朱艳彬 MA Jinlin;LIU Yuhao;MA Ziping;GONG Yuanwen;ZHU Yanbin

作者机构：北方民族大学计算机科学与工程学院银川750021 图像图形智能信息处理国家民委重点实验室银川750021 北方民族大学数学与信息科学学院银川750021 

出 版 物：《计算机科学与探索》 (Journal of Frontiers of Computer Science and Technology)

年 卷 期：2023年第17卷第11期

页      面：2689-2702页

核心收录：

学科分类：08[工学] 081203[工学-计算机应用技术] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：宁夏自然科学基金(2022AAC03268,2020AAC3215) 北方民族大学中央高校基本科研业务费专项(2021KJCX09,FWNX21) 北方民族大学“计算机视觉与虚拟现实”创新团队项目。 

主　　题：唇语识别 轻量化 知识蒸馏 自知识 Ghost Bottleneck 

摘      要：针对唇语识别模型的识别率较低和计算量较大的问题,提出一种同类自知识蒸馏的轻量化唇语识别模型(HSKDLR)。首先,提出关注唇部图像空间特征的S-SE注意力模块,用其构建提取唇部图像通道特征和空间特征的i-Ghost Bottleneck模块,以提升唇语识别模型的准确率;其次,基于i-Ghost Bottleneck构建唇语识别模型,该模型通过优化瓶颈结构的组合方式降低模型计算量;然后,为提升模型准确率,减少模型运行时间,提出同类自知识蒸馏(HSKD)的模型训练方法;最后,使用同类自知识蒸馏方法训练唇语识别模型,并检验其识别性能。实验结果表明:与其他方法相比,HSKDLR具有更高的识别准确率和更低的计算量,在LRW数据集上的准确率达87.3%,浮点数运算量低至2.564 GFLOPs,参数量低至3.8723×107;同类自知识蒸馏可被应用于大多数唇语识别模型,帮助其有效提升识别准确率,减少训练时间。