唇语识别的深度学习方法综述

作     者：马金林 朱艳彬 马自萍 巩元文 陈德光 刘宇灏 MA Jinlin;ZHU Yanbin;MA Ziping;GONG Yuanwen;CHEN Deguang;LIU Yuhao

作者机构：北方民族大学计算机科学与工程学院银川750021 图像图形智能信息处理国家民委重点实验室银川750021 北方民族大学数学与信息科学学院银川750021 

出 版 物：《计算机工程与应用》 (Computer Engineering and Applications)

年 卷 期：2021年第57卷第24期

页      面：61-73页

学科分类：08[工学] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：北方民族大学中央高校基本科研业务费专项(2021KJCX09,FWNX21,ZDZX201801) 宁夏自然科学基金(2020AAC03215) 北方民族大学“计算机视觉与虚拟现实”创新团队项目 国家自然科学基金(61462002)。 

主　　题：唇语识别 深度学习 卷积神经网络 注意力机制 

摘      要：随着深度学习的不断发展,唇语识别领域的研究取得了重大进展,涌现了许多唇语识别的深度学习算法。依据识别对象的连续性,将唇语识别分为孤立唇语识别和连续唇语识别,并对各识别任务的深度学习方法进行了详细和深入的分析总结。从孤立唇语识别的深度学习方法和连续唇语识别的深度方法两个方面介绍了主流唇语识别方法,并对各方法的优缺点和性能进行比较;对不同数据集下代表性方法的特点和性能进行比较,对两类方法的优缺点和适用范围进行阐述;讨论了唇语识别方法存在的问题和挑战,并对唇语识别方法的研究趋势进行了展望。