基于多任务辅助推理的近眼视线估计方法

作     者：王小东 谢良 闫慧炯 闫野 印二威 李卫国 WANG Xiaodong;XIE Liang;YAN Huijiong;YAN Ye;YIN Erwei;LI Weiguo

作者机构：北京航空航天大学软件学院北京100083 天津(滨海)人工智能创新中心天津300450 军事科学院国防科技创新研究院北京100071 

出 版 物：《北京航空航天大学学报》 (Journal of Beijing University of Aeronautics and Astronautics)

年 卷 期：2022年第48卷第6期

页      面：1030-1037页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(61901505) 

主　　题：视线估计 增强现实(AR) 人机交互 多任务学习 辅助推理 

摘      要：眼动交互是头戴式虚拟现实(VR)/增强现实(AR)设备的关键操控方式,如何进行高精度、高鲁棒性的非标定视线估计是当前VR/AR眼动交互的核心问题之一,高效、鲁棒的非标定视线估计需要大量的眼图训练数据和高效的算法结构做支撑。在现有基于深度学习的近眼视线估计方法的基础上,通过添加多任务辅助推理模块,增加网络结构的多阶段输出,进行多任务联合训练,在不增加视线估计测试耗时的前提下,有效提升视线估计精度。在模型训练时,从视线估计网络结构的多个中间阶段引出多个眼部特征的辅助推理并行网络头,包括眼动图像的语义分割、虹膜边界框及眼部轮廓信息,为原始视线估计网络提供多阶段中继监控,在不增加训练数据的基础上,有效提升视线估计网络的测试精度。在国际公开数据集Acomo-14与OpenEDS2020上的验证实验表明,与无辅助推理的网络相比,所提方法精度分别得到了21.74%与18.91%的效果提升,平均角度误差分别减少到1.38°与2.01°。