基于近眼红外视频图像的瞳孔中心定位及跟踪研究

作     者：李献 

作者单位：中北大学 

学位级别：硕士

导师姓名：杜文华

授予年度：2023年

学科分类：08[工学] 1010[医学-医学技术（可授医学、理学学位）] 080203[工学-机械设计及理论] 0802[工学-机械工程] 10[医学] 

主      题：机器视觉 图像清晰度评价 瞳孔中心定位 瞳孔跟踪 YOLOv5n KCF 

摘      要：瞳孔中心定位及跟踪技术一直是计算机视觉和模式识别领域中重要的研究课题之一,瞳孔中心定位及跟踪技术的应用非常广泛,涉及医学检测、人机交互、心理学、虚拟现实等多个学科领域,研究如何快速、稳定、准确地定位瞳孔中心是非常有意义的。本文针对基于近眼红外视频图像的瞳孔中心定位及跟踪进行研究,主要研究内容包括以下几个方面:(1)对瞳孔图像进行分析,根据瞳孔的“暗瞳特性来为瞳孔图像采集硬件系统选择合适的相机、镜头、光源。分析了3?3(默认大小)、5?5、7?7、9?9四种不同模板内核的Tenengrad图像清晰度评价算法,实验结果表明,随着模板内核的增大,Tenengrad算法对噪声的敏感性会降低,但是算法耗时会增多,综合考虑算法的抗噪性能和实时性,在采集瞳孔图像时应用5?5模板内核的Tenengrad算法来进行对焦,从而保证所采集瞳孔图像的清晰度。(2)针对睫毛遮挡、眼睑遮挡、杂光干扰、角膜反射引起的白斑干扰等影响瞳孔中心精确定位的因素,提出了一种由“粗到“精的瞳孔中心定位方法。采用YOLOv5n模型粗定位瞳孔区域,同时为了提高YOLOv5n模型的均值平均精度,将回归损失函数CIOU替换为EIOU,并应用k-means++算法来计算得到先验锚框,优化后的模型在瞳孔数据集上的m AP@0.9达到了97.61%,相较于优化前提高了1.47%;为了减少白斑、眼睑、睫毛的干扰,提出了一种基于圆环区域的瞳孔图像动态裁剪方法,只留下瞳孔边缘部分图像;使用Canny算子对瞳孔亚像素边缘进行提取,针对不同光照强度下瞳孔与背景连接处灰度梯度的不同和Canny边缘检测算子依赖于人工阈值的选取,提出了一种基于灰度直方图与Otsu的自适应Canny梯度阈值选取算法,同时为了提高运行效率,在阈值选取前对图像进行两次下采样处理;最后提出了一种基于Tukey权重和L-BFGS-B的椭圆拟合算法来对瞳孔边缘进行拟合,从而实现瞳孔中心的精确定位。在采集的瞳孔数据集上进行实验,所提瞳孔中心定位方法的定位误差均在5个像素以内,平均定位误差为0.696个像素,满足瞳孔中心定位误差要求,平均定位时间为31.3ms,实验结果表明,该瞳孔中心定位方法具有较好的鲁棒性、准确性和实时性。(3)针对传统KCF跟踪算法应用于瞳孔跟踪时具有尺度固定、模板更新过于频繁而导致模板精度下降的缺点,对传统KCF算法进行改进。采用FHOG特征描述子对瞳孔目标进行描述;针对在跟踪过程中瞳孔目标的尺度变化,提出了一种基于改进种子区域生长算法的瞳孔目标尺度估计方法,改进的种子区域生长算法相比于原算法,速度得到很大提升,且目标区域越大,改进算法的优势越明显;针对模板更新过于频繁而导致模板退化的情况,提出了一种基于APCE的模板更新策略,有效保证了模板的准确性。实验结果表明,改进的KCF算法相比于传统KCF算法对瞳孔的跟踪效果更好、跟踪精度更高。(4)针对基于近眼红外视频图像的瞳孔中心定位及跟踪,提出了一种基于YOLOv5n和KCF的瞳孔中心定位及跟踪方法,并进行了实验验证,实验结果表明,该方法具有较好的鲁棒性、准确性和跟踪实时性。