检索结果-南通市图书馆

基于眼动特征和头部姿态的注视点估计算法研究

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于眼动特征和头部姿态的注视点估计算法研究

作者：刘子铭天津理工大学

学位级别：硕士

随着科学技术的不断发展,人们对人机交互领域的研究也越来越深入。基于人眼的非肢体接触的人机交互为残障人士提供了便捷,目前该研究在医疗、心理学、虚拟现实等领域都有被广泛的应用。目前的注视点估计方法大多会对人们的头部姿态进行... 详细信息

随着科学技术的不断发展,人们对人机交互领域的研究也越来越深入。基于人眼的非肢体接触的人机交互为残障人士提供了便捷,目前该研究在医疗、心理学、虚拟现实等领域都有被广泛的应用。目前的注视点估计方法大多会对人们的头部姿态进行限制,需要极为严格的实验环境,不能满足人们日常生活的使用,且多数使用高精度的硬件设备来保证注视点估计的精度,导致开销大、实际应用开展困难等问题。本文研究设计了一种在自然光照、头部姿态可动、无特定实验环境、无需高精度设备等多种无约束条件下的注视点估计方法。仅使用一个电脑自带的摄像头进行实验研究,并以此为基础进行眼部姿态特征的信息提取,同时进行头部姿态的估计,两者相结合以进行校正进而得到注视点映射在实验设备屏幕上的位置。论文的主要工作如下:1.眼动特征信息提取:对输入的图像进行人脸检测,对人眼部分区域进行分割。对提取到的眼部特征图像进行边缘检测,使用梯度强度检测和二次圆拟合对虹膜中心点进行精定位,使用Harris角点检测算法提取到眼部内角点,这两种眼部特征信息的提取很大程度的提升了实验的准确性及稳定性,保证了实验的实时性,提高了实验对自然光照的适应程度,使得算法能在自然光照下进行应用。2.头部姿态估计:实验对头部姿态特征进行提取,利用三维坐标点与二维特征点间的映射关系得到头部姿态的参数。利用欧拉角计算出头部绕X轴旋转的角度pitch、绕Y轴旋转的角度yaw以及绕Z轴旋转的角度roll,获得头部姿态,并对头部姿态的求解进行优化。3.注视点坐标定位:进行多项式注视点模型的选取,对模型进行校准以得到相关参数,结合虹膜中心点与内眼角点的坐标对注视点位置进行初定位。考虑到头部姿态对注视点估计的影响,提出了一种头部姿态补偿算法,结合头部在三个方向的偏转角度,对头部移动产生的误差进行补偿,实现了头部移动情况下用户使用的灵活性与实时性,对注视点位置进行更精准的定位。

关键词：注视点估计眼动特征信息自然光照头部姿态虹膜中心

融合Landmarks和个性化校准的在线学习者注视点估计模型

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

融合Landmarks和个性化校准的在线学习者注视点估计模型

2022中国自动化大会

作者：陈妍刘嘉欣魏刚林李政霖武亚强王茜莺蔡明祥田锋西安交通大学计算机科学与技术学院陕西省大数据知识工程重点实验室联想(北京)有限公司

在线学习者的注视点估计对于掌握学习者的学习状态有很好的辅助作用。实际在线学习场景在进行注视点估计时,受限于人眼构造差异与多变的环境因素,注视点估计的准确度与泛化性不高;并且由于同时在线用户数量庞大,为每位用户训练/微调整... 详细信息

在线学习者的注视点估计对于掌握学习者的学习状态有很好的辅助作用。实际在线学习场景在进行注视点估计时,受限于人眼构造差异与多变的环境因素,注视点估计的准确度与泛化性不高;并且由于同时在线用户数量庞大,为每位用户训练/微调整个网络模型带来了巨大资源需求和时间开销,为此本文提出了一种融合Landmarks模型和个性化校准策略的在线学习者注视点估计模型。首先,通过引入Landmarks Grid作为补充特征的方法,提出了一种通用的注视点检测模型,该模型在降低模型复杂程度的同时保证了模型的检测效果。其次,为解决在线学习者个性化差异问题,提出了一种基于偏差估计的注视点个性化校准模型,通过用户提供的少量校准样本,有效解决了注视点个性化的问题。在自构建的在线学习者注视点数据集和开源数据集上分别进行了实验,验证了本文提出的模型在注视点估计的准确度及个性化调整方面都有一定的优势。

关键词：在线教育学习状态注视点估计融合模型

来源： cnki会议评论

在线全文

cnki会议

学校读者我要写书评

暂无评论

基于标记点检测的视线跟踪注视点估计

计算机工程 2011年第6期37卷 289-290页

作者：龚秀锋李斌邓宏平张文聪中国科学技术大学电子科学与技术系合肥230027

传统的头戴式视线跟踪系统需要借助额外的头部位置跟踪器或其他辅助设备才能定位视线方向。针对该问题,提出一种基于标记点检测的注视点估计方法。该方法通过计算机视觉的方法检测标记点,建立场景图像与真实场景中计算机屏幕之间的空间... 详细信息

传统的头戴式视线跟踪系统需要借助额外的头部位置跟踪器或其他辅助设备才能定位视线方向。针对该问题,提出一种基于标记点检测的注视点估计方法。该方法通过计算机视觉的方法检测标记点,建立场景图像与真实场景中计算机屏幕之间的空间关系,将场景图像中的注视点坐标映射到计算机屏幕中。实验结果表明,该方法简单易行,可以较好地估计出用户在真实场景中的注视点坐标。

关键词：视线跟踪注视点估计头戴式视线跟踪系统标记点检测

基于眼动特征与头部姿态补偿的注视点估计算法研究

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于眼动特征与头部姿态补偿的注视点估计算法研究

作者：宋红伟天津理工大学

学位级别：硕士

随着科技水平的不断提升,人机交互的方式也在不断的发生着变化。眼睛作为人体获取外界信息的最主要器官,以眼睛的注视位置作为人机交互的方式的一种,具有更加直接,自然,人性化的特点。现阶段的注视点估计视线追踪的算法大多存在着些许... 详细信息

随着科技水平的不断提升,人机交互的方式也在不断的发生着变化。眼睛作为人体获取外界信息的最主要器官,以眼睛的注视位置作为人机交互的方式的一种,具有更加直接,自然,人性化的特点。现阶段的注视点估计视线追踪的算法大多存在着些许的不足和缺陷。例如:设备使用不方便价格昂贵。对用户的头部运动限制严格,使用红外辅助光源,系统搭建过程复杂等。本文研究并实现了一套在自然光下头部可动的注视点定位系统,提出了一种使用眼动特征并结合头部姿态变化的注视点估计算法。在只使用一个摄像头的作为信息采集设备基础上提取眼动特征信息,并同时估计头部姿态的偏移量,对头部运动情况下的注视点位置进行补偿得到最终的注视点的位置坐标,进行实时的注视点位置坐标估计。论文的主要的研究共工作如下所示:1.在综合分析了多种基于眼动特征的注视点估计算法之后,选择了以虹膜中心与人眼内眼角之间的眼动向量以及眼部的网格特征作为描述眼球运动的眼动特征。虹膜中心位置坐标的提取采用梯度分析与星射线相结合的方式提取。这两种特征可以在X轴与Y轴上形成互补提升估计精度。可以提高对光照的变化的适应程度,既提升了算法的鲁棒性,又可以确保算法对于运行速度的要求。2.提取了脸部特征的关键点位置坐标,使用POSIT算法,计算出头部现在的位置与初始位置之间的旋转矩阵与平移矩阵,并加入了帧间差分法来减少了不必要的计算。计算出了使用者的头部在pitch与yaw方向上的偏转角度,对估计结果做出比较评估。3.使用随机森林对眼部的眼动特征与屏幕的像素坐标点之间建立映射关系,根据眼动向量以及眼部的网格特征在X轴和Y轴上的重要性不同,分别对其设置了不同的权重,获得训练模型,使用训练模型可以计算出在头部静止状况下注视点的位置坐标,提升了估计的精度。之后使用得到的头部运动的旋转矩阵与平移矩阵,对由头动造成的误差进行补偿得到最终的注视点位置坐标,允许头部在一定范围内运动,提升了用户使用的便捷性与灵活性。在头部可运动的情况下估计精度在3°左右。头部的运动范围在X轴方向上25°,Y轴方向上15°左右,Z轴上10cm左右。

关键词：注视点估计眼部特征提取虹膜中心定位视线追踪人脸检测

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向人机交互的注视点估计技术研究

面向人机交互的注视点估计技术研究

作者：金宇南京大学

学位级别：硕士

人机交互是计算机系统的重要组成部分。从计算机诞生以来,人机交互的发展经历了命令交互、图形用户界面交互和自然人机交互这三个阶段。自然人机交互是指交互方式自然直观,用户使用日常技能就能进行的人机交互。注视点人机交互是自然人... 详细信息

人机交互是计算机系统的重要组成部分。从计算机诞生以来,人机交互的发展经历了命令交互、图形用户界面交互和自然人机交互这三个阶段。自然人机交互是指交互方式自然直观,用户使用日常技能就能进行的人机交互。注视点人机交互是自然人机交互的一种,具有广泛的应用前景,近年来逐渐成为研究的热点。基于注视点估计的人机交互技术(简称“注视点人机交互”)是指用户使用眼睛的注视点和计算机交互的方式,也是一种自然人机交互技术,该技术的核心是注视点估计技术。在图形用户界面上用注视点交互,比用鼠标交互更自然、更快速,且不需要动手操作,因此注视点人机交互技术具有广泛的应用前景。然而,目前市场上实现注视点人机交互的产品的价格都非常昂贵,很难成为民用产品。这些产品价格昂贵的原因是目前达到人机交互精度要求的注视点估计技术都需要使用高成本的设备。因此,研究一种基于廉价设备的注视点估计技术具有重要意义。为了推进注视点人机交互技术的普及,本文研究了一种面向人机交互的基于廉价设备的注视点估计技术,具体的研究工作包括：1.提出了一种基于映射和虹膜中心修正的注视点估计算法(MIGE)。该算法先通过校正过程求出从眼睛图像中虹膜中心到场景图像中注视点位置的映射,然后利用该映射估计注视点。求取虹膜中心是算法的关键步骤,其过程是先用本文提出的“带位置调节的固定形状区域生长算法”(RGFSPA)求出眼睛图像中的虹膜区域,然后在虹膜区域的边缘拟合出一个椭圆,最后用本文中建立的眼球几何模型对椭圆中心进行修正以得到虹膜中心。实验表明本文算法较同类算法在准确性上有明显提升。2.提出了一种基于局部最值求取的眨眼检测算法(LEBD)和一种特征眨眼分类算法,并基于这两个算法实现了3种注视点人机交互动作。为了自然高效的交互,本文使用眨眼动作配合注视点位置实现交互动作。为检测眨眼动作,本文提出了一种基于局部最值求取的眨眼检测算法,该算法检测眨眼的准确率高于其他算法,且具有实时性。在该算法基础上,本文还提出了特征眨眼动作的分类算法,实验表明用户在经过短暂的训练之后可以掌握双眨眼和长睁眼两种特征眨眼动作,并取得了很高的识别率。在眨眼检测算法和特征眨眼分类算法的基础上,我们实现了三种交互动作,这些交互动作比其他系统的更高效,且交互中完全没有手部动作。3.实现了一个基于注视点估计的人机交互原型系统。为了验证本文中提出的注视点估计算法、基于局部最值求取的眨眼检测算法、特征眨眼分类算法的准确性,本文结合以上几种算法实现了一种基于注视点估计的人机交互原型系统。该系统可以在只使用廉价设备和可见光时使用,并且具有友好的交互体验。

关键词：人机交互注视点估计眨眼检测特征眨眼分类

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

视线追踪系统中注视点估计方法研究

自动化仪表 2016年第5期37卷 32-35页

作者：金纯李娅萍重庆邮电大学通信与信息工程学院无线传输重点实验室重庆400065 重庆金瓯科技发展有限责任公司重庆400041

在回顾视线追踪技术发展历程的基础上,对该技术的研究方向和几种主要的视线跟踪方法进行了简单阐述。重点介绍了基于瞳孔-角膜反射法的视线追踪技术的原理及其硬件组成,尤其对现有视线跟踪系统中比较成熟的注视点估计算法进行了归纳总... 详细信息

在回顾视线追踪技术发展历程的基础上,对该技术的研究方向和几种主要的视线跟踪方法进行了简单阐述。重点介绍了基于瞳孔-角膜反射法的视线追踪技术的原理及其硬件组成,尤其对现有视线跟踪系统中比较成熟的注视点估计算法进行了归纳总结和原理剖析。对二维和三维的注视点估计算法的精度和用户自由度进行了进一步的横向比较。最后指出了视线追踪技术存在的缺陷,并对其在人机交互、智能机器、虚拟现实等领域的应用前景进行了展望。

关键词：视线跟踪瞳孔-角膜反射注视点估计人机交互虚拟现实误差补偿校准神经网络

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

近眼眼动跟踪系统设计与实现

近眼眼动跟踪系统设计与实现

作者：李慧骞电子科技大学

学位级别：硕士

近年来,随着眼动跟踪技术的不断发展,在心理学、医疗、辅助驾驶、军事航空以及人因工程等领域得到了越来越广泛的应用。本论文研究工作为国家自然科学基金面上项目“虚拟环境下情绪生理感知HMD交互界面关键技术及理论研究”的一部分,针... 详细信息

近年来,随着眼动跟踪技术的不断发展,在心理学、医疗、辅助驾驶、军事航空以及人因工程等领域得到了越来越广泛的应用。本论文研究工作为国家自然科学基金面上项目“虚拟环境下情绪生理感知HMD交互界面关键技术及理论研究”的一部分,针对“基于眼动信号和多模态生理信号的情绪识别”的任务,设计一套能够嵌入到虚拟现实头盔上的近眼眼动跟踪系统,用来提供与情绪识别相关的眼动数据,例如瞳孔直径、注视点等。本论文主要研究内容如下:1.从项目提出的任务出发,分析了对近眼眼动跟踪系统提出的需求,根据眼动跟踪系统的一般构成设计了系统的总体方案。在此基础上,结合虚拟现实头盔的结构,采用8个光源、图像采集模块位于眼睛侧前方的方案,通过结构设计和电路设计,完成了近眼眼动跟踪系统平台的搭建。2.利用“暗瞳”现象进行瞳孔检测,由于嵌入虚拟现实头盔的近眼眼动跟踪模块所拍摄图像的特点,瞳孔检测方法容易受到较暗背景和睫毛的干扰,导致瞳孔检测不准确。针对此问题,分析其原因和干扰的特点,采用距离阈值判定和两次椭圆拟合的方法,滤除了较暗背景和睫毛干扰对瞳孔检测造成的影响,提高了系统的可靠性和准确性。3.采用基于二维回归的注视点估计方法,通过使用前的校准程序求得映射模型的参数,实现对注视点的估计,并设计了图形化软件界面实现显示和用户交互的功能。最后,根据对系统提出的需求,对本论文实现的近眼眼动跟踪系统的功能、可靠性、准确度和用户体验进行测试与验证。测试表明眼动跟踪系统功能完善;在不同场景下都能够准确检测瞳孔,可靠性高;注视点估计准确度为0.82度,满足需求分析中提出的准确度要求;部署简单且可扩展性强;用户体验良好。

关键词：眼动跟踪瞳孔检测注视点估计

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

无约束环境下的注视跟踪方法研究

无约束环境下的注视跟踪方法研究

作者：马春雨哈尔滨理工大学

学位级别：硕士

视线跟踪是自动精准估测人类视线方向或注视点的技术,是人机交互感知、虚拟现实、军事、智能驾驶等领域的重要研究分支。目前视线跟踪技术限于红外相机及深度相机等昂贵复杂的硬件设备,致使应用场景受限和用户体验感不佳。由于个体眼部... 详细信息

视线跟踪是自动精准估测人类视线方向或注视点的技术,是人机交互感知、虚拟现实、军事、智能驾驶等领域的重要研究分支。目前视线跟踪技术限于红外相机及深度相机等昂贵复杂的硬件设备,致使应用场景受限和用户体验感不佳。由于个体眼部外观的差异性、应用场景光照环境的多样性、头部姿势和注视方向的复杂性,在无约束环境下估测视线方向或注视点的研究仍需要钩深索隐。随着深度学习在复杂环境下的视觉检测任务中取得优异性能,利用深度学习估测视线成为主流视线跟踪方法。基于上述问题,本文在使用单目网络摄像头的情况下,提出了在无约束环境下基于外观纹理的视线估计和注视点估测方法。主要研究内容如下:(1)头部翻滚角估算。人脸倾斜的输入图像不利于视线估计算法的训练,亦会影响算法的估计效果。而图像中人脸倾斜是由头部翻滚角造成的,利用Retina Face算法检测的人脸关键点实现对低分辨率图像中头部翻滚姿势的单独检测,消除了头部翻滚角对视线估计算法性能的影响,简化了视线估计任务。(2)二维欧拉角视线估计算法。基于人眼只有俯仰和偏航两种动作姿势及对头部翻滚角单独估算的设计,三维视线方向可通过二维欧拉角(俯仰角、偏航角)表示。本研究使用两个全连接层分别回归两个注视角度,以提高每个角度的预测精度。使用两个独立的损失函数分别训练俯仰和偏航两个注视欧拉角,每个损失函数都是交叉熵和均方值的加权组合,以精确的微调网络并提升其泛化能力。算法选用Res Net50作为基础网络,并嵌入SE-Net注意力机制,以增强系统的稳健性,并对算法的估测精度有所提升。该算法最终取得平均16fps的估计速率和平均3.8°的测试角度偏差。(3)二输入注视点估测算法。本文在视线估计网络的基础上增加脸部网栅分支网络,使用全连接层整合人脸图像和脸部网栅的特征信息,后用两个全链接层独立回归屏幕注视点的横纵坐标。该算法简化了多输入注视点估计算法的网络结构,最终取得平均4.3cm的测试偏差和平均14fps的估测速率。

关键词：视线跟踪注视点估计深度学习人机交互

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

头部运动变化中的视线方向估计方法研究

头部运动变化中的视线方向估计方法研究

作者：詹祥艺西安工业大学

学位级别：硕士

视线估计技术是利用现有的不同检测方法获取用户当前注视方向的技术。视线估计在生活中发挥着越来越重要的作用。在注视的过程中,伴随着头部的运动行为,如何提高头部运动变化时中的视线估计精确度,是目前视线估计领域的一个挑战。本文... 详细信息

视线估计技术是利用现有的不同检测方法获取用户当前注视方向的技术。视线估计在生活中发挥着越来越重要的作用。在注视的过程中,伴随着头部的运动行为,如何提高头部运动变化时中的视线估计精确度,是目前视线估计领域的一个挑战。本文提出使用眼动特征并结合头部运动变化特征的视线估计模型。论文主要研究了如下内容:1)眼动特征提取本文眼动特征主要包括瞳孔中心、眼角点以及二者构成的眼动向量。首先应用Haar特征和Adaboost算法进行人脸检测;然后进行人脸特征点检测,利用ASM算法定位并获取眼部图像;最后,利用双重Haar-like特征提取和边缘过滤、形态学像素模型等技术精确定位瞳孔中心位置。2)头部运动变化特征提取本文中的头部运动特征提取数据为头部旋转包括横滚角、俯仰角、偏航角以及沿X、Y、Z方向上的平移,共六个自由度数据构成。采用EPn P算法结合人脸特征点,通过三维变换将特征映射到二维空间中,改变模型的参数,计算出当前头部空间位置的姿态数据。3)头眼运动数据融合视线估计模型在本实验室研究环境基础上,为评估所提出的视线估计模型的有效性,设计开展了静态和动态实验,其中动态实验包含单一头部旋转运动以及三种旋转运动的混合头部运动视线数据采集实验,通过相机采集图像数据以及记录图像对应的目标点坐标,用于视线估计。本文探讨了眼球运动和头部运动之间的协调关系,并将头部运动变化特征和眼球运动特征相结合。首先通过多项式映射模型计算初始视线落点,然后通过学习回归头部运动变化对视线落点的偏差影响,最后得到补偿后的视线落点。为探讨头部运动变化对视线估计的影响,分别对三种头部旋转运动方式下的视线估计进行分析,最后,分析复合头部运动变化中的视线估计。本文采用头部运动变化状态下的视线估计补偿模型,得到的视线估计平均误差约为2.32°。

关键词：注视点估计眼动特征头部运动头部姿态估计数据融合