检索结果-南通市图书馆

基于眼动特征与头部姿态补偿的注视点估计算法研究

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于眼动特征与头部姿态补偿的注视点估计算法研究

作者：宋红伟天津理工大学

学位级别：硕士

随着科技水平的不断提升,人机交互的方式也在不断的发生着变化。眼睛作为人体获取外界信息的最主要器官,以眼睛的注视位置作为人机交互的方式的一种,具有更加直接,自然,人性化的特点。现阶段的注视点估计视线追踪的算法大多存在着些许... 详细信息

随着科技水平的不断提升,人机交互的方式也在不断的发生着变化。眼睛作为人体获取外界信息的最主要器官,以眼睛的注视位置作为人机交互的方式的一种,具有更加直接,自然,人性化的特点。现阶段的注视点估计视线追踪的算法大多存在着些许的不足和缺陷。例如:设备使用不方便价格昂贵。对用户的头部运动限制严格,使用红外辅助光源,系统搭建过程复杂等。本文研究并实现了一套在自然光下头部可动的注视点定位系统,提出了一种使用眼动特征并结合头部姿态变化的注视点估计算法。在只使用一个摄像头的作为信息采集设备基础上提取眼动特征信息,并同时估计头部姿态的偏移量,对头部运动情况下的注视点位置进行补偿得到最终的注视点的位置坐标,进行实时的注视点位置坐标估计。论文的主要的研究共工作如下所示:1.在综合分析了多种基于眼动特征的注视点估计算法之后,选择了以虹膜中心与人眼内眼角之间的眼动向量以及眼部的网格特征作为描述眼球运动的眼动特征。虹膜中心位置坐标的提取采用梯度分析与星射线相结合的方式提取。这两种特征可以在X轴与Y轴上形成互补提升估计精度。可以提高对光照的变化的适应程度,既提升了算法的鲁棒性,又可以确保算法对于运行速度的要求。2.提取了脸部特征的关键点位置坐标,使用POSIT算法,计算出头部现在的位置与初始位置之间的旋转矩阵与平移矩阵,并加入了帧间差分法来减少了不必要的计算。计算出了使用者的头部在pitch与yaw方向上的偏转角度,对估计结果做出比较评估。3.使用随机森林对眼部的眼动特征与屏幕的像素坐标点之间建立映射关系,根据眼动向量以及眼部的网格特征在X轴和Y轴上的重要性不同,分别对其设置了不同的权重,获得训练模型,使用训练模型可以计算出在头部静止状况下注视点的位置坐标,提升了估计的精度。之后使用得到的头部运动的旋转矩阵与平移矩阵,对由头动造成的误差进行补偿得到最终的注视点位置坐标,允许头部在一定范围内运动,提升了用户使用的便捷性与灵活性。在头部可运动的情况下估计精度在3°左右。头部的运动范围在X轴方向上25°,Y轴方向上15°左右,Z轴上10cm左右。

关键词：注视点估计眼部特征提取虹膜中心定位视线追踪人脸检测

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于神经网络的学习者在线学习状态研究

基于神经网络的学习者在线学习状态研究

作者：刘瑞长春理工大学

学位级别：硕士

网络学习随着多媒体技术和互联网技术的成熟日益完善。在线教育便是二者结合的产物,不仅如此,在线教育还占据了时间和空间两大优势,为不同人群的不同学习要求提供了可能性,为学校教育存在的不足提供了解决方案,其出现也使目前的教育方... 详细信息

网络学习随着多媒体技术和互联网技术的成熟日益完善。在线教育便是二者结合的产物,不仅如此,在线教育还占据了时间和空间两大优势,为不同人群的不同学习要求提供了可能性,为学校教育存在的不足提供了解决方案,其出现也使目前的教育方式更加丰富。但与传统的课堂教学相比,网络教学不能实时监督学习者的学习状况,从而使学习效率不能得到保障。所以,对学习者的学习状态进行检测,有助于改进网络教学系统,改善学习者的学习质量。本文的主要工作是结合深度学习和计算机视觉等技术对网络教学中存在的不足进行研究,分别从学习者的注意力状态和学习情绪进行展开,主要研究内容如下:(1)针对实时视频难以获取与处理等问题,本文提出了基于多任务级联神经网络的虹膜中心和内外眼角定位算法,其主要思想是利用眼动信息对学习者的注意力状态进行分析。该算法能有效获取实时视频中学习者的虹膜中心和内外眼角的坐标,且在MPIIGaze数据集上达到98.9%的定位准确率。眼动的特征向量是由眼睛关键点坐标获得的,学习者的注意力状态是通过循环神经网络对已经获取的眼动特征进行分析所得到的。(2)针对传统卷积神经网络无法利用不同层次的表情特征、特征冗余等问题,本文提出了一种结构紧凑的的卷积神经网络模型来实现分类表情,用识别到的表情对学习者的学习情绪进行研究。在模型满足实时系统应用的基础上,通过图像预处理技术和损失函数的优化来改善模型的泛化性能,并结合人脸检测算法达到检测学习者学习情绪的目的。实验结果表明,该算法在Fer2013数据集上对表情识别达到74.71%的准确率,与传统算法相比具有优越性。为了对学习者的学习状态作出全面的了解,本文将注意力状态和学习情绪两个维度信息进行融合。根据两个维度信息对决策融合贡献度不同确定对应的权重值,通过融合后的信息计算学习状态最终得分。在网络教学场景下进行实例分析,同时与同类方法进行对比表明,本文的方法能客观、正确地反映学习者的学习状态。

关键词：神经网络在线学习人脸检测虹膜中心定位表情识别信息融合

视觉特征融合的注意力检测技术及其在线上教学的研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

视觉特征融合的注意力检测技术及其在线上教学的研究

作者：吴弘杰杭州电子科技大学

学位级别：硕士

随着互联网技术的发展、应用的快速普及,不受时空限制的线上教学风起云涌,特别是受新冠疫情的影响,人们对于无接触式的线上教学的需求变得更加迫切。线上教学打破了时间空间限制,使人们的学习更加自由便捷。但相比于传统课堂,在线课堂... 详细信息

随着互联网技术的发展、应用的快速普及,不受时空限制的线上教学风起云涌,特别是受新冠疫情的影响,人们对于无接触式的线上教学的需求变得更加迫切。线上教学打破了时间空间限制,使人们的学习更加自由便捷。但相比于传统课堂,在线课堂环境下师生互动性差,沟通存在一定障碍,教师很难有效监测到学生的学习专注度,学生也可能会因为没有监督而学习效率下降。基于此,本文结合网络线上教学环境的特点,提出了一种视觉特征融合的注意力检测方法,来缓解上面说到的痛点问题,其中包含了无人检测、头部偏转检测、人眼闭合检测以及视线估计检测等注意力检测相关技术,并设计开发了注意力检测系统,主要内容包括:(1)提出了一种基于snakuscule的虹膜中心定位算法。为了提高自然光下采集到的低分辨率人脸图像的虹膜中心定位精度,针对snakuscule能量模型做出了改进,提出了跳跃迭代模型,并结合单像素迭代、跳跃迭代以及虹膜在内圆的占比设计了自适应迭代策略,且将迭代活动增加到了10种,兼顾了实时性和准确性。接着,又加入了虹膜质检环节以改善检测错误的情况,提高定位精度。对比实际检测结果,验证了所提算法的优越性和准确性。(2)为了提高人脸在不同姿态下的视线估计精度,提出了针对不同姿态的视线估计算法。将两种人眼ROI分割方法分别进行建模分析,给出了针对性方案来应对人脸端正、人脸倾斜以及人脸偏转三种姿态下的视线估计,其中引入了虹膜中心补偿算法和主眼策略,旨在减小头部偏转对视线的影响。最后以此算法为基准开展了实验,实验结果验证了此方案的有效性和准确性。(3)综合多种注意力相关特征,设计开发了融合多特征的注意力检测系统。文章中结合了多种视觉特征,设计开发了4种注意力检测模块,包括无人检测、头部偏转检测、人眼闭合检测以及视线偏离检测,该系统分为学生端和教师端,学生端系统可将注意力检测结果传送给教师端,教师通过教师端系统可以实时关注所有在线学生的学习状态。本文中的实验方法对比了单一视觉特征与多重视觉特征融合的注意力检测准确率,实验结果显示本文实现的检测系统能够准确完成注意力检测任务,从而实现了提升学习者的学习效率,提高教学质量的目的。

关键词：线上教学注意力检测 snakuscule 虹膜中心定位视线估计视觉特征融合

基于视线追踪的老年残障人士护理需求识别方法的研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于视线追踪的老年残障人士护理需求识别方法的研究

作者：陈丽娟南京理工大学

学位级别：硕士

对于口齿不清、四肢瘫痪的老年人、残障人等,需要进行长期护理以解决其生存障碍,而护理的前提是准确并及时的了解患者需求。视线追踪技术近年发展迅速,具有极好的人机交互应用前景,因此本文研究将视线追踪技术应用于护理需求识别中,利... 详细信息

对于口齿不清、四肢瘫痪的老年人、残障人等,需要进行长期护理以解决其生存障碍,而护理的前提是准确并及时的了解患者需求。视线追踪技术近年发展迅速,具有极好的人机交互应用前景,因此本文研究将视线追踪技术应用于护理需求识别中,利用患者的视线注视点位置来识别需求,从而弥补语音、手势等识别方式的不足,并借助本实验室自主研发的护理床响应需求,力求为老年残障人士提供更加自然便捷的一体化护理。本文主要工作如下:(1)眼部区域提取。研究了图像预处理过程,对处理后的图像采用Adaboost算法进行人脸检测,获取稳定的面部区域。采用CLM算法在面部区域定位人脸的68个特征点,然后利用眼睛周围的12特征点来提取眼部区域。(2)视线特征参数提取。将视线特征分为眼动向量和头部姿态,选取虹膜中心点与人脸平均特征点之间的偏移量作为眼动向量。在虹膜中心定位中,提出了一种粗定位算法以确保初始定位的中心一定位于虹膜内部;接着改进了传统的星射法以适应不同情况下的虹膜轮廓定位;最后利用RANSAC与最小二乘法进行虹膜椭圆拟合,获取虹膜精确中心。选择稳定的36个人脸特征点来求解平均特征点,能够有效避免复杂的眼角点定位算法。在头部姿态中,采用EPn P算法从2D图像中求解头部旋转欧拉角。(3)注视点估计。本文采用多项式拟合方程表征眼动向量与注视点位置之间的映射关系,利用系统标定法求解方程中的未知系数,得到拟合方程后,将眼动向量计算结果带入方程中,求解注视点初始位置坐标。设计了一种头部姿态补偿算法,利用头部旋转欧拉角对初始位置进行校正,以弥补头部转动带来的注视点位置误差。(4)基于视线追踪的护理需求识别的应用。将视线追踪技术应用到实验室自主研发的护理床控制系统中,上位机利用视线追踪技术实时计算注视点位置,将注视结果转化成对应的护理需求,通过Wi Fi通信模块发送给护理床主控芯片,控制床体运转,从而提供一体化护理。

关键词：视线追踪虹膜中心定位头部姿态估计护理需求识别

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

稳定的非接触式眼球跟踪与视线估计

稳定的非接触式眼球跟踪与视线估计

作者：蔡海斌浙江工业大学

学位级别：硕士

眼睛不仅是人们观察、了解外部世界的一个重要器官,更是人们心灵的窗口。稳定的眼球跟踪与视线估计系统已经在心理学、军事、市场调研和广告测试、计算机视觉、医学等领域有了初步应用。基于视线控制人机交互系统也在给传统的人机交互... 详细信息

眼睛不仅是人们观察、了解外部世界的一个重要器官,更是人们心灵的窗口。稳定的眼球跟踪与视线估计系统已经在心理学、军事、市场调研和广告测试、计算机视觉、医学等领域有了初步应用。基于视线控制人机交互系统也在给传统的人机交互方式带来巨大挑战。近年来,基于图像法的非接触式眼球跟踪与视线估计受到越来越多的关注。本文总结了国内外关于眼球跟踪与视线估计的研究现状,提出了一种新的快速准确的虹膜中心定位方法,并在该定位算法基础上实现了对眼球的跟踪。本文还提出了一种可以允许头部大范围转动的视线估计方法。主要工作内容与成果如下:1.为了提高虹膜中心定位的精度与速度,本文提出了一种快速准确的虹膜中心定位算法。首先检测图片中的人脸并确定初步的眼部区域,然后设计不同卷积核与眼部区域图像进行卷积,将卷积后的图像对应相除获取卷积商矩阵。通过计算商矩阵最大值处对应的位置及卷积核的半径来获得人眼的中心和半径。卷积核的设计时考虑了虹膜中心处的位置、灰度值及虹膜巩膜边界灰度值的变化规律,并加入傅立叶变换计算卷积,从而实现快速、准确的定位虹膜中心及半径,并且在公开的人脸数据集BioID上与现有的虹膜中心定位方法进行精度与速度的对比。最后在该定位算法的基础上利用视频序列上下帧之间的关系实现了眼球跟踪。2.针对现有的视线估计系统要求的高分辨率图像,红外光源,头部转动等要求,本文提出了一种可以利用普通网络摄像头的并且是无光源的可以允许头部转动视线估计方法。在该算法中,利用监督下降的优化方法(Supervised Descent Method,SDM)对人脸图像计算人脸特征点,再利用POSIT算法确定头部朝向。然后将人眼的眼角,虹膜中心及眼皮上的点作为人眼特征点,定义人眼特征向量,建立人眼特征向量与视线角度的匹配模型。通过校准屏幕上的点来获取人眼的训练数据,再利用自适应线性回归的的方法来确定模型参数,从而计算头部静止时的视线相对头部运动的三个偏移角度,最后通过结合人头部朝向与视线偏移角度来确定视线方向,从而实现了可以允许头部转动的视线估计系统。3.最后,在分析总结上述研究方法的理论基础与实验结果之后,本文对后续的研究方向进行了展望。

关键词：眼球跟踪非接触式虹膜中心定位卷积视线估计

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于视线检测的屏幕感兴趣区域追踪

基于视线检测的屏幕感兴趣区域追踪

作者：胡芳琴浙江大学

学位级别：硕士

随着计算机科学技术的发展以及人们对于人机交互应用日新月异的要求,人机交互领域吸引了越来越多研究者的目光。视觉系统既为人类获取信息发挥了重要作用,也反映了极具意义的人类应对外界的信息,因而,在人机交互这项充满潜力的研究中,... 详细信息

随着计算机科学技术的发展以及人们对于人机交互应用日新月异的要求,人机交互领域吸引了越来越多研究者的目光。视觉系统既为人类获取信息发挥了重要作用,也反映了极具意义的人类应对外界的信息,因而,在人机交互这项充满潜力的研究中,视线跟踪更是一项重要的内容。商业视线跟踪器虽然已经达到相当高的精度,但是对于用户分析、广告教育等方面的应用来说性价比不高。而基于网络摄像头对用户行为进行分析,可以达到无需特殊装备,非侵入式的效果。本课题对自然光照下基于单摄像头的视线检测进行研究,本文的主要成果如下：1、本文提出基于梯度信息的方法定位虹膜中心,并应用于视线检测。研究优化了基于亮度信息的系数矩阵与目标函数,快速准确地定位虹膜中心。该算法与现有的多种算法进行比较,可以得到,改进后的虹膜中心算法定位效果更佳,为随后的视线检测提供可靠的特征数据。2、本文在实时运行的系统中采用基于监督梯度下降算法的参数化表观模型获取人脸特征点,优化了视线检测系统的性能,并且精确定位了人眼区域。由于头部运动会对视线估计造成误差,而在实际应用中头部运动又是不可避免的,所以,系统还实现了对头部旋转角度的检测,并将头部运动数据也作为映射函数的输入特征数据。3、本文利用前文获得的人眼相关特征点包括精确的瞳孔定位、人眼轮廓特征点和头部运动参数作为视线检测的输入信息,采用SV]M(支持向量机)算法对视线方向进行估计,定位用户的感兴趣区域。本文提出了对视线检测的水平方向与垂直方向分别提取不同的特征,并采用不同的核函数进行学习,实验表明检测精度有所提升。本文提出的基于单摄像头的视线检测算法实现了对用户观看屏幕时感兴趣区域的稳定可靠的定位。本系统针对普通摄像头而实现,无需头戴式设备、红外光技术或者多个摄像头,旨在获取人眼关注的相应区域。与已有的视线跟踪系统相比,本系统是对已有技术的一种完善,具有成本低、方便简洁、易于推广的特点。

关键词：视线跟踪系统人脸特征点跟踪虹膜中心定位 SVM

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

桌面式眼动跟踪系统研究

桌面式眼动跟踪系统研究

作者：董大洼中国科学技术大学

学位级别：硕士

人眼是人获取外界信息的主要渠道,研究如何利用人眼获取视觉信息进行研究具有重要意义。当前,人们主要使用眼动跟踪技术对其进行研究,眼动跟踪技术应用广泛,其在医学、心理学、人机交互等方面都有很好的应用前景。当前的眼动跟踪系统根... 详细信息

人眼是人获取外界信息的主要渠道,研究如何利用人眼获取视觉信息进行研究具有重要意义。当前,人们主要使用眼动跟踪技术对其进行研究,眼动跟踪技术应用广泛,其在医学、心理学、人机交互等方面都有很好的应用前景。当前的眼动跟踪系统根据硬件上的不同,可以分为头戴式眼动跟踪系统和桌面式眼动跟踪系统,本文主要对基于桌面式的眼动跟踪技术的原理及方法进行分析,对其中的人脸和人眼的检测及定位、虹膜中心定位以及人眼注视点的标定等问题进行了深入研究,主要的研究内容以及成果如下：1.人脸检测和定位本文中,我们使用的人脸检测的方法是基于肤色模型和Adaboost算法：首先将采集到的图片转换到YCbCr颜色空间;然后利用每个像素的Cb、Cr值对图像进行分割处理,得到人脸的候选区域;最后在得到的人脸候选区域中使用Adaboost算法进行人脸检测。2.人眼检测和定位首先总结了常用的人眼检测和定位方法的优缺点。改进已有的算法,利用人眼区域相对于人脸其他区域灰度值偏低的特点,计算获取人眼候选区域,然后利用候选区域大小以及位置等信息,排除干扰区域,对人眼位置进行定位。3.虹膜中心定位首先对眼图进行处理得到虹膜的边界,然后使用最小二乘法对虹膜边界进行椭圆拟合,拟合成功之后,得到的椭圆曲线的中心坐标即为虹膜中心。4.人眼注视点标定人眼注视点标定是眼动跟踪系统中非常重要的一个环节,它给出了人注视计算机屏幕时具体的坐标位置。本文实现了基于映射关系的注视点标定方法：我们认为眼图中虹膜中心的坐标位置和注视点的坐标位置之间存在某种映射关系。在使用眼动跟踪系统之前,先让用户注视屏幕上的几个特定点,获取对应时刻眼图中的虹膜中心坐标,计算得到注视点和虹膜中心坐标的映射关系,之后,注视点的坐标就可以利用这个映射函数计算得到。校准过程中可能会有噪声点的存在,如果直接拿这些带有噪声点的数据进行映射函数参数的估计,可能会导致后面注视点标定误差变大,本文我们引入了随机样本一致性(RANSC)的方法来解决这个问题。

关键词：眼动跟踪人脸检测人眼检测虹膜中心定位注视点标定

基于三维眼球模型和改进Itracker的视线估计方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于三维眼球模型和改进Itracker的视线估计方法研究

作者：林家宁浙江工业大学

学位级别：硕士

视线方向作为一种重要的预测目标注意力的手段,在科学、医疗、商业、教育、刑事、人机交互等各个领域都有深入广泛的应用。随着微电子技术和数字图像处理的不断发展和进步,越来越多的眼动跟踪与视线估计方法被发现。然而,现有的视线估... 详细信息

视线方向作为一种重要的预测目标注意力的手段,在科学、医疗、商业、教育、刑事、人机交互等各个领域都有深入广泛的应用。随着微电子技术和数字图像处理的不断发展和进步,越来越多的眼动跟踪与视线估计方法被发现。然而,现有的视线估计系统往往具有很多缺陷和限制。如何在尽量减少设备、降低系统复杂性、简化标定过程的同时,打破光照条件的限制,提高对于头部姿态的耐受度,提升估计精度是一个非常具有挑战性的课题。本文针对基于形状的虹膜中心定位方法不够精确的问题,提出基于三维眼球模型的虹膜中心定位方法。针对现有的基于深度学习的视线估计方法模型复杂度较高的问题,本文改进了网络结构,同时引入时序信息,在减少网络复杂度的同时,增加了网络的预测精度以及对于不同光照和图像分辨率的鲁棒性。本文提出一种基于三维眼球模型的精准虹膜中心定位方法,利用虹膜中心位置与眼球中心位置之间的位置关系与虹膜轮廓的几何关系,解决眼球转动引起的虹膜轮廓变化问题。首先,使用监督式下降方法（SDM）定位得到脸部特征点,利用得到的特征点初步计算虹膜中心位置;然后,对初始虹膜中心位置在八领域方向进行迭代;最后,根据虹膜中心的位置对虹膜轮廓进行更新,以相邻两次迭代的方向相反时的位置作为最终的虹膜中心位置。在BioID和GI4E数据集上的实验结果表明,本文方法可精准定位虹膜中心位置。在实际的室内环境下实验,本文方法亦取得鲁棒精准的定位结果。本文提出一种改进Itracker静态模型的方法来预测单帧图像的视线方向,并利用多对一的双向长短时记忆网络时序模型来拟合时序信息。通过移除原有Itracker模型的人脸网格模块,合并左右眼模块来改进静态模型。实验表明,改进后的静态模型在参数减少接近一半的情况下,在MPIIGaze数据集下与现有最新方法相比,视线估计精度得到了11.6%的显著改善,且对于不同的图像分辨率具有鲁棒稳定的估计精度。在EyeDiap数据集的评测中,提出的时序模型又为静态模型带来了3%的精度提升。

关键词：虹膜中心定位视线估计循环卷积神经网络长短时记忆网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

桌面式眼动跟踪系统研究

电子技术（上海） 2014年第9期41卷 1-5页

作者：董大洼董兰芳余家奎王建富中国科学技术大学计算机科学与技术学院

眼动跟踪技术作为一种新的人机交互方式,已受到越来越多人的关注,现有的眼动跟踪系统大都是头戴式的,它的硬件设备复杂,对人干扰较大,而且价格昂贵。文章实现了一个简单的基于桌面的眼动跟踪系统,本系统硬件构成简单,而且不与人直接接触... 详细信息

眼动跟踪技术作为一种新的人机交互方式,已受到越来越多人的关注,现有的眼动跟踪系统大都是头戴式的,它的硬件设备复杂,对人干扰较大,而且价格昂贵。文章实现了一个简单的基于桌面的眼动跟踪系统,本系统硬件构成简单,而且不与人直接接触,使用虹膜中心坐标来估计用户的注视点。实验表明,当误差距离不超过40个像素时,系统估计的人眼注视点准确率超过80%。

关键词：眼动跟踪人脸检测人眼检测虹膜中心定位注视点标定