检索结果-南通市图书馆

一种基于MLP的高效高精度三维视线估计方法

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机工程与科学 2023年第11期45卷 1982-1990页

作者：吴志豪张德军吴亦奇陈壹林中国地质大学(武汉)计算机学院湖北武汉430078 智能机器人湖北省重点实验室(武汉工程大学) 湖北武汉430205

随着卷积神经网络(CNN)在计算机视觉领域的广泛应用,以及大量三维视线数据集的公开,基于表观和深度学习相结合的三维视线估计研究受到越来越多的关注。由于CNN结构复杂,这类方法在实时性要求较高的应用场景中还有待进一步改进。近来兴... 详细信息

随着卷积神经网络(CNN)在计算机视觉领域的广泛应用,以及大量三维视线数据集的公开,基于表观和深度学习相结合的三维视线估计研究受到越来越多的关注。由于CNN结构复杂,这类方法在实时性要求较高的应用场景中还有待进一步改进。近来兴起的研究表明,网络结构更为简单的多层感知机(MLP)模型能够取得与当前最佳CNN、Transformer模型相当的性能。受此启发,提出了一种基于MLP的高效高精度三维视线估计方法,利用MLP模型对双眼、人脸图像提取特征,之后融合推导出三维视线。实验结果表明,对MPIIFaceGaze数据集和EyeDiap数据集中包含的31位不同相貌的受试者,使用提出的方法UM-Net进行视线估计,视线估计精度比肩基于CNN的,并且在视线估计速度上具有明显优势,在实时性要求较高的领域也有较好的应用前景。

关键词：三维视线估计表观多层感知机实时性

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于双眼模型的三维视线估计方法

机械科学与技术 2015年第4期34卷 586-589页

作者：满毅赵歆波张珂西北工业大学计算机学院西安710072

提出一种基于双眼模型的三维视线估计方法,以期克服二维视线跟踪方法固有的两个缺点,即对于使用者头部运动限制以及个体参数标定过程繁琐。该方法首先利用两个安装有红外灯组的摄像机组成立体视觉系统,实现人脸双眼图像的采集,之后,基... 详细信息

提出一种基于双眼模型的三维视线估计方法,以期克服二维视线跟踪方法固有的两个缺点,即对于使用者头部运动限制以及个体参数标定过程繁琐。该方法首先利用两个安装有红外灯组的摄像机组成立体视觉系统,实现人脸双眼图像的采集,之后,基于眼睛角膜球状假设,建立了一个适用于三维视线估计的三维眼模型,在此基础上,推导出人眼三维光轴的估计方法。用左右眼光轴与屏幕交点连线的中点估计方法,计算出注视点。该方法可在使用者头部运动的情况下,完成视线估计,且只需进行一次系统校准即可使用,无需其它标定过程,视线估计精度较高。

关键词：三维视线估计三维眼模型无标定

基于ShuffleNet V2算法的三维视线估计

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

计算技术与自动化 2022年第1期41卷 87-92页

作者：王宇宁媛陈进军贵州大学电气工程学院贵州贵阳550025

为了解决当前视线估计网络复杂度较深、精度不高的问题,同时为了未来将网络部署在移动设备端,提出了一种基于ShuffleNet V2算法的视线估计网络,其由脸部和眼睛两个子网络构成。脸部子网络通过ResNet V2网络对脸部图片进行特征处理,并加... 详细信息

为了解决当前视线估计网络复杂度较深、精度不高的问题,同时为了未来将网络部署在移动设备端,提出了一种基于ShuffleNet V2算法的视线估计网络,其由脸部和眼睛两个子网络构成。脸部子网络通过ResNet V2网络对脸部图片进行特征处理,并加入人脸对齐算法,减少头部角度误差的影响。眼睛子网络通过ShuffleNet V2与ResNet V2算法进行眼睛图片的并行特征处理。网络对特征图片处理后得到角度参数,最后通过坐标变换得到视线角度。并在MPIIGaze数据集上进行了实验。针对精度的不足对算法进行改进,在ShuffleNet V2中加入注意力机制(逐点平方操作模块),并进行了改进算法的验证实验,最后和多种先进的算法进行了实验对比。实验表明,改进后的算法比其他算法的精度要高。

关键词：神经网络三维视线估计 ShuffleNet V2 ResNet V2 坐标变换人脸对齐注意力机制 MPIIGaze

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

基于视线估计神经网络的教学注意力分析研究

基于视线估计神经网络的教学注意力分析研究

作者：陈沁电子科技大学

学位级别：硕士

随着教育焦虑的蔓延和优质教育资源竞争愈发激烈,教育教学工作呈现出快节奏化的趋势。教师在讲课时还要兼顾观察学生的学习情况,获取反馈信息以改进教学方式方法,这给教师带来很大负担,也不利于学生的整体进步。因此亟需一些辅助手段来... 详细信息

随着教育焦虑的蔓延和优质教育资源竞争愈发激烈,教育教学工作呈现出快节奏化的趋势。教师在讲课时还要兼顾观察学生的学习情况,获取反馈信息以改进教学方式方法,这给教师带来很大负担,也不利于学生的整体进步。因此亟需一些辅助手段来帮助教师判断学生的学习状况,特别是注意力的集中情况。为了解决这一问题,本文利用基于全脸图像的三维视线估计神经网络来估计学生的视线方向,然后计算学生在教学环境中的视线落点位置,之后根据该落点与课堂的相关性来对注意力进行量化分析,主要的工作有以下几点:(1)设计和优化三维视线估计神经网络TFGaze Net和SSRGaze Net。针对人眼图像的低分辨率特性,使用了高分辨率神经网络,在特征融合时分别使用Transformer Encoder和软式分阶段回归的方法。经过优化与测试,TFGaze Net表现较为优异,对于不同人脸和各种头部姿态情况下的视线估计具有较好的泛化性能和稳定性。与公认的基准视线估计网络相比,TFGaze Net以较小的精度损失为代价有效地降低了模型的参数量。(2)设计了基于视线向量投影的注意力量化分析方法。利用双目摄像头获取人脸图像和深度信息,视线估计神经网络估计出视线方向,结合教室环境信息,计算出学生的视线在教室中落点的位置,依此对学生注意力进行量化,该方法不受相机安装方式限制和教室环境限制,自适应陌生的场景。(3)对注意力分析算法和视线估计神经网络进行边缘计算部署,并开展注意力分析实验。在Atlas 200DK上进行相关算法和模型的部署,设计了模拟场景下的课堂教学注意力分析实验,实际测试了注意力量化分析算法,结果表明算法具备有效性和可行性。

关键词：注意力分析三维视线估计视线落点 Transformer Encoder 边缘计算

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于特征的视线跟踪方法研究综述

自动化学报 2021年第2期47卷 252-277页

作者：刘佳惠迟健男尹怡欣北京科技大学自动化学院北京100083 北京科技大学顺德研究生院佛山528399

针对基于特征的视线跟踪方法进行了综述.首先对视线跟踪技术的发展、相关研究工作和研究现状进行了阐述;然后将基于特征的视线跟踪方法分成了两大类:二维视线跟踪方法和三维视线跟踪方法,从硬件系统配置、误差主要来源、头部运动影响、... 详细信息

针对基于特征的视线跟踪方法进行了综述.首先对视线跟踪技术的发展、相关研究工作和研究现状进行了阐述;然后将基于特征的视线跟踪方法分成了两大类:二维视线跟踪方法和三维视线跟踪方法,从硬件系统配置、误差主要来源、头部运动影响、优缺点等多个方面重点分析了这两类视线跟踪方法,对近五年现有的部分基于特征的视线跟踪方法进行了对比分析,并对二维视线跟踪系统和三维视线跟踪系统中的几个关键问题进行了探讨;此外,介绍了视线跟踪技术在人机交互、医学、军事、智能交通等多个领域的应用;最后对基于特征的视线跟踪方法的发展趋势和研究热点进行了总结与展望.

关键词：基于特征视线跟踪二维映射模型三维视线估计

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于深度学习的人眼视线估计研究

基于深度学习的人眼视线估计研究

高精度视线跟踪算法研究及其在VR系统中的应用

中国计算机用户协会网络应用分会2022年第二十六届网络...

作者：严超代松银徐成李学伟北京联合大学北京市信息服务工程重点实验室北京联合大学脑与认知智能北京实验室

在计算机视觉领域,视线估计是人脸检测领域下的一个分支,其揭示了一个人注视之处及其注意力方向。它是理解人类意图的一个重要线索,通过视线估计可以表达感情、反映心理活动状态。近年来,深度学习的发展改变了很多计算机视觉任务,包括... 详细信息

在计算机视觉领域,视线估计是人脸检测领域下的一个分支,其揭示了一个人注视之处及其注意力方向。它是理解人类意图的一个重要线索,通过视线估计可以表达感情、反映心理活动状态。近年来,深度学习的发展改变了很多计算机视觉任务,包括基于外观的视线估计。文中主要对基于深度学习的人眼视线方法进行较为全面的研究调查,重点从以下几个方面来介绍:从眼睛图像中进行特征提取、从人脸图像中进行特征提取、从视频中进行特征提取。此外,文中还对现有的所有公开可用的视线估计数据集进行了描述说明。

关键词：三维视线估计深度学习眼睛图像人脸图像特征提取

来源： cnki会议评论

在线全文

cnki会议

学校读者我要写书评

暂无评论

高精度视线跟踪算法研究及其在VR系统中的应用

作者：卓林海华南理工大学

学位级别：硕士

视线跟踪技术是一项检测人眼视线方向或者注视点的技术。基于三维模型并使用RGBD图像的视线跟踪算法与基于多项式拟合的头戴式视线跟踪算法是主流的两大类视线跟踪算法。本文分别针对这两类主流视线跟踪算法中存在的问题进行了深入的研... 详细信息

视线跟踪技术是一项检测人眼视线方向或者注视点的技术。基于三维模型并使用RGBD图像的视线跟踪算法与基于多项式拟合的头戴式视线跟踪算法是主流的两大类视线跟踪算法。本文分别针对这两类主流视线跟踪算法中存在的问题进行了深入的研究。基于三维模型并使用RGBD图像的视线跟踪算法存在如下两个问题:1)三维虹膜平面的中心在摄像机成像平面上的投影与RGB图像中的虹膜中心不重合,导致现有三维虹膜定位算法难以正确定位出三维虹膜平面的位置;2)忽视人眼扭转运动,导致Kappa角矫正与人眼球模型参数计算产生误差。为了解决这两个问题,本文提出了基于虹膜投影匹配函数的视线跟踪算法。该算法主要贡献有以下四点:1)提出虹膜投影匹配函数。该函数通过投影几何的原理,对三维虹膜平面与二维虹膜图像之间的投影关系进行建模,并通过虹膜投影内像素点以及边界像素点的匹配得分,计算出三维虹膜平面与图像上虹膜的匹配程度。2)提出基于虹膜投影匹配函数的三维虹膜平面定位算法。本文通过结合人眼球模型与虹膜投影匹配函数进行三维虹膜平面定位。从而,该算法能利用投影几何原理精确表示虹膜平面投影关系,提高三维虹膜平面定位的精度。3)提出基于多项式拟合的Kappa角校正方法。本文通过建立多项式对人眼扭转运动导致的Kappa角旋转方向变化进行建模。从而,算法能够根据人眼球的旋转方向,计算出视轴绕光轴旋转的度数,降低了扭转运动对视线估计算法的影响。4)设计了基于虹膜投影匹配函数的人眼球模型参数计算方法。该方法的目的是计算贡献2、3中所述算法所需的人眼球模型参数,例如虹膜半径、虹膜旋转半径、人眼球中心以及Kappa角度数等。因为此时,贡献2、3中的算法缺少人眼球模型参数,所以在计算人眼球模型参数时无法使用贡献2、3中的算法来解决虹膜定位以及忽视扭转运动的问题。因此,本文设计了该方法进行人眼球模型参数的计算。该方法通过引入虹膜投影匹配函数,来解决三维虹膜平面定位不准的问题。并通过将光轴绕视轴的旋转角度作为需要求解的变量,来解决扭转运动使人眼球模型参数计算精度下降的问题。实验结果表明,本文提出的基于虹膜投影匹配函数的视线跟踪算法具有较高的精确度(误差为1.07°-2.28°),并且速度达到52.6FPS。而对于基于多项式拟合的头戴式视线跟踪算法,存在用于构成眼动特征向量的眼角、虹膜中心、角膜反射斑提取不准,导致视线跟踪算法精度下降的问题。为解决这个问题,本文提出仅基于瞳孔特征的头戴式视线跟算法,该算法不使用眼动特征向量,而直接将瞳孔中心特征带入多项式映射方程计算得到注视点。并且,为了解决瞳孔中心特征对头部抖动鲁棒性低的问题。本文提出了基于瞳孔朝向的抖动补偿算法,当发生抖动后,能够通过瞳孔朝向计算出发生抖动前后,瞳孔中心坐标的对应关系,并对瞳孔中心特征的偏移量进行补偿,由此提高瞳孔中心特征对抖动的鲁棒性。最后,本文基于提出的仅基于瞳孔特征的头戴式视线跟算法搭建了一个VR视线跟踪系统,用于测试算法性能并使算法得到实际的应用。实验结果表明,本文提出的仅基于瞳孔特征的头戴式视线跟踪算法误差较低,为12.7像素,对抖动鲁棒性好(经矫正后的误差为33.0像素),并且算法运行速度为47.17FPS。

关键词：视线跟踪虹膜投影匹配函数三维视线估计注视点计算抖动补偿模型 VR视线跟踪系统