检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

眼动跟踪研究进展与展望

自动化学报 2022年第5期48卷 1173-1192页

作者：苟超卓莹王康王飞跃中山大学智能工程学院中国深圳518107 英伟达圣克拉拉美国950513 中国科学院自动化研究所复杂系统管理与控制国家重点实验室中国北京100190

眼动跟踪是指自动检测瞳孔中心位置或者识别三维视线方向及注视点的过程,被广泛应用于人机交互、智能驾驶、人因工程等.由于不同场景下的光照变化、个体眼球生理构造差异、遮挡、头部姿态多样等原因,眼动跟踪的研究目前仍然是一个具有... 详细信息

眼动跟踪是指自动检测瞳孔中心位置或者识别三维视线方向及注视点的过程,被广泛应用于人机交互、智能驾驶、人因工程等.由于不同场景下的光照变化、个体眼球生理构造差异、遮挡、头部姿态多样等原因,眼动跟踪的研究目前仍然是一个具有挑战性的热点问题.针对眼动跟踪领域,首先概述眼动跟踪研究内容,然后分别论述近年来瞳孔中心检测及视线估计领域的国内外研究进展,综述目前眼动跟踪主要数据集、评价指标及研究成果,接着介绍眼动跟踪在人机交互、智能驾驶等领域的应用,最后对眼动跟踪领域的未来发展趋势进行展望.

关键词：眼动跟踪人眼检测视线估计注意力分析

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

基于眼动跟踪的个性化文本摘要生成模型

计算机辅助设计与图形学学报 2023年第10期35卷 1620-1628页

作者：揭志强叶阳程时伟浙江工业大学计算机科学与技术学院杭州310012

为了满足不同用户对生成摘要的个性化需求,提出一种基于眼动跟踪的个性化文本摘要生成网络模型.首先使用阅读时的注视和扫视等眼动跟踪数据提取眼动关键信息,并使用长短期记忆模型对眼动关键信息进行编码;然后将眼动关键信息隐藏层状态... 详细信息

为了满足不同用户对生成摘要的个性化需求,提出一种基于眼动跟踪的个性化文本摘要生成网络模型.首先使用阅读时的注视和扫视等眼动跟踪数据提取眼动关键信息,并使用长短期记忆模型对眼动关键信息进行编码;然后将眼动关键信息隐藏层状态融合到注意力机制中,结合内部注意力模型和指针生成器网络生成个性化的文本摘要;最后设计开发了相关的文本摘要生成系统.使用包含用户眼动数据的中文新闻数据集ADEGBTS进行实验的结果表明,与现有的文本摘要模型相比,所提模型在ROUGE指标评估上的得分更高,达到48.68%;用户测试结果表明,所提系统可以高效地生成个性化摘要.

关键词：眼动跟踪文本摘要人机交互自然语言处理

在线全文

学校读者我要写书评

暂无评论

一种基于眼动跟踪的个性化文本摘要生成模型

计算机辅助设计与图形学学报 2023年

作者：揭志强叶阳程时伟浙江工业大学计算机科学与技术学院

为了满足不同用户对生成摘要的个性化需求，提出一种基于眼动跟踪的个性化文本摘要生成网络模型. 首先使用阅读时的注视和扫视等眼动跟踪数据提取眼动关键信息，并使用长短期记忆模型对眼动关键信息进行编码; 然后将眼动关键信息隐藏... 详细信息

为了满足不同用户对生成摘要的个性化需求，提出一种基于眼动跟踪的个性化文本摘要生成网络模型. 首先使用阅读时的注视和扫视等眼动跟踪数据提取眼动关键信息，并使用长短期记忆模型对眼动关键信息进行编码; 然后将眼动关键信息隐藏层状态融合到注意力机制中，结合内部注意力模型和指针生成器网络生成个性化的文本摘要; 最后设计开发了相关的文本摘要生成系统. 使用包含用户眼动数据的中文新闻数据集ADEGBTS进行实验的结果表明，与现有的文本摘要模型相比，所提模型在ROUGE指标评估上的得分更高，达到48.68%; 用户测试结果表明，所提系统可以高效地生成个性化摘要.

关键词：眼动跟踪文本摘要人机交互自然语言处理

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于眼动跟踪的移动智慧课堂可视交互系统

浙江工业大学学报 2023年第4期51卷 362-371页

作者：程时伟沈泽鹏张章伟浙江工业大学计算机科学与技术学院浙江杭州310023

将移动设备运用到教学场景中能有效提升教学质量。为此,基于眼动跟踪技术开发了一个移动智慧课堂可视交互系统,当学生在手机、平板电脑等移动设备上完成课程学习时,设备的前置摄像头采集学生的眼动注视点并生成注视点轨迹图和热区图。... 详细信息

将移动设备运用到教学场景中能有效提升教学质量。为此,基于眼动跟踪技术开发了一个移动智慧课堂可视交互系统,当学生在手机、平板电脑等移动设备上完成课程学习时,设备的前置摄像头采集学生的眼动注视点并生成注视点轨迹图和热区图。教师可通过系统交互界面提供的选项挑选想要查看的学生以及可视化类型,以便实时了解学生的注意力分布和感兴趣区域,进而有针对性地调整教学重点,提高在线课堂的教学质量和效率。用户实验结果证明了该系统的可行性与有效性。

关键词：眼动跟踪人机交互可视化智慧教育

维普期刊数据库博看期刊

在线全文

学校读者我要写书评

暂无评论

近眼眼动跟踪系统设计与实现

近眼眼动跟踪系统设计与实现

作者：李慧骞电子科技大学

学位级别：硕士

近年来,随着眼动跟踪技术的不断发展,在心理学、医疗、辅助驾驶、军事航空以及人因工程等领域得到了越来越广泛的应用。本论文研究工作为国家自然科学基金面上项目“虚拟环境下情绪生理感知HMD交互界面关键技术及理论研究”的一部分,针... 详细信息

近年来,随着眼动跟踪技术的不断发展,在心理学、医疗、辅助驾驶、军事航空以及人因工程等领域得到了越来越广泛的应用。本论文研究工作为国家自然科学基金面上项目“虚拟环境下情绪生理感知HMD交互界面关键技术及理论研究”的一部分,针对“基于眼动信号和多模态生理信号的情绪识别”的任务,设计一套能够嵌入到虚拟现实头盔上的近眼眼动跟踪系统,用来提供与情绪识别相关的眼动数据,例如瞳孔直径、注视点等。本论文主要研究内容如下:1.从项目提出的任务出发,分析了对近眼眼动跟踪系统提出的需求,根据眼动跟踪系统的一般构成设计了系统的总体方案。在此基础上,结合虚拟现实头盔的结构,采用8个光源、图像采集模块位于眼睛侧前方的方案,通过结构设计和电路设计,完成了近眼眼动跟踪系统平台的搭建。2.利用“暗瞳”现象进行瞳孔检测,由于嵌入虚拟现实头盔的近眼眼动跟踪模块所拍摄图像的特点,瞳孔检测方法容易受到较暗背景和睫毛的干扰,导致瞳孔检测不准确。针对此问题,分析其原因和干扰的特点,采用距离阈值判定和两次椭圆拟合的方法,滤除了较暗背景和睫毛干扰对瞳孔检测造成的影响,提高了系统的可靠性和准确性。3.采用基于二维回归的注视点估计方法,通过使用前的校准程序求得映射模型的参数,实现对注视点的估计,并设计了图形化软件界面实现显示和用户交互的功能。最后,根据对系统提出的需求,对本论文实现的近眼眼动跟踪系统的功能、可靠性、准确度和用户体验进行测试与验证。测试表明眼动跟踪系统功能完善;在不同场景下都能够准确检测瞳孔,可靠性高;注视点估计准确度为0.82度,满足需求分析中提出的准确度要求;部署简单且可扩展性强;用户体验良好。

关键词：眼动跟踪瞳孔检测注视点估计

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多目摄像机的眼动跟踪技术研究

基于多目摄像机的眼动跟踪技术研究

作者：谢子翰南京航空航天大学

学位级别：硕士

现如今将飞行模拟器用于飞行员培训,并通过采集、分析飞行员生理信号来评估飞行员的训练绩效已成为主流,其中,利用眼动跟踪技术来收集飞行员的眼动行为特征是一个重要的研究课题。但现阶段眼动识别设备存在头戴式眼动仪影响飞行员操作... 详细信息

现如今将飞行模拟器用于飞行员培训,并通过采集、分析飞行员生理信号来评估飞行员的训练绩效已成为主流,其中,利用眼动跟踪技术来收集飞行员的眼动行为特征是一个重要的研究课题。但现阶段眼动识别设备存在头戴式眼动仪影响飞行员操作、远程式眼动仪视场小、容易被遮挡物遮挡的缺点,不易满足在复杂的飞行模拟器内采集眼动数据的任务要求。基于上述问题,本文主要开展以下具体工作:1、设计单目眼动追踪系统。使用低成本网络摄像头,采集被测用户图像,使用基于Haar特征的Adaboost算法定位、分割被测人员的瞳孔图像,获取瞳孔特征并将该特征放入卷积神经网络中进行学习与预测并输出注视点坐标从而建立单目眼动追踪系统;定义指标对该系统进行性能评估,经实验,该系统精度能达到90%。探究该系统抗光照变化鲁棒性和抗头部姿态变化鲁棒性;通过增加幽暗环境下的训练样本来增强单目眼动追踪系统的抗光照变化鲁棒性。2、设计合适的算法进行头部姿态角估计。使用低成本网络摄像头采集被测用户图像,采用PFLD算法对人脸关键点进行定位并将二维人脸关键点与三维标准人脸关键点模型进行匹配来求解二维点与三维点的对应转换关系,最后通过迭代求导损失函数获得被测人员的头部姿态欧拉角,从而得到精确的头部姿态角。定义指标对头部姿态估计算法进行性能评估,并探究其抗光照变化鲁棒性。3、设计加权融合方案,在(1)、(2)的基础上,将其应用于多个摄像头,并设计5种加权融合方案,融合多个摄像头所采集的眼动信息,弥补单个摄像头视场小、容易被遮挡物遮挡、抗头部姿态鲁棒性差的缺点;分别测量每种加权融合方案下多目眼动追踪系统的性能;最终确定反比例加权融合方案作为多目眼动追踪系统的摄像机权重分配方案并对该方案进行改进,构建在被测人员大范围头部姿态运动的条件下精度能达到90%-95%的多目眼动追踪系统,提高了眼动追踪的抗被测人员姿态变化的鲁棒性。研究结果表明:融合了基于头部姿态信息的权重后,在头部姿态角变化时,多目眼动追踪技术的精度比单目传感器的精度高20%～90%,且对抗环境光照变化和抗被测人员头部姿态变化都有较好的鲁棒性。该技术具有灵活性、通用性,在驾驶舱设计、用户用眼习惯评估、驾驶学员眼动绩效分析中具有重要的应用和推广价值。

关键词：眼动跟踪头部姿态评估加权融合多目摄像机

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向多设备交互的眼动跟踪方法

计算机辅助设计与图形学学报 2016年第7期28卷 1094-1104页

作者：程时伟孙志强陆煜华浙江工业大学计算机科学与技术学院杭州310023 Human-Computer Interaction Institute Carnegie Mellon University

当前,越来越多的人机交互应用需要依靠多个设备共同完成,传统针对单个设备的眼动跟踪方法已很难适应多设备交互的需求.为此,提出一种面向多设备交互的眼动跟踪方法.针对用户眼球运动幅度显著变大给图像识别带来的影响,采用待选瞳孔区域... 详细信息

当前,越来越多的人机交互应用需要依靠多个设备共同完成,传统针对单个设备的眼动跟踪方法已很难适应多设备交互的需求.为此,提出一种面向多设备交互的眼动跟踪方法.针对用户眼球运动幅度显著变大给图像识别带来的影响,采用待选瞳孔区域和瞳孔中心识别相结合的方法识别瞳孔;同时对普洱钦斑位置进行预测,插补识别过程中丢失的普洱钦斑;在此基础上,建立瞳孔-普洱钦斑反射向量.另一方面,利用边缘检测方法识别设备屏幕,并通过建立不同设备屏幕的顶点位置列表,比较屏幕形状和面积以区分不同设备;再根据瞳孔-普洱钦斑反射向量进行眼动注视点坐标拟合计算,并结合头部运动误差补偿方法提高多设备之间眼动注视点坐标的计算精度.最后设计开发了头戴式眼动跟踪系统Multi Gaze,用户测试结果表明,文中方法在多设备交互环境下能有效地提高注视点计算精度.

关键词：眼动跟踪注视点多设备人机交互

在线全文

学校读者我要写书评

暂无评论

用于移动设备人机交互的眼动跟踪方法

计算机辅助设计与图形学学报 2014年第8期26卷 1354-1361页

作者：程时伟孙志强浙江工业大学计算机科学与技术学院杭州310023 浙江省可视媒体智能处理技术研究重点实验室杭州310023 Human-Computer Interaction Institute Carnegie Mellon University

传统眼动跟踪设备构造复杂、体积和重量大,通常只能以桌面固定方式使用,无法支持普适计算环境下的移动式交互.为此,提出一种面向移动式交互的眼动跟踪方法,包括眼动图像处理、眼动特征检测、眼动数据计算和眼动交互应用4个层次.首先对... 详细信息

传统眼动跟踪设备构造复杂、体积和重量大,通常只能以桌面固定方式使用,无法支持普适计算环境下的移动式交互.为此,提出一种面向移动式交互的眼动跟踪方法,包括眼动图像处理、眼动特征检测、眼动数据计算和眼动交互应用4个层次.首先对眼球红外图像进行滤波、二值化处理,进而基于瞳孔-角膜反射法,结合二次定位和改进的椭圆拟合方法检测瞳孔,设计缩放因子驱动的模板匹配法检测普洱钦斑;在此基础上,计算注视点坐标等眼动数据;最后设计与开发了一个基于单个红外摄像头的头戴式眼动跟踪原型系统.实际用户测试结果表明,该系统舒适度适中,并具有较高精度和鲁棒性,从而验证了文中方法在移动式交互中的可行性和有效性.

关键词：眼动跟踪瞳孔-角膜反射法普洱钦斑移动设备人机交互

在线全文

学校读者我要写书评

暂无评论

移动设备眼动跟踪技术

浙江大学学报（工学版） 2016年第6期50卷 1160-1166,1175页

作者：程时伟陆煜华蔡红刚浙江工业大学计算机科学与技术学院浙江杭州310023

为了在移动设备上开发计算效率和精度较高的眼动跟踪技术,提出从人脸到瞳孔逐级推进的图像处理框架和具体检测方法.采用基于局部二值模式特征的级联分类器,对人脸和非人脸区域进行分类检测.在人脸区域内应用Haar特征级联分类器检测人眼... 详细信息

为了在移动设备上开发计算效率和精度较高的眼动跟踪技术,提出从人脸到瞳孔逐级推进的图像处理框架和具体检测方法.采用基于局部二值模式特征的级联分类器,对人脸和非人脸区域进行分类检测.在人脸区域内应用Haar特征级联分类器检测人眼区域;并使用模板匹配法在人眼区域内检测瞳孔位置.在此基础上开发基于眼动跟踪的移动设备阅读辅助系统,根据瞳孔位置的变化定位用户当前阅读的文本行,帮助用户在阅读中断后快速找到阅读起点.测试结果表明:该系统对视线角度的平均检测精度达到1.17°,能精确定位阅读文本,将用户的平均阅读速度提高到每秒12.42个字,验证了所提出的眼动跟踪技术的实用性.

关键词：眼动跟踪瞳孔检测人机交互阅读辅助