检索结果-南通市图书馆

作者：梁一唯西安电子科技大学

学位级别：硕士

眼动事件检测是从眼动仪的数据记录中检测注视、眼跳、眼跳后震荡等眼动事件,眼动数据中天然存在着样本级数据不平衡(sample-level data imbalance)和事件间时间依赖性(inter-event time dependence)。现有的眼动事件检测深度方法普遍... 详细信息

眼动事件检测是从眼动仪的数据记录中检测注视、眼跳、眼跳后震荡等眼动事件,眼动数据中天然存在着样本级数据不平衡(sample-level data imbalance)和事件间时间依赖性(inter-event time dependence)。现有的眼动事件检测深度方法普遍用卷积神经网络(Convolutional Neural Network,CNN)进行特征提取,以长短期记忆网络(Long Short-Term Memory,LSTM)为主干网络,但是单尺度卷积无法有效提取不同尺度事件的特征,而且LSTM中当前时刻的观测仅强烈影响下一时刻的特征表示,不能有效地建立长序列上不同时刻观测之间的长期依赖关系。针对这些问题,本文进行了以下基于深度学习的眼动事件检测方法研究:(1)针对LSTM无法有效检测长序列上不同时刻观测之间的长期依赖关系的问题,本文提出了一种基于Transformer的眼动事件检测模型Trans EMED。首先,使用CNN模块对输入的眼动序列进行局部特征提取,提取出的特征向量作为Transformer的输入向量;然后,通过使用Transformer编码器模块学习眼动序列的全局特征。最后,利用预测头模块将眼动序列任意时刻样本点预测为注视、眼跳和眼跳后震荡三个基本事件类型。Trans EMED在Lund2013数据集上对于注视、眼跳和眼跳后震荡的检测精度分别达到了93.3%、93.5%、78.2%,其中眼跳后震荡的检测精度比最先进的眼动事件检测方法gaze Net提高了0.6%。在Gaze Com数据集上对于注视和眼跳的检测精度分别达到了91.4%和89.0%,其中眼跳的检测精度相比gaze Net提升了4.5%。在Human Fixation Classification数据集上对于注视的检测精度达到了84.9%,相比于gaze Net提升了14.9%。(2)针对单尺度卷积无法有效提取不同尺度事件特征的问题,本文提出了一种基于多尺度卷积的眼动事件检测模型MSCEMED。首先,引入了多尺度卷积模块来对眼动序列进行多尺度特征提取与特征融合;然后,使用双向门控循环单元(Bi-Direction Gated Recurrent Unit,Bi-GRU)模块模拟眼动事件序列;最后,利用预测头模块将眼动序列任意时刻样本点预测为注视、眼跳和眼跳后震荡三个基本事件类型。MSCEMED在Lund2013数据集上对于注视、眼跳和眼跳后震荡的检测精度分别达到了96.1%、96.9%、79.6%,相比于现有的最先进的眼动事件检测方法gaze Net,三个眼动事件的检测精度分别提升了0.2%、2.2%、2.0%。在Gaze Com数据集上对于注视和眼跳的检测精度分别达到了93.8%和90.6%,相比于gaze Net分别提升了2.3%和6.1%。在Human Fixation Classification数据集上对于注视的检测精度达到了86.6%,相比于gaze Net提升了16.6%。对于眼动事件检测任务中眼动序列的特殊性来说,模型MSCEMED使用的多尺度特征融合模块相对模型Trans EMED使用的自注意力机制,更能有效提升检测精度。综上所述,本文针对如何获取长序列上不同时刻观测之间的长期依赖关系的问题以及如何有效提取数据不平衡的大小样本事件特征的问题,分别提出了一种基于Transformer的眼动事件检测模型Trans EMED和一种基于多尺度卷积的眼动事件检测模型MSCEMED,能够有效提升眼动事件检测任务的精度,为眼动事件检测领域的进一步研究提供了一个新思路。

关键词：眼动事件检测深度学习 Transformer 多尺度卷积 Bi-GRU

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于眼动信号的感兴趣检测方法研究

引用

传感器与微系统 2024年第3期43卷 14-17页

作者：王新志曾洪张华宇宋爱国东南大学仪器科学与工程学院江苏南京210096

为了使机器智能达到人类的识别能力,需要提供标注的难例样本。常用的键盘、鼠标等标注方式效率较低,基于眼动信号的标注方式无需手动操作,但目前研究多采用依赖特征工程的浅层模型实现感兴趣检测以标注样本。针对浅层模型存在的问题,基... 详细信息

为了使机器智能达到人类的识别能力,需要提供标注的难例样本。常用的键盘、鼠标等标注方式效率较低,基于眼动信号的标注方式无需手动操作,但目前研究多采用依赖特征工程的浅层模型实现感兴趣检测以标注样本。针对浅层模型存在的问题,基于特征通道权重重分配多尺度残差网络模型对注视序列分类以实现感兴趣检测,并通过对比实验验证本文方法的有效性。实验结果表明:提出的多尺度残差网络模型分类精度达到96%,较现有基于浅层模型的方法和未改进的基于深层模型的方法,显著提升了感兴趣检测的精度和鲁棒性。

关键词：视线追踪眼动事件检测时间序列分类多尺度残差网络感兴趣检测

来源：

维普期刊数据库博看期刊

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：