检索结果-南通市图书馆

检索条件"主题词=动态三维场景"

共 1 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

基于深度学习的动态三维场景视觉注意机制研究

基于深度学习的动态三维场景视觉注意机制研究

引用

作者：赵思铭北京邮电大学

学位级别：硕士

三维显示技术可以为观看者提供包含真实场景深度信息的立体画面,近年来,随着新一代信息技术的发展,各种研究领域对高性能三维显示装置的应用需求越来越迫切。然而现有的三维显示技术受限于硬件条件,如算力不足、液晶显示器分辨率低等问... 详细信息

三维显示技术可以为观看者提供包含真实场景深度信息的立体画面,近年来,随着新一代信息技术的发展,各种研究领域对高性能三维显示装置的应用需求越来越迫切。然而现有的三维显示技术受限于硬件条件,如算力不足、液晶显示器分辨率低等问题,导致显示质量还无法达到较高的标准。本文从人眼视觉特性出发,研究面向动态三维场景的视觉注意机制,对人眼感兴趣区域进行预测,从而有效地分配计算资源,利用有限的算力对感兴趣区域进行更高质量的显示,提升三维显示效果。由于在大多数的实际应用场景中,如医疗影像、军事演习、科学研究以及三维游戏等,观看者在观看过程中都是受特定任务驱使的,注视行为受主观意识控制,且场景一般为动态变化的,因此本文建立了任务驱动下的动态三维场景眼动数据集,并且研究该数据集的各项特征,验证数据集的有效性。其次采用神经网络构建人眼视觉注意模型,实现了任务驱动下面向动态三维场景的人眼注视区域预测。本文的主要内容及创新点包括:1.建立任务驱动下的动态三维场景眼动数据集:现有眼动数据集大多基于二维图像或二维视频,为了解决三维视频眼动数据集缺失的问题,设计并拍摄三维视频刺激材料,要求被试在观看视频的同时执行特定任务,用眼动追踪设备记录被试在任务驱动下的人眼注视数据,然后处理数据获得与视频帧一一对应的人眼注视密度图,作为后续建模预测人眼注视点时用来优化网络的真值图像;其次从两个维度对数据集进行了量化分析,验证其在后续建模过程中的有效性,包括邻近帧上注意力的时间相关性和人眼注意力与运动物体的相关性两方面。2.提出面向动态三维场景的人眼注视区域预测模型:在现实场景中,物体的深度信息对人眼注意力的影响是非常重要的,它可以给人眼提供目标的空间方位信息,从而影响人眼的注意力分布。因此,在建立三维场景下的人眼注视区域预测模型时,将深度信息与彩色信息进行有效的融合将有助于提升预测效果。本文基于经典的二维场景人眼注意机制建模方法,在网络中加入深度信息,构建了双流多尺度特征提取模块和深度信息诱导的多尺度加权模块,从而提取空间信息,模拟视频信息本身驱动的自底向上注意机制;其次,构建了双层卷积长短时记忆模块,对任务驱动下目标物体间的时间转移关系进行学习,在像素级别上考虑视频帧之间注视点的时间相关性,模拟任务驱动的自顶向下注意机制,最终输出动态三维场景下的人眼注视区域预测图。模型最终预测结果与真实人眼注视密度图已达到较高相似度,且在对比实验中表现优秀,定量结果与现有模型相比有较大优势。该成果可以指导三维显示有效地分配计算资源,提升三维显示效果,对高性能三维显示技术的发展有一定指导意义。

关键词：视觉注意机制注视点预测任务驱动动态三维场景神经网络

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：