检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

骨骼平面显示与集成成像手势交互联动系统

计算机工程与应用 2023年第19期59卷 285-293页

作者：韦健郭校源籍风磊郭绍源胡笑含贾勇王世刚吉林大学通信工程学院长春130012 吉林大学第一医院长春130061 吉林大学护理学院长春130021

基于鼠键控制的医用平面显示不易同时呈现骨骼的多视角空间信息,还存在占用空间和细菌感染的问题;集成成像被普遍认为是发展潜力最大的裸眼三维显示技术。提出一种支持手势交互的平面显示与集成成像联动系统,挖掘Optix和Leap Motion分... 详细信息

基于鼠键控制的医用平面显示不易同时呈现骨骼的多视角空间信息,还存在占用空间和细菌感染的问题;集成成像被普遍认为是发展潜力最大的裸眼三维显示技术。提出一种支持手势交互的平面显示与集成成像联动系统,挖掘Optix和Leap Motion分别在光线投射和精准手势识别方面的实时性,根据虚拟相机阵列的位姿与手势数据之间的数学关系,通过即时的手势指令检测、虚拟相机位姿更迭及显示内容快速渲染,允许观看者利用手势同步调整骨骼二维视图和裸眼三维影像的视角和尺度。实验结果表明,该系统在二维与立体(26视点)画面的屏幕分辨率皆为2 160×1 280的情况下,在单块GTX 1080Ti GPU上的帧率达到36帧/s,有效和流畅的隔空交互、混合联动显示有助于提升骨骼三维可视化的观看体验、感官冲击和实际应用价值。

关键词：集成成像手势交互双屏联动三维医学成像

面向手工艺类非遗的具身体验式教育游戏研究——以“布艺虎寻踪”教育游戏为例

在线全文

学校读者我要写书评

暂无评论

现代教育技术 2024年第3期34卷 89-96页

作者：朱俊洁李亚楠孙兴清华大学深圳国际研究生院广东深圳518055

数字游戏已成为非物质文化遗产展示、传播的新兴方式,但当前面向手工艺类非遗的教育游戏难以在保证乐趣性、吸引力的同时实现对非遗技艺与文化的有效学习。基于此,文章设计了面向手工艺类非遗的具身体验式教育游戏模型,并基于此模型开... 详细信息

数字游戏已成为非物质文化遗产展示、传播的新兴方式,但当前面向手工艺类非遗的教育游戏难以在保证乐趣性、吸引力的同时实现对非遗技艺与文化的有效学习。基于此,文章设计了面向手工艺类非遗的具身体验式教育游戏模型,并基于此模型开发了一款手势交互的教育游戏“布艺虎寻踪”。之后,文章采用包括调查问卷、学习效果客观测试和半结构化访谈的混合研究方法,通过对照实验,验证了具身体验式教育游戏对于提升手工艺类非遗的学习效果、学习体验和学习动机具有积极作用。文章设计的具身体验式教育游戏可以提升学习者学习手工艺类非遗的效果与意愿,促进对非遗的保护与传承,并推动了游戏学习与非遗文化的融合。

关键词：非物质文化遗产教育游戏具身认知体验式学习手势交互

在线全文

学校读者我要写书评

暂无评论

多模态人机交互系统在船舶航行中的应用

舰船科学技术 2024年第3期46卷 157-160页

作者：王卉高家骥曹福存大连工业大学辽宁大连116034

为拓展设计船舶航行中多模态人机交互模式,促进船舶航行所用导航系统的智能化发展,研究多模态人机交互系统在船舶航行中的应用,设计一种船舶航行使用的多模态人机交互系统。船员可在船舶航行时,以语音交互、手势交互这种多模态交互模式... 详细信息

为拓展设计船舶航行中多模态人机交互模式,促进船舶航行所用导航系统的智能化发展,研究多模态人机交互系统在船舶航行中的应用,设计一种船舶航行使用的多模态人机交互系统。船员可在船舶航行时,以语音交互、手势交互这种多模态交互模式,完成指令输入,无需人工手动操舵。实验测试结果验证,多模态人机交互模式使用后,船舶航行时,控制指令通过语音与手势便可有效传达,船舶航行控制可靠,且无须手动控制舵机,可实现船舶航行智能化交互控制。

关键词：多模态人机交互船舶航行语音交互手势交互隐马尔科夫模型

在线全文

学校读者我要写书评

暂无评论

大场景下自由手势交互技术

印刷与数字媒体技术研究 2023年第4期 244-251页

作者：李仕卢俊阳张明威王航宁王毅刚杭州电子科技大学人文艺术与数字媒体学院杭州310018 杭州电子科技大学计算机学院杭州310018

超大屏幕在元宇宙时代已经是常见的显示终端,用户在超大屏幕场景下通常有不受约束的行走和自由人机交互的需求。针对以上需求,本研究提出一种基于二次坐标转换的3D手势坐标映射方法。将手部骨骼节点的3D坐标转换到视点所在坐标系上,再... 详细信息

超大屏幕在元宇宙时代已经是常见的显示终端,用户在超大屏幕场景下通常有不受约束的行走和自由人机交互的需求。针对以上需求,本研究提出一种基于二次坐标转换的3D手势坐标映射方法。将手部骨骼节点的3D坐标转换到视点所在坐标系上,再经坐标转换获得手部节点在真实场景中的实时坐标。经过虚实映射,用户可以通过裸手驱动系统端的虚拟手进行人机交互,系统基于识别到的手势信息给予用户实时反馈。实验表明,本研究方法允许用户在大屏幕或环幕场景中不受约束行走的同时,在其视线所及之处通过裸手进行拾取等交互,达到可见即可交互的效果,提升用户的交互体验。

关键词：虚拟现实大场景视图矩阵手势交互

虚拟仿真实验中动态手势交互关键技术研究与实现

在线全文

学校读者我要写书评

暂无评论

虚拟仿真实验中动态手势交互关键技术研究与实现

作者：申慧玲兰州交通大学

学位级别：硕士

虚拟仿真实验中人机交互设计所引发的体验感是提升学习兴趣的关键因素,但现有的虚拟仿真实验人机交互方式大都采用鼠标、键盘以及触摸屏输入,实验沉浸感差、交互贫乏,用户与计算机之间新型便捷的交互方式越来越受到重视。手势交互技术... 详细信息

虚拟仿真实验中人机交互设计所引发的体验感是提升学习兴趣的关键因素,但现有的虚拟仿真实验人机交互方式大都采用鼠标、键盘以及触摸屏输入,实验沉浸感差、交互贫乏,用户与计算机之间新型便捷的交互方式越来越受到重视。手势交互技术因为其自然、友好、方便的特点,可以让用户感受到逼近于真实实验的操控感,逐渐成为虚拟仿真实验过程中的重点研究内容。基于计算视觉检测识别手势,结合人机交互控制理论,可以实现动态手势对虚拟仿真实验场景的交互控制,然而现有的手势交互过程中依然存在手部检测跟踪和关节点估计速度慢、准确度低的问题,导致无法实现自然流畅的手势交互操作。本文对手势交互过程中关键的手部检测跟踪、手部姿态估计以及手势识别等技术进行研究,实现了动态手势对虚拟仿真实验场景的自然强交互控制,主要研究内容包括以下三个部分。(1)针对基于检测的手部跟踪方法网络模型复杂、计算量大、跟踪速度慢的问题,提出了基于特征联合学习的手部检测跟踪方法。首先以检测网络Yolox-s作为端到端的检测器,加入注意力模块提高检测精度;其次在网络头部构建特征联合学习模块,共用主干网络训练参数同时进行手部检测以及外观特征学习,降低模型复杂度;最后融合所学手部检测以及外观特征,使用数据关联匹配实现手部跟踪。(2)针对自上而下的手部姿态估计方法耗时较长,并且忽略手部关节点之间的内部关系,导致手部姿态估计精度不高的问题,在手部检测跟踪的基础上,提出了基于GCN特征增强的手部姿态估计方法。首先以Rex Net作为主干网络,采用深度可分离卷积,降低模型参数量;其次使用反卷积替换主干网络后端结构,从特征图中估计热图,得到手部21个关节点的预测热图;最后构建GCN特征增强模块对热图估计结果进行修正,提高手部关节点估计的准确度。(3)在手部检测跟踪和姿态估计的基础上,研发基于动态手势交互的虚拟仿真实验系统,实现动态手势对虚拟仿真实验场景的交互控制。首先建立动态手势模板库定义手势及其交互操作;其次通过动态时间规整算法实现动态手势匹配识别;最后在Unity 3D引擎中构建虚拟仿真实验场景,编写C#脚本调用算法输出实现手势对虚拟场景的控制,提高虚拟仿真实验过程的交互体验感。

关键词：人机交互手势交互手部检测跟踪手部姿态估计手势识别

基于VoxelStation的虚拟现实场景手势交互系统

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于VoxelStation的虚拟现实场景手势交互系统

作者：徐兴伦天津工业大学

学位级别：硕士

随着虚拟现实技术的发展,合适的交互技术成为了开发人员关注的焦点。当今的虚拟现实交互大多是通过传统电子设备,如使用手柄等手持或穿戴设备来进行交互,虽然暂时解决了交互问题,但也使得用户从虚拟世界中脱离出来,沉浸感大大降低。因此... 详细信息

随着虚拟现实技术的发展,合适的交互技术成为了开发人员关注的焦点。当今的虚拟现实交互大多是通过传统电子设备,如使用手柄等手持或穿戴设备来进行交互,虽然暂时解决了交互问题,但也使得用户从虚拟世界中脱离出来,沉浸感大大降低。因此,本文在Voxel Station上设计了用于虚拟现实的徒手交互技术,并且实现了在虚拟现实场景中的应用。首先,在手势识别交互方面,基于深度学习训练手势检测模型,对YOLOv5网络进行优化,提出了XXL-YOLOv5手势检测算法。为了提升网络提取特征的能力,在原YOLOv5网络中引入Swin Transfomer机制,把原算法中的部分C3模块替换为C3SWin TR;为了增强网络的鲁棒性和准确率,在Backbone的末端添加了SA注意力机制,这样可以使注意力机制关注到整个backbone部分的特征图;为了加快收敛速度提高回归精度和使回归过程专注于高质量锚框,把原网络中的CIOU loss函数用EIOU＿loss来替代。然后,在虚拟场景中搭建手势识别交互模块,通过手势控制虚拟场景中模型的分解组合、虚拟资源的切换,证实了手势识别交互的可行性。最后针对Voxel Station虚拟现实交互笔自由度低、操作复杂、沉浸感低等问题,基于Voxel Station工作站和Leap Motion传感器搭建非接触式手势抓取的系统,完成对虚拟模型进行抓取工作,用非接触式的Le ap Motion传感器取代了Voxel Station中交互笔的抓取功能。经过实验分析,在保证检测效率的基础上,XXL-YOLOv5手势检测算法的MAP值达到0.995,较原YOLOv5提升了3.9%。通过实验证明提出的XXL-YO LOv5手势检测算法能够满足手势识别交互需求,Leap Motion传感器在虚拟场景中的虚拟手模型与现实世界中手的动作一致,抓取动作比Voxel Station自带的交互笔的方法沉浸感更高,并且系统运行交互过程中不再需要手持或穿戴设备的参与。

关键词：虚拟现实深度学习 XXL-YOLOv5 手势交互

面向三维流场可视化的沉浸式手势交互研究与应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向三维流场可视化的沉浸式手势交互研究与应用

作者：洪韬濮西南科技大学

学位级别：硕士

近年来,随着多款商用级头戴式显示器的推出,沉浸式技术的应用研究有了快速的发展。在沉浸式环境下,可以提供与真实环境相似的交互体验,增加使用者的临场感与沉浸感。沉浸式技术拥有直观的立体显示效果和三维交互方式,与游戏、工业设计... 详细信息

近年来,随着多款商用级头戴式显示器的推出,沉浸式技术的应用研究有了快速的发展。在沉浸式环境下,可以提供与真实环境相似的交互体验,增加使用者的临场感与沉浸感。沉浸式技术拥有直观的立体显示效果和三维交互方式,与游戏、工业设计、考古、医学、电影等领域的三维虚拟场景高度契合,得到了广泛的应用。三维流场亦是沉浸式技术应用的一个重要领域。在流场可视化过程中,经常需要对三维参数进行配置,如流线布种,区域剪切等。传统交互设备(鼠标、键盘等)受限于交互维度,在完成三维交互任务时交互步骤繁琐且复杂,降低了可视化分析工作过程中的精度和效率。沉浸式虚拟环境在显示方面能拥有能直接观察的深度信息,其六自由度的头显交互方式拥有更广阔的视野,能在显示层面就提供更多的有效信息。并且沉浸式下的交互方式与真实世界相似,适合于三维流场环境,交互过程直观且自然。但由于三维流场可视化交互任务复杂,交互需求多样,目前依然存在着许多待解决的交互问题,缺乏系统的针对沉浸式流场的交互方案。本文构建了一个基于自然手势的沉浸式流场交互系统,并定义了沉浸式实时流场可视化的基本交互范式,论文主要工作如下:(1)针对流场数据块管理复杂、大空间导航交互效率低等的问题,提出了多视图交互方案。利用主视图和包含数据概览的小视图进行非对称性的协同交互,高效完成了沉浸式流场环境中的场景变化、空间导航、数据块管理等复杂交互任务。(2)针对沉浸式环境中流场交互方案较少的问题,提出了基于三维工具的沉浸式流场手势交互框架。框架定义了沉浸式手势交互工具栏,用户通过手势交互进行工具选取、参数配置、节点管理等操作,完成特定的沉浸式流场任务。交互工具中包含三维交互界面、交互控件等交互对象,支持用户完全在沉浸式环境下完成对流场可视化的操作。(3)在充分调查用户交互需求的基础上,本文实现了基于Leap Motion和HTC Vive的沉浸式流场交互系统。系统利用了Leap Motion进行手部关节点捕捉并使用模板进行手势匹配,然后通过手势责任链传递分发手势消息,响应不同的手势事件,实现手势交互。通过手势责任链的管理方式,能有效管理各类手势事件的优先级。同时,本文系统通过头戴式显示设备HTC View将虚拟流场场景进行实时显示,实现了沉浸式流场环境中的自然手势交互系统。(4)为验证本文交互方法的有效性,并为后续的研究提供有价值的参考,本文针对沉浸式环境和桌面环境的三维流场可视化系统进行了评估对比实验。实验定义了三个交互案例,从学习难度,交互效率,用户体验三个方向,测试并讨论了本文系统在可视化数据交互方面的优势与不足。实验结果表明,本文提出的交互方法能在一定程度上为用户提供高效、自然的交互,能够有效改善用户的分析体验。

关键词：虚拟现实手势交互可视化与可视分析流场可视化多视图

基于用户心智差异的折叠大屏手机手势交互设计研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于用户心智差异的折叠大屏手机手势交互设计研究

作者：苏雅婷湖南大学

学位级别：硕士

折叠大屏手机作为融合了小屏和大屏两种形态的可折叠新型智能手机,受到了产学研界的广泛关注,进而涌现了对于折叠大屏手机技术创新、形态探索方面的相关研究。但鲜有研究从用户体验角度出发去研究目标用户的心智以了解折叠大屏手机交互... 详细信息

折叠大屏手机作为融合了小屏和大屏两种形态的可折叠新型智能手机,受到了产学研界的广泛关注,进而涌现了对于折叠大屏手机技术创新、形态探索方面的相关研究。但鲜有研究从用户体验角度出发去研究目标用户的心智以了解折叠大屏手机交互体验,推动折叠大屏手机交互设计的发展。尤其需要指出的是,不同用户群体的心智存在差异,关注不同类型用户的心智差异导向的体验差异才能完善折叠大屏手机交互体验,而目前这方面的研究更是十分匮乏。本文以手势交互为研究对象,用户心智模型为切入点,通过探讨经验用户和潜在用户两大目标群体的心智差异,深入分析两类用户群体的折叠大屏手机手势交互体验,构建基于用户心智差异的折叠大屏手机手势交互体验框架,并形成设计策略指导折叠大屏手机手势交互设计实践。本文首先采用文献分析法,对折叠大屏手机手势交互设计和用户心智相关理论进行了调研,基于用户心智理论将折叠大屏手机用户分为经验用户和潜在用户两大群体,并重点分析了两者在认知、情感、行为三个心智维度上的差异。继而在现有用户心智研究方法的基础上,结合对折叠大屏手机特性和用户心智差异的探讨,提出了基于用户心智差异的折叠大屏手机手势交互研究框架,为后续研究奠定基础。根据上文建立的研究框架,第三章通过半结构化访谈、结构化观察的方法分别研究了经验用户和潜在用户的折叠大屏手机手势交互体验,并使用扎根理论的方法对收集到的定性语料数据分别归纳了经验用户和潜在用户的手势交互体验维度和要素,为折叠大屏手机手势交互体验框架构建和设计策略形成做铺垫。第四章基于经验用户和潜在用户两者的心智差异融合构建了折叠大屏手机手势交互体验框架,以分析不同心智维度下折叠大屏手机手势交互的用户需求,并从认知、情感、行为三个用户心智维度提出设计策略指导设计实践。第五章通过折叠大屏手机手势交互创新设计实践和可用性测试验证了前文提出的设计策略的可行性和有效性。本文构建的基于用户心智差异的折叠大屏手机手势交互研究框架,为折叠大屏手机手势交互设计提供了创新思路,为从用户心智差异的角度探讨交互体验提供了参考方法,有利于从认知、情感、行为三个心智维度充分提升折叠大屏手机用户体验。

关键词：折叠大屏手机心智差异手势交互经验用户潜在用户

汽车方向盘触摸手势交互设计研究及多模态反馈评估

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

汽车方向盘触摸手势交互设计研究及多模态反馈评估

作者：曾浩田（Zeng Hawtin）华南理工大学

学位级别：硕士

随着信息技术的高速发展,车载信息娱乐系统朝着多功能、智能化、复杂化方向发展,在驾驶过程中,操作复杂的车载信息娱乐系统难以避免的,这会极大的消耗驾驶员的认知资源、视觉资源、操作资源,导致发生事故的概率大大增加。车载交互方式... 详细信息

随着信息技术的高速发展,车载信息娱乐系统朝着多功能、智能化、复杂化方向发展,在驾驶过程中,操作复杂的车载信息娱乐系统难以避免的,这会极大的消耗驾驶员的认知资源、视觉资源、操作资源,导致发生事故的概率大大增加。车载交互方式的研究对减少驾驶事故具有重要意义。本文对方向盘触摸手势交互进行了研究,期望在一边驾驶、一边操作车载系统时,能保持较好的交互可用性和驾驶绩效,本文的主要研究工作包括:(1)本文首先整理了车载交互设计、方向盘触摸手势集、方向盘触摸手势位置、手势交互设计研究现状;接着对市场上的竞品和用户的行为进行了调查,发现了产品机会点,构建本文研究的车载功能信息架构;并利用用户参与设计的方式建立手势集;对方向盘触摸手势的视觉显示位置进行了分析,确定了将视觉信息显示在仪表盘上。(2)在Unity中搭建了模拟驾驶环境,集成Logitech G27方向盘,添加了交通流和路人,以模拟真实的环境。并利用触控板捕捉手指位置信息,使用C#开发了手势轨迹识别算法和点击手势识别算法,制作了触摸手势方向盘原型。(3)在Unity环境中开展了模拟驾驶实验,比较了两种触摸方向盘方案在受试者驾驶绩效和界面可用性方面的差异,实验结果表明,与交互位置在两侧相比,交互位置在中间并能够旋转以补偿方向盘的旋转的方案并不会显著提高系统的手势输入的准确性,反而会延长手势输入的时间,并导致受试者的横向控制性能下降。(4)开展了第三次模拟驾驶实验,对方向盘触摸手势交互的多模态反馈方式进行了评估,并比较了触摸手势交互与传统触屏交互的差异。实验的结果表明,在触摸手势的反馈方式设计中,多模态反馈不一定会提升交互可用性或驾驶绩效,触摸手势适合使用视觉+声音双模态反馈,不宜使用单模态和三模态反馈。触摸手势交互的主观工作负荷显著小于触屏交互,即使受试者不熟悉触摸手势,非常熟悉触屏交互,视觉+声音双模态反馈的触摸手势交互与触屏交互在所有驾驶绩效指标、平均次任务错误次数和平均次任务完成时间方面与触屏交互无显著差异,触摸手势交互在主观工作负荷上显著优于触屏交互。在加速度标准差、方向盘转角标准差和平均车道超出次数方面,触摸手势交互的指标优于触屏交互,虽然它们没有统计学差异,但可以猜测当在更长的驾驶时间、更复杂的驾驶次任务、更复杂路况的情况下,这种差异会变得明显,后续需要进一步的实验证实。与触屏交互相比,本文研究的方向盘触摸手势交互能有效降低驾驶员的主观工作负荷,对减少驾驶事故具有重要意义。

关键词：驾驶行为模拟驾驶车载信息娱乐系统手势交互