沉浸式环境中手势交互设计评估方法研究

作     者：张巍瀚 

作者单位：西南科技大学 

学位级别：硕士

导师姓名：吴亚东

授予年度：2020年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：沉浸式环境 评估模型 手势交互 客观交互数据 

摘      要：交互评估是人机交互的重要研究问题之一,在以人为中心的沉浸式环境交互系统中,准确评估人体的状态能为沉浸式环境下交互设计提供有力的依据和保障。随着虚拟现实技术（Virtual Reality,简称VR）的发展,利用手势对沉浸式环境进行交互的方式逐渐兴起。然而传统的评估方法难以有效的评估使用者在沉浸式环境中的交互状态,使得与之对应的手势交互设计难以满足交互需求。本文针对沉浸式环境中使用手势进行交互的评估设计方法问题,开展基于交互轨迹手势数据和任务完成情况数据两种量化评估指标的研究。由于沉浸式环境手势交互系统的评估体系并不完善,为设计沉浸式环境中手势交互的评估模型带来困难,本文首先从评估模型的建立准则出发,建立基于客观数据的评估模型,其次创建了沉浸式实验环境收集实验数据,再次并通过分析实验数据研究如何优化沉浸式环境中的手势交互,最后将分析结果转化为实际的系统应用,具体工作包括:（1）由系统分析出发,结合当前已有的评估方法工作,建立沉浸式环境手势交互原型系统的评估准则。首先,由人机交互原型系统分析过程入手,对沉浸式环境手势交互设计原型系统进行分析。其次,通过研究人机交互领域常用评估方法,获取适用于沉浸式环境中手势交互设计的评估方法。最后结合人机交互评估模型的建立准则,创建以评估目标、评估机制、评估机制、评估指标、评估方法、有效范围五点构成沉浸式环境手势交互原型系统的评估准则。（2）由评估准则出发,建立基于客观数据的GT评估模型,并通过设计沉浸式实验环境和交互任务,验证其有效性,并提出虚拟现实环境下手势交互的优化方法。首先,根据已建立的沉浸式环境手势交互原型系统的评估准则,结合当前人机交互领域评估方法中绩效测量法与动作轨迹法,建立以任务驱动的方式收集客观数据的GT（Gesture＆Task）评估模型。其次,结合Unity3D平台建立沉浸式实验环境,并通过该场景设计符合自然手势交互的交互任务,以收集实验者的客观交互数据与主观心理数据。再次,通过一定的可视化与分析方法,将GT数据进行对比验证。最后,通过对实验数据的分析,提出虚拟现实环境下手势交互的优化方法。实验结果表明,优化方法可以有效提高交互精度。（3）由虚拟现实环境下手势交互的优化方法出发,设计虚拟化学实验系统。本文针对化学实验仿真中出现的交互目的不明确、训练数据难以直观表现等问题,基于Unity3D平台和本文提出的虚拟现实环境下手势交互的优化方法,设计和开发了一款由虚拟化学实验操作端、可视化网站、账户与实验数据存储虚拟三部分化学实验系统。